1. 可復(fù)現(xiàn)性到底是什么從“能跑”到“能復(fù)現(xiàn)”前陣子幫一個(gè)同學(xué)復(fù)現(xiàn)一篇圖像分類(lèi)論文的結(jié)果代碼直接從對(duì)方倉(cāng)庫(kù)里 clone數(shù)據(jù)用的也是同一個(gè)公開(kāi)數(shù)據(jù)集理論上應(yīng)該是“跑一遍就出結(jié)果”的事。結(jié)果我連續(xù)折騰了兩天訓(xùn)練曲線(xiàn)怎么都對(duì)不上最終指標(biāo)比論文里寫(xiě)明的數(shù)字低了約 1.2 個(gè)百分點(diǎn)。后來(lái)定位到原因居然藏在三個(gè)不起眼的角落里PyTorch 版本不一致、DataLoader 的隨機(jī)順序沒(méi)固定、數(shù)據(jù)增強(qiáng)里隨機(jī)裁剪的參數(shù)范圍有出入。這就是“AI 可復(fù)現(xiàn)性”最常見(jiàn)的打開(kāi)方式——它往往不是那種高深到需要重新設(shè)計(jì)框架的問(wèn)題而是一堆看似“跑通就行”的具體細(xì)節(jié)在背后悄悄累積。干了幾年 AI 工程我對(duì)“復(fù)現(xiàn)”這件事一直保持敬畏。這篇文章想把我復(fù)現(xiàn)別人、以及被團(tuán)隊(duì)同事復(fù)現(xiàn)的過(guò)程中踩過(guò)的坑、總結(jié)出的方法完整講一遍。內(nèi)容既適合還在跑實(shí)驗(yàn)寫(xiě)論文的學(xué)生也適合要在團(tuán)隊(duì)里維護(hù)一份“別人能跑起來(lái)”代碼庫(kù)的算法研發(fā)更歡迎被各種沒(méi)頭沒(méi)尾的 README 折磨過(guò)的朋友來(lái)評(píng)論區(qū)一起吐槽。1.1 可復(fù)現(xiàn)性的三個(gè)層次很多人一提“可復(fù)現(xiàn)”第一反應(yīng)是“代碼能跑就行”。這其實(shí)是把概念理解得太窄了。我習(xí)慣把可復(fù)現(xiàn)性拆成三層一層比一層嚴(yán)格第一層是“代碼可運(yùn)行”。把倉(cāng)庫(kù)拉下來(lái)裝好依賴(lài)能跑出 loss 曲線(xiàn)不報(bào)錯(cuò)。這一層只證明代碼本身是完整的跟結(jié)果對(duì)不對(duì)完全沒(méi)關(guān)系。第二層是“環(huán)境可重建”。換一臺(tái)機(jī)器、換一個(gè)人、隔三個(gè)月后再跑依然能裝好同樣的環(huán)境跑出同樣的數(shù)值范圍。這層需要依賴(lài)鎖定、版本管理、硬件記錄。很多論文給的代碼卡在這一層就過(guò)不去。第三層是“結(jié)果可對(duì)齊”。同一份代碼、同一個(gè)環(huán)境、同一份數(shù)據(jù)跑出來(lái)的核心指標(biāo)差異控制在一個(gè)合理范圍內(nèi)比如精度差不超過(guò) 0.1 到 0.2 個(gè)百分點(diǎn)loss 曲線(xiàn)形態(tài)基本一致。這是工業(yè)級(jí)復(fù)現(xiàn)的要求也是論文審稿人真正想看到的“復(fù)現(xiàn)”。三層之間的差距就是不同團(tuán)隊(duì)對(duì)實(shí)驗(yàn)嚴(yán)謹(jǐn)性的要求差距。一個(gè)只在單機(jī)單卡上跑過(guò)、要求不高的項(xiàng)目能做到第一層就夠用但要支撐團(tuán)隊(duì)協(xié)作、模型迭代、甚至對(duì)外發(fā)布基準(zhǔn)結(jié)果至少要做到第二層并向第三層努力。1.2 “復(fù)現(xiàn)不出來(lái)”不等于“論文有問(wèn)題”這是我最想先糾正的一個(gè)心態(tài)。復(fù)現(xiàn)結(jié)果對(duì)不上時(shí)很多人第一反應(yīng)是“作者是不是造假了”但實(shí)際經(jīng)驗(yàn)里絕大多數(shù)情況不是這樣。我見(jiàn)過(guò)太多次人家論文沒(méi)問(wèn)題只是某些細(xì)節(jié)沒(méi)寫(xiě)清楚或者說(shuō)寫(xiě)清楚了但被忽略了。比如論文只說(shuō)“使用 SGD 優(yōu)化器初始學(xué)習(xí)率 0.01”但沒(méi)告訴你學(xué)習(xí)率在第幾個(gè) epoch 衰減、用什么衰減策略論文說(shuō)“用了數(shù)據(jù)增強(qiáng)”但沒(méi)說(shuō)隨機(jī)裁剪的 scale 范圍是多少論文說(shuō)“batch size 為 128”但沒(méi)提梯度積累步數(shù)——這些信息在原文里可能只是一句話(huà)甚至一個(gè)小括號(hào)但任何一個(gè)變了最終指標(biāo)都會(huì)飄。所以“復(fù)現(xiàn)不上”更像一個(gè)排查信號(hào)說(shuō)明還有某個(gè)關(guān)鍵變量沒(méi)對(duì)齊。把它當(dāng)成論文造假只會(huì)讓你錯(cuò)過(guò)真正的 bug。冷靜下來(lái)按環(huán)境、數(shù)據(jù)、代碼、超參四個(gè)維度去逐個(gè)排查通常都能找到答案。1.3 為什么 AI 在“復(fù)現(xiàn)”這件事上特別容易翻車(chē)傳統(tǒng)軟件工程里可復(fù)現(xiàn)性不是一個(gè)這么扎眼的話(huà)題。一段 C 排序代碼你在一臺(tái)機(jī)器上測(cè)出 100 萬(wàn)條數(shù)據(jù)排 0.2 秒換一臺(tái)配置高點(diǎn)的機(jī)器雖然時(shí)間變了但排序結(jié)果應(yīng)該完全一致。這是因?yàn)閭鹘y(tǒng)程序往往是確定性的同一個(gè)輸入對(duì)應(yīng)的就是同一個(gè)輸出。但 AI 訓(xùn)練過(guò)程天然帶著隨機(jī)性。模型初始化是隨機(jī)的數(shù)據(jù)加載的 shuffle 順序是隨機(jī)的Dropout 是隨機(jī)的多卡并行時(shí)梯度歸約的順序也會(huì)帶來(lái)浮點(diǎn)誤差。再加上訓(xùn)練本身就是一次次迭代優(yōu)化的過(guò)程一步順序不同后面的整個(gè)軌跡都可能不同。所以 AI 項(xiàng)目的復(fù)現(xiàn)本質(zhì)上是在“一條充滿(mǎn)隨機(jī)變量的時(shí)間線(xiàn)上”復(fù)現(xiàn)某一次軌跡難度自然比傳統(tǒng)程序高一個(gè)量級(jí)。這也解釋了為什么明明把 seed 固定了結(jié)果有時(shí)候還是不一樣。因?yàn)殡S機(jī)性的來(lái)源遠(yuǎn)不止一個(gè)np.random.seed()能管住的后面還能看到更多案例。2. 藏在訓(xùn)練細(xì)節(jié)里的“復(fù)現(xiàn)殺手”聊完定義進(jìn)入正題到底哪些東西在悄悄破壞可復(fù)現(xiàn)性我把幾年里踩過(guò)的坑歸成四類(lèi)每一類(lèi)都值得單獨(dú)拉出來(lái)講。2.1 隨機(jī)性從種子到并行先做個(gè)熱身題固定了random.seed(42)、np.random.seed(42)、torch.manual_seed(42)訓(xùn)練結(jié)果就一定完全一樣嗎答案是不一定。第一個(gè)問(wèn)題是隨機(jī)性來(lái)源太多。Python 自帶的 random、NumPy 的隨機(jī)、PyTorch 的 CPU/GPU 隨機(jī)、操作系統(tǒng)的隨機(jī)種子、還有給 DataLoader 單獨(dú)設(shè)置的 generator它們彼此獨(dú)立必須全部固定。任何一處漏掉后續(xù)的數(shù)據(jù)順序就可能不同。第二個(gè)問(wèn)題是硬件層面的不確定。GPU 上很多操作是并行計(jì)算的比如矩陣乘法里多個(gè)計(jì)算單元各自算一部分再按某種順序加總。浮點(diǎn)數(shù)的加法不滿(mǎn)足結(jié)合律元素加總順序不同最后一位小數(shù)就會(huì)不同。這種誤差會(huì)隨著訓(xùn)練步數(shù)放大導(dǎo)致曲線(xiàn)細(xì)微偏離。PyTorch 里torch.backends.cudnn.deterministic True能解決一部分算子的問(wèn)題但不是所有算子都支持確定性版本有些情況下只能接受“近似可復(fù)現(xiàn)”。第三個(gè)問(wèn)題是數(shù)據(jù)加載順序。很多代碼里 DataLoader 的 shuffle 用的隨機(jī)序列是在沒(méi)有設(shè)置固定 generator 的情況下隱式產(chǎn)生的。同樣的 seed如果把num_workers從 4 改成 8數(shù)據(jù)到達(dá) GPU 的順序都可能變化訓(xùn)練效果就跟著變。這算是復(fù)現(xiàn)排查里最容易忽略的環(huán)節(jié)。2.2 環(huán)境漂移同一個(gè)代碼換了石頭就跑偏我見(jiàn)過(guò)一個(gè)特別折磨人的場(chǎng)景同事在我的機(jī)器上復(fù)現(xiàn)一個(gè)模型代碼完全一樣數(shù)據(jù)完全一樣甚至 seed 都一樣但 loss 曲線(xiàn)就是差了一點(diǎn)。折騰了半天最后發(fā)現(xiàn)他的 PyTorch 版本比我的新了兩個(gè)大版本某些底層算子的實(shí)現(xiàn)邏輯已經(jīng)重構(gòu)過(guò)了。AI 項(xiàng)目對(duì)底層庫(kù)的敏感程度遠(yuǎn)超普通應(yīng)用。CUDA 驅(qū)動(dòng)、cuDNN 版本、PyTorch 版本、甚至 NumPy 版本一變浮點(diǎn)計(jì)算的順序和精度就可能跟著變。很多開(kāi)源項(xiàng)目寫(xiě)requirements.txt時(shí)習(xí)慣用torch1.9.0這種寫(xiě)法看起來(lái)沒(méi)問(wèn)題實(shí)際上一臺(tái)機(jī)器解析出來(lái)的依賴(lài)樹(shù)跟另一臺(tái)機(jī)器能差出一大截。環(huán)境漂移的隱蔽性在于它不像代碼報(bào)錯(cuò)那樣直接可見(jiàn)。代碼照樣能跑指標(biāo)偶爾也沒(méi)差多少但它足以讓“結(jié)果對(duì)齊”變得不穩(wěn)定。等到你要復(fù)現(xiàn)一個(gè)月前自己跑的實(shí)驗(yàn)時(shí)環(huán)境已經(jīng)悄悄更新過(guò)好幾輪當(dāng)時(shí)的曲線(xiàn)怎么都找不回來(lái)。2.3 論文沒(méi)寫(xiě)的“隱形超參”這是復(fù)現(xiàn)論文時(shí)最讓人頭疼的部分。公開(kāi)代碼里往往只能看到模型結(jié)構(gòu)和訓(xùn)練腳本而真正影響結(jié)果的細(xì)節(jié)常常散落在論文的實(shí)驗(yàn)部分、插圖標(biāo)題、甚至附錄的腳注里。我總結(jié)過(guò)幾類(lèi)最容易被忽略的“隱形超參”學(xué)習(xí)率調(diào)度策略。論文說(shuō)“初始學(xué)習(xí)率 0.01”但實(shí)際是每 30 個(gè) epoch 乘以 0.1還是余弦退火還是帶 warmup 的三階段策略這三者的收斂結(jié)果差異可能接近一個(gè)百分點(diǎn)。數(shù)據(jù)增強(qiáng)參數(shù)。同一個(gè)“隨機(jī)裁剪”scale 范圍到底是(0.08, 1.0)還是(0.5, 1.0)有沒(méi)有用RandomResizedCrop的默認(rèn)值這些默認(rèn)值在不同版本框架里還可能被改動(dòng)。Batch Size 與梯度更新頻率。有的論文寫(xiě) batch size 512實(shí)際因?yàn)轱@存限制用了 128 加 4 步梯度積累但這跟真正的 512 批次在 BatchNorm 統(tǒng)計(jì)上是有差異的。EMA指數(shù)移動(dòng)平均權(quán)重。很多自監(jiān)督和半監(jiān)督模型依賴(lài) EMA 來(lái)平滑模型參數(shù)但 EMA 的衰減系數(shù)往往只寫(xiě)在附錄里甚至只藏在代碼的默認(rèn)參數(shù)里?；旌暇乳_(kāi)關(guān)?；炀扔?xùn)練會(huì)把前向和反向計(jì)算的精度降低到 FP16同時(shí)保留 FP32 的主權(quán)重。這個(gè)開(kāi)關(guān)是否開(kāi)啟、動(dòng)態(tài) loss scaling 的策略是什么都會(huì)影響數(shù)值軌跡。這些參數(shù)在論文里不顯眼但對(duì)結(jié)果的影響卻是實(shí)打?qū)嵉摹?fù)現(xiàn)時(shí)看到差異往這些方向排查的命中率很高。2.4 數(shù)據(jù)與預(yù)處理也是“代碼的一部分”我見(jiàn)過(guò)最“冤”的復(fù)現(xiàn)失敗是這樣一個(gè)人下載了訓(xùn)練集另一個(gè)人下載了訓(xùn)練集目錄結(jié)構(gòu)一樣文件也一樣但下載工具的校驗(yàn)邏輯不同圖片文件順序不同導(dǎo)致訓(xùn)練時(shí)數(shù)據(jù)讀取順序完全不同。另外數(shù)據(jù)預(yù)處理腳本也是復(fù)現(xiàn)鏈路的一部分。歸一化的均值/方差是(0.485, 0.456, 0.406)還是(0.5, 0.5, 0.5)圖像 resize 的方式是雙線(xiàn)性還是雙三次這些細(xì)節(jié)寫(xiě)在腳本里但腳本本身如果不放在版本控制里很容易在某次“順手改一下”之后徹底失憶再也找不回原始處理流程。把數(shù)據(jù)和預(yù)處理腳本納入版本管理跟鎖代碼同等重要。這一點(diǎn)在下一章會(huì)展開(kāi)講。3. 一套可落地的可復(fù)現(xiàn)方案鎖環(huán)境、鎖代碼、鎖數(shù)據(jù)復(fù)現(xiàn)問(wèn)題討論再多最終還是要落到行動(dòng)上。下面這套方法是這幾年實(shí)際驗(yàn)證過(guò)的每一步都不難難的是把它變成習(xí)慣。核心思路可以用一句話(huà)概括把影響實(shí)驗(yàn)結(jié)果的每一個(gè)變量都記錄下來(lái)并且鎖死。3.1 環(huán)境鎖定requirements 只是起點(diǎn)哈希鎖零很多項(xiàng)目會(huì)提供一個(gè)requirements.txt但這里有個(gè)常見(jiàn)誤區(qū)這個(gè)文件往往只寫(xiě)了頂層依賴(lài)沒(méi)有鎖定傳遞依賴(lài)的版本。也就是說(shuō)你在pip install -r requirements.txt的時(shí)候依賴(lài)解析器會(huì)在你當(dāng)前的機(jī)器上下載“當(dāng)時(shí)最新”的某個(gè)子依賴(lài)版本而這個(gè)版本可能跟上個(gè)星期已經(jīng)不一樣了。我更推薦的做法是在干凈的環(huán)境中做完所有代碼調(diào)試后用pip freeze生成一份完整的鎖定文件。# 在訓(xùn)練用的虛擬環(huán)境里執(zhí)行 python -m pip freeze requirements-lock.txt這份文件會(huì)把當(dāng)前環(huán)境下所有通過(guò) pip 安裝的包以及精確版本全部記錄下來(lái)?；謴?fù)環(huán)境時(shí)直接python -m pip install -r requirements-lock.txt這樣雖然不完美Python 生態(tài)里還有系統(tǒng)級(jí)依賴(lài)、編譯器版本、OpenBLAS 等細(xì)節(jié)沒(méi)法被 pip 管住但已經(jīng)能解決 80% 的版本漂移問(wèn)題。更進(jìn)一步可以把 lock 文件內(nèi)容生成一個(gè)哈希值跟實(shí)驗(yàn)結(jié)果一并記錄下來(lái)。sha256sum requirements-lock.txt記錄這個(gè)哈希值之后任何時(shí)候想確認(rèn)“當(dāng)前環(huán)境跟當(dāng)時(shí)是否一致”一條命令就能驗(yàn)證。每次環(huán)境改動(dòng)都要重新生成 lock 文件并且同步更新哈希記錄。3.2 種子管理一套“不打架”的種子方案種子管理看似簡(jiǎn)單但要做好需要把每個(gè)隨機(jī)源都照顧到。我平時(shí)用的工具函數(shù)長(zhǎng)這樣import os import random import numpy as np import torch def set_global_seed(seed: int 42): # 注意這個(gè) os.environ 設(shè)置必須在導(dǎo)入 numpy/torch 之前才完全生效 # 所以最好在腳本最開(kāi)頭調(diào)用或者單獨(dú)放在一個(gè)模塊里最先導(dǎo)入。 os.environ[PYTHONHASHSEED] str(seed) random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) # 讓 cuDNN 使用確定性算法并關(guān)閉 benchmark 自動(dòng)調(diào)優(yōu) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False有兩個(gè)細(xì)節(jié)值得提醒。第一PYTHONHASHSEED只影響 Python 字符串哈希的隨機(jī)化。如果你在代碼里用字典或者集合時(shí)依賴(lài)鍵的順序就要設(shè)這個(gè)變量而且必須在 Python 解釋器啟動(dòng)時(shí)生效。所以在import之前就設(shè)置os.environ是必要的靠函數(shù)內(nèi)部臨時(shí)設(shè)置已經(jīng)來(lái)不及了。第二torch.backends.cudnn.benchmark False很多人會(huì)忽略。benchmark 開(kāi)啟時(shí)cuDNN 會(huì)在一些算法之間做自動(dòng)調(diào)優(yōu)第一次跑的時(shí)候選擇的算法可能跟第二次不同導(dǎo)致不確定的結(jié)果。把它關(guān)掉才能讓卷積計(jì)算路徑相對(duì)固定。僅僅調(diào)用這個(gè)函數(shù)還不夠還必須確認(rèn) DataLoader 的 shuffle 也使用固定 generator。做法是在創(chuàng)建 DataLoader 時(shí)傳入一個(gè)獨(dú)立的 Generatorfrom torch.utils.data import DataLoader import torch g torch.Generator() g.manual_seed(42) loader DataLoader( dataset, batch_size128, shuffleTrue, generatorg, num_workers4, )注意num_workers的變化會(huì)影響數(shù)據(jù)到達(dá)順序所以鎖定時(shí)要連這個(gè)參數(shù)一起固定。多卡訓(xùn)練時(shí)DistributedSampler也要設(shè)置set_epoch(seed)否則每個(gè) epoch 的 shuffle 順序會(huì)隨系統(tǒng)時(shí)鐘變化。3.3 數(shù)據(jù)與預(yù)處理不可變固定好環(huán)境和隨機(jī)狀態(tài)之后下一步是確保數(shù)據(jù)本身不可變。我給自己定的規(guī)矩是原始數(shù)據(jù)集一旦下載完畢就把它放到只讀位置并記錄一個(gè) SHA-256 校驗(yàn)值。每次訓(xùn)練腳本啟動(dòng)時(shí)先驗(yàn)證數(shù)據(jù)目錄的哈希不一致就直接報(bào)錯(cuò)退出。# 計(jì)算訓(xùn)練數(shù)據(jù)目錄的校驗(yàn)值 find /path/to/train_data -type f -exec sha256sum {} \; | sort | sha256sum這行命令會(huì)把目錄下所有文件的哈希算出來(lái)再合并最終得到一個(gè)“目錄指紋”。雖然速度不快但在每次啟動(dòng)訓(xùn)練前做一次驗(yàn)證能徹底杜絕“數(shù)據(jù)被人不小心改了一個(gè)文件”這類(lèi)事故。預(yù)處理腳本同樣要納入版本控制。我的習(xí)慣是把從“原始圖片”到“訓(xùn)練輸入 tensor”的全部變換封裝成一個(gè)獨(dú)立的 Python 模塊并把該模塊的 commit hash 寫(xiě)進(jìn)訓(xùn)練日志。這樣任何時(shí)候回看一次訓(xùn)練都能清楚知道這條數(shù)據(jù)流水線(xiàn)當(dāng)時(shí)的狀態(tài)。3.4 用實(shí)驗(yàn)管理工具記錄“誰(shuí)在什么上跑過(guò)”人腦的記憶是不可靠的。三個(gè)月前你調(diào)了一個(gè)實(shí)驗(yàn)當(dāng)時(shí)覺(jué)得肯定是記錄下來(lái)了但真的被人問(wèn)起“你這個(gè)模型的超參是什么”時(shí)很難從命令行歷史里準(zhǔn)確還原。實(shí)驗(yàn)管理工具能把這個(gè)問(wèn)題系統(tǒng)性解決。這類(lèi)工具會(huì)自動(dòng)記錄每個(gè)實(shí)驗(yàn)的代碼版本、依賴(lài)環(huán)境、超參數(shù)、指標(biāo)曲線(xiàn)、模型權(quán)重和日志文件。我在團(tuán)隊(duì)里推動(dòng)過(guò)幾個(gè)項(xiàng)目使用開(kāi)源實(shí)驗(yàn)管理工具核心收益是兩個(gè)一是自動(dòng)記錄。不需要手動(dòng)維護(hù)一個(gè) Markdown 表格每個(gè)人跑訓(xùn)練時(shí)工具自動(dòng)把環(huán)境信息和參數(shù)抓走形成一條可檢索的實(shí)驗(yàn)記錄。二是方便對(duì)比。當(dāng)你連續(xù)跑了十幾個(gè)實(shí)驗(yàn)工具會(huì)自動(dòng)把每條曲線(xiàn)放在一起展示指標(biāo)優(yōu)劣一目了然。比自己在 Excel 里復(fù)制粘貼要靠譜得多。即使不想引入新工具至少也得建立一個(gè)“每個(gè)實(shí)驗(yàn)一條記錄”的習(xí)慣內(nèi)容包含git commit hash、seed、超參配置、環(huán)境 lock 文件哈希、GPU 型號(hào)、啟動(dòng)時(shí)間、結(jié)束時(shí)間、關(guān)鍵指標(biāo)。這份記錄就是以后你的“數(shù)字考古系統(tǒng)”。3.5 容器把整臺(tái)機(jī)器變成一枚“郵票”環(huán)境鎖定的終極形態(tài)是容器化。把 CUDA 驅(qū)動(dòng)的內(nèi)核模塊暴露給宿主機(jī)之外的所有依賴(lài)都封進(jìn)鏡像等于把“操作系統(tǒng)級(jí)別的環(huán)境”也固定下來(lái)。任何人拿到這個(gè)鏡像在同類(lèi) GPU 環(huán)境下運(yùn)行得到的環(huán)境就是同一套。容器的好處眾所周知可控的限制也同樣重要容器不解決硬件差異問(wèn)題。同一個(gè)鏡像在 A100 和 RTX 3090 上跑由于 GPU 架構(gòu)不同、并行調(diào)度策略不同結(jié)果依然可能出現(xiàn)微小偏差。所以容器里還要額外記錄 GPU 型號(hào)和驅(qū)動(dòng)版本。訓(xùn)練開(kāi)始時(shí)把以下信息寫(xiě)進(jìn)日志文件成本很低但價(jià)值很高nvidia-smi --query-gpuname,driver_version,memory.total --formatcsv容器不是銀彈但配合前面幾層措施已經(jīng)足以把可復(fù)現(xiàn)性從“概率性事件”變成“常規(guī)現(xiàn)象”。4. 實(shí)操?gòu)?fù)盤(pán)一個(gè)圖像分類(lèi)模型從“對(duì)不上”到“完全鎖定”方法論講完拿一個(gè)真實(shí)踩過(guò)的坑做完整復(fù)盤(pán)。為了讓描述更通用我隱去具體數(shù)據(jù)和模型名稱(chēng)但整個(gè)排查過(guò)程完全按實(shí)際經(jīng)歷來(lái)寫(xiě)。4.1 復(fù)現(xiàn)目標(biāo)與最初的現(xiàn)象當(dāng)時(shí)要在某復(fù)現(xiàn)項(xiàng)目中跑一個(gè)公開(kāi)骨干網(wǎng)絡(luò)結(jié)構(gòu)的圖像分類(lèi)實(shí)驗(yàn)。論文給出的 Top-1 精度是 77.5%我用對(duì)方公開(kāi)的代碼和數(shù)據(jù)集第一次跑出來(lái)只有 76.3%差了 1.2 個(gè)百分點(diǎn)。這個(gè)差距不算特別大但足夠讓所有后續(xù)實(shí)驗(yàn)失去可信度。我做的第一件事不是調(diào)參而是先檢查硬環(huán)境。記錄下 PyTorch 版本、CUDA 版本、GPU 型號(hào)、Python 版本然后看對(duì)方倉(cāng)庫(kù)里有沒(méi)有環(huán)境鎖定文件。結(jié)果發(fā)現(xiàn)對(duì)方只提供了一個(gè)很粗的requirements.txt沒(méi)有哈希鎖定也沒(méi)有容器鏡像。這意味著環(huán)境變量完全處于“漂移”狀態(tài)。4.2 第一輪排查鎖定環(huán)境版本我建了一個(gè)全新的虛擬環(huán)境按對(duì)方的requirements.txt安裝依賴(lài)但把關(guān)鍵的 PyTorch 和 torchvision 版本按照倉(cāng)庫(kù)歷史記錄里的版本號(hào)重新指定降級(jí)到當(dāng)時(shí)實(shí)驗(yàn)所用的版本。裝好后重跑訓(xùn)練精度從 76.3% 提到了 76.7%曲線(xiàn)形態(tài)也比之前平滑了一些。很明顯算子的底層實(shí)現(xiàn)差異確實(shí)是影響因素之一但它只解釋了一部分差距。4.3 第二輪排查鎖定隨機(jī)狀態(tài)環(huán)境對(duì)齊之后我把目光轉(zhuǎn)到隨機(jī)性。仔細(xì)檢查訓(xùn)練腳本發(fā)現(xiàn)它只調(diào)用了一次torch.manual_seed(42)但有兩處遺漏一是 DataLoader 沒(méi)有單獨(dú)設(shè)置 generatorshuffle 順序其實(shí)沒(méi)被固定二是torch.backends.cudnn.benchmark保持默認(rèn)開(kāi)啟狀態(tài)同樣的輸入在不同時(shí)間甚至可能選到不同卷積算法。我把這兩個(gè)問(wèn)題修掉重新跑了三個(gè)不同隨機(jī)種子下的實(shí)驗(yàn)發(fā)現(xiàn)精度穩(wěn)定到了 76.9%比最初的 76.3% 提高了 0.6 個(gè)百分點(diǎn)。到這里環(huán)境 隨機(jī)這兩個(gè)因素已經(jīng)修正了大約 0.6 個(gè)百分點(diǎn)的差異。4.4 第三輪排查數(shù)據(jù)順序與預(yù)處理細(xì)節(jié)還差最后的 0.6 個(gè)百分點(diǎn)。我先把目標(biāo)縮小到預(yù)處理流程逐行對(duì)比數(shù)據(jù)集加載代碼和論文描述終于發(fā)現(xiàn)兩個(gè)問(wèn)題。第一個(gè)是隨機(jī)裁剪范圍。我復(fù)現(xiàn)代碼里寫(xiě)的RandomResizedCrop的 scale 參數(shù)是默認(rèn)值(0.08, 1.0)但原作者的實(shí)現(xiàn)里實(shí)際用的是(0.5, 1.0)。這個(gè)差異導(dǎo)致訓(xùn)練時(shí)模型看到的圖片裁剪區(qū)域普遍偏大特征分布跟論文設(shè)定有偏差。第二個(gè)是歸一化參數(shù)。我用了通用的 ImageNet 統(tǒng)計(jì)量(0.485, 0.456, 0.406)但原作者在代碼里把歸一化參數(shù)改成了(0.5, 0.5, 0.5)。這個(gè)改動(dòng)在數(shù)據(jù)預(yù)處理里不起眼但對(duì)最終精度的影響實(shí)實(shí)在在。修掉這兩處之后重新訓(xùn)練精度直接跳到了 77.3%加上前面已經(jīng)修正的環(huán)境和隨機(jī)項(xiàng)最終達(dá)到了 77.4%與論文的 77.5% 只差 0.1 個(gè)百分點(diǎn)。這個(gè)差距在合理浮動(dòng)范圍內(nèi)。4.5 最終方案五個(gè)鎖一起上性能對(duì)齊之后我開(kāi)始把整個(gè)復(fù)現(xiàn)過(guò)程固化下來(lái)目的就是讓這個(gè)結(jié)果以后隨時(shí)能被重新找回。最終的做法是五個(gè)鎖同時(shí)生效第一鎖定代碼版本。把復(fù)現(xiàn)倉(cāng)庫(kù)打上 commit hash所有關(guān)鍵腳本凍結(jié)。第二鎖定環(huán)境。用pip freeze導(dǎo)出完整 locked requirements并記錄哈希值。第三鎖定隨機(jī)狀態(tài)。統(tǒng)一 seed 函數(shù) DataLoader generator cudnn deterministic benchmark off。第四鎖定數(shù)據(jù)。計(jì)算訓(xùn)練目錄的 SHA-256 指紋訓(xùn)練腳本啟動(dòng)時(shí)自動(dòng)校驗(yàn)。第五鎖定硬件信息。記錄 GPU 型號(hào)、驅(qū)動(dòng)版本、CUDA 版本并寫(xiě)進(jìn)訓(xùn)練日志。后來(lái)我把這套流程總結(jié)成團(tuán)隊(duì)內(nèi)部的一份 Runbook之后每次復(fù)現(xiàn)別人的模型或重新拉起自己的實(shí)驗(yàn)都按這個(gè)清單走一遍成功率明顯提升。5. 常見(jiàn)問(wèn)題速查手冊(cè)與幾個(gè)“反直覺(jué)”經(jīng)驗(yàn)5.1 十類(lèi)常見(jiàn)復(fù)現(xiàn)問(wèn)題速查表現(xiàn)象排查方向處理建議結(jié)果與論文有可觀(guān)察差距環(huán)境版本不一致 / 隨機(jī)種子沒(méi)鎖鎖定依賴(lài) 統(tǒng)一 seed 對(duì)比版本同一個(gè)代碼兩次結(jié)果就不同DataLoader 無(wú)固定 generator / benchmark 開(kāi)啟固定 DataLoader generator、關(guān)閉 benchmark換一臺(tái)機(jī)器指標(biāo)變化GPU 型號(hào) / 驅(qū)動(dòng)版本 / 庫(kù)實(shí)現(xiàn)差異容器化 記錄 nvidia-smi 信息固定 seed 后仍有細(xì)微波動(dòng)并行浮點(diǎn)累加順序 / 非確定性算子開(kāi)啟 cudnn deterministic接受微小浮動(dòng)訓(xùn)練后精度接近但曲線(xiàn)對(duì)不上學(xué)習(xí)率調(diào)度策略不一致核對(duì) warmup、decay、scheduler 細(xì)節(jié)圖片數(shù)據(jù)能跑但結(jié)果偏預(yù)處理參數(shù)不一致檢查 resize、歸一化、裁剪范圍依賴(lài)裝完跑不起來(lái)lock 文件缺失 / 傳遞依賴(lài)漂移用 pip freeze 生成完整鎖定文件找不到某次實(shí)驗(yàn)的記錄實(shí)驗(yàn)日志不系統(tǒng)引入實(shí)驗(yàn)管理工具或建立固定記錄模板目錄數(shù)據(jù)被改動(dòng)影響結(jié)果數(shù)據(jù)盤(pán)可寫(xiě)設(shè)置只讀 啟動(dòng)時(shí)校驗(yàn)?zāi)夸浿讣y多卡訓(xùn)練結(jié)果不穩(wěn)定分布式采樣隨機(jī) / 歸約順序固定 DistributedSampler epoch、統(tǒng)一進(jìn)程數(shù)5.2 我跑實(shí)驗(yàn)時(shí)定的幾條硬規(guī)矩這些規(guī)矩不一定適合所有人但每一招都是從真實(shí)教訓(xùn)里換來(lái)的。第一git commit 必須走在訓(xùn)練啟動(dòng)之前。哪怕只改了一行配置也要先提交再跑實(shí)驗(yàn)。不然過(guò)了幾天自己都分不清某個(gè)結(jié)果是對(duì)應(yīng)哪份代碼。第二所有依賴(lài)鎖定文件都提交到版本控制里。requirements-lock.txt、環(huán)境描述文件、容器構(gòu)建腳本必須和訓(xùn)練代碼放在同一個(gè)倉(cāng)庫(kù)。禁止把環(huán)境配置單獨(dú)放在某個(gè)不靠譜的個(gè)人筆記里。第三每個(gè)新實(shí)驗(yàn)先跑一個(gè)小規(guī)模冒煙測(cè)試。用 100 個(gè)樣本、2 個(gè) epoch、一個(gè) batch驗(yàn)證代碼能跑通、日志能落地、隨機(jī)狀態(tài)生效再開(kāi)正式實(shí)驗(yàn)。這個(gè)習(xí)慣能省掉大量“跑了一天發(fā)現(xiàn)腳本早該報(bào)錯(cuò)”的悲劇。第四實(shí)驗(yàn)報(bào)告的“復(fù)現(xiàn)信息”一欄永遠(yuǎn)留出來(lái)。記錄 git hash、seed、環(huán)境哈希、數(shù)據(jù)指紋、GPU 型號(hào)五個(gè)字段缺任何一個(gè)都要在報(bào)告里說(shuō)明原因。5.3 警惕“偽可復(fù)現(xiàn)”比不復(fù)現(xiàn)更麻煩接觸過(guò)不少項(xiàng)目表面上看已經(jīng)做了可復(fù)現(xiàn)工作但深入一查全是漏洞比完全不做還麻煩。舉幾個(gè)常見(jiàn)的“偽可復(fù)現(xiàn)”例子。只鎖了直接依賴(lài)沒(méi)鎖傳遞依賴(lài)。requirements.txt里有torch1.12.0但 torch 自身的依賴(lài)沒(méi)鎖過(guò)一段時(shí)間numpy或pillow可能已經(jīng)被更新到一個(gè)奇怪版本訓(xùn)練時(shí)某些算子自動(dòng)走新路徑結(jié)果就變了。固定了 seed但沒(méi)有固定數(shù)據(jù)的讀取順序。同一臺(tái)機(jī)器上文件系統(tǒng)遍歷順序可能因?yàn)槟夸泝?nèi)容變化而改變用 glob 匹配文件時(shí)不同平臺(tái)的排序規(guī)則也不同。seed 只影響混排算法混排的輸入序列如果是亂的輸出自然也是亂的。容器鏡像打了 tag但沒(méi)有記錄 digest。很多人以為“鏡像 tag 不變就萬(wàn)事大吉”但 tag 可能被覆蓋鏡像內(nèi)容已經(jīng)悄悄換了?？煽康挠涗浄绞绞怯涗涚R像的 digestsha256而不是只寫(xiě)一個(gè)v1.0這種符號(hào)名。少做一個(gè)環(huán)節(jié)的后果是出了問(wèn)題反而更難排查因?yàn)槟阋詾橐呀?jīng)全都鎖死了潛意識(shí)里不會(huì)再去懷疑環(huán)境層面。所以我一直強(qiáng)調(diào)可復(fù)現(xiàn)是一個(gè)“全鏈路”的概念任何一環(huán)的缺失都會(huì)讓整個(gè)鏈條的可靠性歸零。我把可復(fù)現(xiàn)性當(dāng)成一種“實(shí)驗(yàn)衛(wèi)生”而不是“額外負(fù)擔(dān)”。它不產(chǎn)出新的模型效果不提升 accuracy但它確保你的每一次努力都能被追溯、被信任、被延續(xù)。我個(gè)人的體會(huì)有兩點(diǎn)第一別追求一次做到完美可以先從“每次訓(xùn)練前打一個(gè) commit”這種小動(dòng)作開(kāi)始慢慢把整個(gè)流程補(bǔ)齊第二把可復(fù)現(xiàn)當(dāng)成團(tuán)隊(duì)協(xié)作的接口協(xié)議而不是某個(gè)人的個(gè)人習(xí)慣大家一起遵守才能讓知識(shí)在所有實(shí)驗(yàn)之間流動(dòng)起來(lái)。最后送你一個(gè)小技巧給自己維護(hù)的所有訓(xùn)練倉(cāng)庫(kù)統(tǒng)一放一個(gè)REPRODUCE.md文件把環(huán)境、數(shù)據(jù)、隨機(jī)、硬件四類(lèi)信息怎么記錄寫(xiě)清楚。下次無(wú)論誰(shuí)來(lái)跑這份代碼都不會(huì)再來(lái)敲你的門(mén)問(wèn)“這個(gè)參數(shù)到底是多少”。