1. 為什么又聊PyTorch框架選型的現(xiàn)實(shí)賬本說實(shí)話這兩年已經(jīng)不太有人問我“深度學(xué)習(xí)該用哪個(gè)框架”了問這個(gè)問題的多半剛?cè)腴T。前陣子帶一個(gè)A同學(xué)做圖像相關(guān)的小項(xiàng)目他在環(huán)境配置階段糾結(jié)了一整天一邊是靜態(tài)圖的框架一邊是動(dòng)態(tài)圖的框架最后找人問了一圈又繞回PyTorch。我特別能理解這種糾結(jié)畢竟選框架這件事本質(zhì)上是在選一種思維方式、一套生態(tài)以及未來踩坑時(shí)誰來給你兜底。我個(gè)人的立場很直接日常做項(xiàng)目、寫Demo、甚至幫人快速驗(yàn)證想法我基本都會(huì)用PyTorch。這不是因?yàn)樗白钕冗M(jìn)”而是因?yàn)樗谡{(diào)試、迭代和社區(qū)方案這幾個(gè)維度上對普通人最友好。你寫一行打印就能看到張量的中間值算錯(cuò)了一步也能順著異常棧倒回去查邏輯對新手來說這種透明感比任何天花亂墜的架構(gòu)設(shè)計(jì)都重要。聊幾個(gè)現(xiàn)實(shí)原因。第一動(dòng)態(tài)圖的開發(fā)方式貼合人類思考習(xí)慣。你搭模型的時(shí)候像在寫普通邏輯代碼每一層算出來什么、形狀對不對、有沒有NaN當(dāng)場就能知道。第二生態(tài)里的開源模型和行為方案非常豐富遇到問題查一下通常能找到類似場景的完整代碼。第三部署路徑也在逐漸收斂很多工具鏈本身就基于PyTorch模型格式做轉(zhuǎn)換你前期用什么訓(xùn)練后期遷移的阻力會(huì)小很多。當(dāng)然我不是說其他框架一無是處。有些場景下靜態(tài)圖帶來的編譯優(yōu)化確實(shí)能帶來性能收益生產(chǎn)環(huán)境里也仍然大量存在。但如果你還在學(xué)習(xí)階段或者需要在短時(shí)間內(nèi)驗(yàn)證一個(gè)思路PyTorch的“低摩擦”特性就非常值錢。你可以先把模型跑起來再去琢磨性能優(yōu)化而不是先被框架的抽象機(jī)制卡住。這篇博文想聊的不是官方文檔的搬運(yùn)而是我從實(shí)際使用中沉淀下來的經(jīng)驗(yàn)從環(huán)境準(zhǔn)備、張量直覺、訓(xùn)練循環(huán)到數(shù)據(jù)管線、常見坑、乃至進(jìn)階提速每一節(jié)都盡量講清背后的“為什么”。如果你正準(zhǔn)備開始或者已經(jīng)寫了幾段PyTorch代碼但覺得不順手相信這篇文章能幫你省下不少摸索時(shí)間。2. 環(huán)境準(zhǔn)備與張量直覺跑通你的第一個(gè)腳本2.1 安裝階段最容易被忽略的不是版本號很多新手第一次裝PyTorch第一反應(yīng)是“我要不要裝最新版”然后去官網(wǎng)復(fù)制一行安裝命令直接執(zhí)行。等到訓(xùn)練模型的時(shí)候才發(fā)現(xiàn)明明GPU驅(qū)動(dòng)顯示正常可框架就是檢測不到計(jì)算硬件。這個(gè)問題我見過太多次十有八九不是PyTorch本身的問題而是安裝包的構(gòu)建版本和本機(jī)驅(qū)動(dòng)環(huán)境不匹配。實(shí)際上現(xiàn)在的安裝流程已經(jīng)簡化很多。你只需要去官網(wǎng)選好自己的系統(tǒng)、包管理方式、計(jì)算平臺版本它會(huì)給出對應(yīng)的安裝命令。重點(diǎn)在于你選的版本要與本機(jī)的驅(qū)動(dòng)環(huán)境匹配。如果驅(qū)動(dòng)較老硬裝一個(gè)特別新的構(gòu)建版本很可能會(huì)報(bào)“找不到設(shè)備”之類的錯(cuò)誤。反過來老版本配合新驅(qū)動(dòng)一般問題不大但少了一些新特性。這里給一個(gè)我在不同機(jī)器上反復(fù)驗(yàn)證過的經(jīng)驗(yàn)先確認(rèn)本機(jī)驅(qū)動(dòng)是哪個(gè)大版本再去選構(gòu)建版本。網(wǎng)上有一個(gè)通用說法是“新驅(qū)動(dòng)向下兼容”但兼容歸兼容真正跑起來以后不同構(gòu)建版本的算子行為會(huì)有細(xì)微差異尤其在卷積或者某些特殊激活函數(shù)上浮點(diǎn)誤差可能被放大。所以我的建議是按官網(wǎng)推薦的主流組合走別自己混搭。2.2 張量到底是什么不止是多維數(shù)組有了環(huán)境之后第一件要理解的事就是“張量”。很多人看教程把它粗暴地理解成“多維數(shù)組”這個(gè)說法沒錯(cuò)但遠(yuǎn)遠(yuǎn)不夠。數(shù)組只是一個(gè)數(shù)據(jù)容器而張量在深度學(xué)習(xí)框架里還綁定了數(shù)據(jù)類型、設(shè)備位置和自動(dòng)求導(dǎo)狀態(tài)這些屬性決定了你能拿它做什么。舉個(gè)例子。你創(chuàng)建一個(gè)普通的二維張量它的形狀是(批次大小, 特征維度)這是最常見的輸入格式。但同樣的數(shù)據(jù)如果放到顯卡顯存里就和放在內(nèi)存里不一樣了你在電腦上打印出來的值是一樣的但它在“哪里”這件事直接決定了你能不能參與模型計(jì)算。模型參數(shù)放在顯存輸入數(shù)據(jù)放在內(nèi)存你直接做運(yùn)算就會(huì)報(bào)“設(shè)備不匹配”。這種報(bào)錯(cuò)新手幾乎都會(huì)遇到本質(zhì)上就是沒有理解張量是有“所在位置”的。還有一點(diǎn)張量默認(rèn)是不記錄計(jì)算歷史的。只有在你設(shè)置“需要梯度”之后它才會(huì)在運(yùn)算過程中自動(dòng)構(gòu)建計(jì)算圖。這個(gè)機(jī)制就是PyTorch自動(dòng)求導(dǎo)的根基。剛開始不用深究反向傳播的數(shù)學(xué)推導(dǎo)你只需要記住凡是需要更新的參數(shù)就設(shè)置需要梯度凡是你手動(dòng)生成的臨時(shí)數(shù)據(jù)默認(rèn)不需要。2.3 用一個(gè)小例子理解自動(dòng)求導(dǎo)很多教程都會(huì)用線性擬合來演示自動(dòng)求導(dǎo)但講的人常常直接貼代碼不解釋為什么能算梯度。我換個(gè)思路幫你建立一個(gè)直覺。想象你在做一個(gè)猜數(shù)字的游戲你要根據(jù)輸入的x預(yù)測輸出的y。也就是說你要找到一組參數(shù)讓預(yù)測值和真實(shí)值之間的差距最小。自動(dòng)求導(dǎo)做的事情就是當(dāng)你算出“差距”之后自動(dòng)幫你看清楚如果我稍微調(diào)大某個(gè)參數(shù)差距會(huì)變大還是變小變化速度是多少這個(gè)方向和速度就是梯度。在PyTorch里你只需要把參數(shù)張量的“需要梯度”設(shè)為真然后正常做前向計(jì)算算出損失值再調(diào)用反向傳播。框架會(huì)沿著計(jì)算圖把每個(gè)參數(shù)的梯度填進(jìn)去。你不需要手寫任何一個(gè)求導(dǎo)公式這對新手來說是巨大的解放。我當(dāng)時(shí)第一次跑通這個(gè)流程第一反應(yīng)是“這也太方便了吧”后來才理解所謂的“深度學(xué)習(xí)框架”核心就是幫你把反向傳播這件繁瑣的事徹底接管。3. 從零搭一個(gè)圖像分類模型完整訓(xùn)練循環(huán)3.1 網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)先用簡單結(jié)構(gòu)兜底很多人第一次搭模型容易犯一個(gè)毛病一上來就堆結(jié)構(gòu)卷積好幾層、歸一化、Dropout、殘差連接能用的都加上。等跑起來發(fā)現(xiàn)訓(xùn)練特別慢效果卻沒好到哪去。我的建議是第一版盡量做簡單先確認(rèn)整條鏈路能通再逐步加復(fù)雜度。拿圖像分類舉個(gè)例子。我會(huì)先從一個(gè)簡單的線性分類器開始把圖片展平成一維向量丟進(jìn)一個(gè)全連接層加上一個(gè)激活函數(shù)再接一個(gè)全連接層輸出類別得分。就這么簡單。這樣做有三個(gè)好處第一代碼短出了問題好排查第二訓(xùn)練速度快能迅速看到損失值變化趨勢第三你知道這個(gè)結(jié)構(gòu)的上限在哪里后面改復(fù)雜了心里有對比基礎(chǔ)。分類模型的輸出層最常見的選擇是“線性層輸出類別數(shù)量”配合交叉熵?fù)p失函數(shù)。很多新手會(huì)問我需不需要在最后一層加Softmax答案是不需要。因?yàn)榭蚣芴峁┑慕徊骒負(fù)p失函數(shù)默認(rèn)把原始得分和真實(shí)類別作為輸入內(nèi)部會(huì)先算Softmax再算損失。你如果在外面又做了一次Softmax反而可能丟數(shù)值精度。3.2 訓(xùn)練循環(huán)怎么組織前向、反向、更新三步訓(xùn)練循環(huán)的代碼邏輯其實(shí)非常固定看起來就那么幾行但每一步都別寫錯(cuò)。核心流程是把數(shù)據(jù)放上設(shè)備、做前向計(jì)算、算出損失值、清空上一步的梯度、執(zhí)行反向傳播、讓優(yōu)化器更新參數(shù)。這六步里最容易漏掉的是“清空梯度”。為什么會(huì)漏因?yàn)镻yTorch在反向傳播時(shí)默認(rèn)是“累加”梯度而不是“覆蓋”。如果你的循環(huán)里沒有清空梯度的操作那你每一次迭代的梯度都會(huì)疊加上一次的值參數(shù)更新就成了亂跑。這個(gè)問題不會(huì)立刻報(bào)錯(cuò)但你的損失值會(huì)呈現(xiàn)出詭異的波動(dòng)甚至直接發(fā)散。我當(dāng)時(shí)第一次遇到底下代碼報(bào)錯(cuò)卻不知道原因后來別人提醒一句“你忘了zero_grad”我才恍然大悟。所以記住更新參數(shù)之前先清空老的梯度。還有一個(gè)容易誤導(dǎo)新手的細(xì)節(jié)訓(xùn)練階段需要把模型切換成訓(xùn)練模式驗(yàn)證階段切換成評估模式。這兩者在某些結(jié)構(gòu)下行為不同比如批次歸一化在訓(xùn)練時(shí)統(tǒng)計(jì)當(dāng)前批次的均值和方差在評估時(shí)使用訓(xùn)練階段記錄的全局統(tǒng)計(jì)量。如果你驗(yàn)證時(shí)不切換結(jié)果可能看起來還行但一到部署就露餡。所以標(biāo)準(zhǔn)操作是訓(xùn)練前寫訓(xùn)練模式驗(yàn)證前寫評估模式。3.3 怎么看訓(xùn)練曲線損失下降的“正常姿勢”訓(xùn)練起來之后最讓人緊張的就是盯著損失值看。新手的常見誤區(qū)是只要損失值沒有立刻往下降就覺得自己代碼寫錯(cuò)了或者模型結(jié)構(gòu)不行。實(shí)際情況是合理的損失下降曲線往往不是一條平滑直線而是先快速下降、然后進(jìn)入平臺期、再緩慢下降。以圖像分類為例訓(xùn)練剛開始時(shí)模型基本上是在亂猜?lián)p失值會(huì)比較高。經(jīng)過幾個(gè)批次之后損失開始明顯下降這說明模型學(xué)到了一些基本的區(qū)分特征。再往后下降會(huì)變得非常緩慢有時(shí)候甚至?xí)》厣@很大概率是數(shù)據(jù)批次之間的隨機(jī)波動(dòng)不代表模型壞了。判斷的標(biāo)準(zhǔn)是看整體趨勢而不是盯著一兩個(gè)點(diǎn)。我一般在訓(xùn)練時(shí)會(huì)記錄一個(gè)流動(dòng)平均的損失值每幾十個(gè)批次打印一次這樣看到的曲線比較平滑不會(huì)被單次波動(dòng)嚇到。等訓(xùn)練結(jié)束再拿驗(yàn)證集去評估真正效果。記住訓(xùn)練集上的損失再低都不算數(shù)驗(yàn)證集上的表現(xiàn)才是模型真實(shí)水平的反映。4. Dataset與DataLoader數(shù)據(jù)管線決定訓(xùn)練上限4.1 數(shù)據(jù)加載階段的隱藏規(guī)則新手寫訓(xùn)練代碼最喜歡把數(shù)據(jù)一次性全部讀進(jìn)內(nèi)存然后一股腦丟給模型。這個(gè)做法在小數(shù)據(jù)集上沒問題但只要你換到稍微大一點(diǎn)的數(shù)據(jù)集立刻就會(huì)遇到內(nèi)存爆炸。正確做法是把所有數(shù)據(jù)封裝成一個(gè)“數(shù)據(jù)集”對象再用“數(shù)據(jù)加載器”分批讀取這樣每個(gè)批次只占一小塊內(nèi)存或顯存。Dataset的抽象聽起來有點(diǎn)繞其實(shí)理解成一個(gè)“單向列表”就行它知道一共多少個(gè)樣本也知道給定索引怎么拿回一個(gè)樣本。你在實(shí)現(xiàn)的時(shí)候只需要告訴框架兩件事這個(gè)數(shù)據(jù)集有多長以及按索引取樣本時(shí)應(yīng)該返回什么。預(yù)處理邏輯也可以放在這里比如讀圖、縮放、轉(zhuǎn)成張量、歸一化全部在這個(gè)環(huán)節(jié)完成。有一個(gè)我踩過的坑值得說在取樣本函數(shù)里做太多耗時(shí)操作會(huì)導(dǎo)致訓(xùn)練量級變慢。比如每次讀取樣本都要現(xiàn)做數(shù)據(jù)增強(qiáng)如果你的增強(qiáng)邏輯復(fù)雜CPU會(huì)忙不過來GPU只能空等。這種情況下你換更好的顯卡都沒用瓶頸在數(shù)據(jù)生成端不在計(jì)算端。所以正確的優(yōu)化順序是先優(yōu)化數(shù)據(jù)管線再考慮升級硬件。4.2 批大小、打亂與并行讀取三個(gè)參數(shù)怎么配DataLoader有幾個(gè)常用設(shè)置批次大小、是否打亂順序以及用幾個(gè)并行工作進(jìn)程取數(shù)據(jù)。它們的搭配邏輯和你在餐廳備餐非常相似。批次大小決定的是“一桌客人上幾道菜”一次給模型看多少樣本。太小的批次模型更新方向噪聲大太大的批次顯存容易爆。打亂順序是“上菜不按固定順序”讓模型每次看到的數(shù)據(jù)次序不同避免它學(xué)到樣本順序帶來的偽特征尤其是訓(xùn)練階段打亂幾乎是必須的。并行工作進(jìn)程是“后廚有幾個(gè)廚師”讓多個(gè)進(jìn)程同時(shí)準(zhǔn)備數(shù)據(jù)供給速度更快。我推薦的起點(diǎn)是批次大小先設(shè)成32或64訓(xùn)練時(shí)開啟打亂并行進(jìn)程數(shù)設(shè)為和CPU核心數(shù)相關(guān)但不完全相等。這幾個(gè)參數(shù)都要配合具體數(shù)據(jù)量和模型大小調(diào)整沒有絕對標(biāo)準(zhǔn)。核心思路是先觀察GPU利用率如果總在較低位置徘徊大概率是數(shù)據(jù)加載速度跟不上。這時(shí)候優(yōu)先調(diào)大并行進(jìn)程數(shù)而不是盲目加大批次。4.3 內(nèi)存與顯存的邊界誰占了空間調(diào)試訓(xùn)練代碼時(shí)遇到“內(nèi)存不足”或“顯存不足”的報(bào)錯(cuò)很多人的第一反應(yīng)是換更大配置的機(jī)器。但很多時(shí)候問題根本不是機(jī)器不夠好而是你的代碼不小心把數(shù)據(jù)復(fù)制了很多份。舉個(gè)例子你在取樣本函數(shù)里做了某些轉(zhuǎn)換結(jié)果數(shù)據(jù)從CPU張量變成了GPU張量那么這個(gè)數(shù)據(jù)就一直占著顯存。如果每個(gè)批次都這么做并且沒有及時(shí)釋放顯存就會(huì)像漏水一樣慢慢填滿。正確做法是盡量讓數(shù)據(jù)在CPU端準(zhǔn)備好每次只把當(dāng)前批次的數(shù)據(jù)移動(dòng)到計(jì)算設(shè)備上計(jì)算完立刻釋放。移動(dòng)設(shè)備這個(gè)操作本身就是一次數(shù)據(jù)復(fù)制能不重復(fù)就不重復(fù)。另外還有個(gè)容易被忽略的坑在訓(xùn)練循環(huán)中把張量“累積”進(jìn)列表想最后再統(tǒng)計(jì)。如果你累積的是帶有計(jì)算歷史的張量那么每個(gè)歷史步驟的計(jì)算圖都不會(huì)釋放內(nèi)存增長會(huì)非?？植?。解決辦法很簡單統(tǒng)計(jì)時(shí)調(diào)用脫離圖操作把值轉(zhuǎn)為普通數(shù)字再存。這個(gè)細(xì)節(jié)很多人是等到程序跑了幾百個(gè)批次之后突然卡死才意識到是累加列表惹的禍。5. 踩過的坑顯存、梯度、隨機(jī)性三個(gè)最容易翻車的地方5.1 顯存OOM的時(shí)候先別急著調(diào)小批次“顯存不足”是訓(xùn)練中最常見的報(bào)錯(cuò)之一新手往往立刻把批次大小減半看似解決了問題但模型效果可能跟著變差。其實(shí)這個(gè)報(bào)錯(cuò)背后可能有完全不同的原因需要你先分辨清楚再動(dòng)手。先確認(rèn)一下報(bào)錯(cuò)發(fā)生的位置。如果是在前向計(jì)算階段就爆那大概率是模型輸入太大確實(shí)要先降輸入分辨率或者批次大小。如果是在反向傳播階段爆那就是計(jì)算圖保存的中間變量太多這時(shí)候去動(dòng)數(shù)據(jù)集沒意義真正該考慮的是梯度累積、梯度檢查點(diǎn)或者混合精度。還有有些結(jié)構(gòu)本身就很吃顯存多層特征圖的疊加會(huì)迅速放大內(nèi)存占用。我做過一次很蠢的事模型結(jié)構(gòu)里有大量未及時(shí)釋放的中間緩存導(dǎo)致每個(gè)批次跑完顯存占用明顯增加跑著跑著就爆掉。后來才發(fā)現(xiàn)是某個(gè)張量被反復(fù)引用又沒釋放。解決辦法是盡量用局部變量減少不必要的引用計(jì)數(shù)。這里給個(gè)通用經(jīng)驗(yàn)顯存占用如果呈現(xiàn)緩慢上漲趨勢多半不是批次大小的鍋而是代碼里有什么東西在積累先查這個(gè)再調(diào)參數(shù)。5.2 梯度過大或過小從損失值上看不出來的病梯度問題比顯存問題還要隱蔽因?yàn)槌绦虿粫?huì)報(bào)錯(cuò)但模型訓(xùn)練出來的結(jié)果就是不理想。最常見的是梯度爆炸和梯度消失。你可以這樣理解梯度爆炸就是參數(shù)更新步伐大得過頭損失值直接跳到NaN梯度消失就是更新幅度幾乎為零模型根本學(xué)不動(dòng)損失值一直不下降。以圖像分類為例如果網(wǎng)絡(luò)層數(shù)較深或者激活函數(shù)選擇不合適幾層傳播下來梯度會(huì)指數(shù)級縮水。尤其當(dāng)你用了容易飽和的激活函數(shù)深層網(wǎng)絡(luò)很容易出梯度消失。我踩過這個(gè)坑之后才真正明白為什么要用那些設(shè)計(jì)好的激活函數(shù)、為什么要加入歸一化結(jié)構(gòu)以及為什么有些網(wǎng)絡(luò)結(jié)構(gòu)會(huì)把梯度的“轉(zhuǎn)播通道”單獨(dú)拉出來。排查梯度問題你可以自己動(dòng)手打印每一層參數(shù)的梯度大小。觀察幾個(gè)批次之后如果某些層的梯度突然特別大就有爆炸風(fēng)險(xiǎn)如果某些層的梯度長時(shí)間接近零就要考慮是不是消失了。解決方案有很多調(diào)整初始化方式、換激活函數(shù)、加歸一化、調(diào)低學(xué)習(xí)率等。但核心思路是先找到梯度異常的位置再對癥下藥。5.3 結(jié)果不可復(fù)現(xiàn)不只是“隨機(jī)”那么簡單很多人都遇到過這種情況同樣的代碼、同樣的數(shù)據(jù)兩次訓(xùn)練出來的結(jié)果竟然不一樣。如果你只想要個(gè)實(shí)驗(yàn)結(jié)論也許覺得沒什么但如果你想復(fù)現(xiàn)某個(gè)改進(jìn)點(diǎn)這種不確定性會(huì)讓人抓狂。為什么會(huì)這樣因?yàn)榭蚣芾镉刑嚯S機(jī)過程參數(shù)初始化是隨機(jī)的、數(shù)據(jù)加載時(shí)打亂順序是隨機(jī)的、某些操作在小數(shù)精度下也有隨機(jī)性。想要盡可能復(fù)現(xiàn)就得手動(dòng)固定這些隨機(jī)源。標(biāo)準(zhǔn)的做法往往包含“設(shè)置全局隨機(jī)種子”但很多人只設(shè)置了框架的隨機(jī)種子卻漏掉了其他隨機(jī)庫。漏掉一個(gè)結(jié)果就固定不住。我也經(jīng)常跟人強(qiáng)調(diào)所謂“可復(fù)現(xiàn)性”是個(gè)概率問題而不是絕對問題。即便你把所有隨機(jī)種子都設(shè)置好跑在GPU上仍然可能因?yàn)椴⑿杏?jì)算中的浮點(diǎn)累加順序產(chǎn)生微小差異。所以實(shí)驗(yàn)里我更看重“趨勢復(fù)現(xiàn)”也就是模型最終效果是否在同一量級上下波動(dòng)而不是執(zhí)著于一個(gè)完全相同的數(shù)字。如果你的模型訓(xùn)練結(jié)果忽好忽壞差異特別大那多半不是隨機(jī)種子的問題而是訓(xùn)練過程本身不夠穩(wěn)定比如學(xué)習(xí)率太高或者數(shù)據(jù)批次差異太大。6. 進(jìn)階提速混合精度、多卡協(xié)同與部署轉(zhuǎn)換的實(shí)操思路6.1 混合精度是怎么讓訓(xùn)練變快的在模型規(guī)模變大之后你會(huì)明顯感覺到訓(xùn)練速度不夠快。這時(shí)候半精度混合訓(xùn)練往往是性價(jià)比非常高的一步。它的原理并不復(fù)雜訓(xùn)練過程中一部分操作使用半精度浮點(diǎn)數(shù)計(jì)算更快、占用更小一部分關(guān)鍵操作仍然保留全精度避免精度損失過大。剛開始我不太敢碰這個(gè)東西總覺得“精度降低”會(huì)影響模型效果。后來專門做了一組對比試驗(yàn)才發(fā)現(xiàn)訓(xùn)練食譜的改善非常明顯。混合精度可以讓顯存占用幾乎減半訓(xùn)練速度通常也能有可觀的提升。而且現(xiàn)代設(shè)備的加速單元本身就對半精度運(yùn)算做了優(yōu)化所以這個(gè)收益不是玄學(xué)而是硬件層面的現(xiàn)實(shí)。使用起來也特別簡單大多集合成了一段很小的上下文管理器。把前向計(jì)算和損失計(jì)算包進(jìn)去再加一個(gè)梯度縮放操作然后正常執(zhí)行反向和更新。這里有個(gè)細(xì)節(jié)容易出錯(cuò)梯度縮放也就是在反向傳播前把損失值放大避免半精度下的梯度下溢更新參數(shù)之前再把梯度縮小回來。新手如果直接用可能發(fā)現(xiàn)訓(xùn)練中損失值出現(xiàn)NaN十有八九就是忽略了梯度縮放的處理。6.2 多卡訓(xùn)練的模式選擇不是越多卡越快當(dāng)單張卡放不下模型時(shí)很多人第一反應(yīng)是“上分布式”其實(shí)需要先想清楚你到底是因?yàn)閱慰@存不夠還是因?yàn)橛?xùn)練太慢想并行加速這兩種需求對應(yīng)的方案完全不同。如果是顯存不夠?qū)δ愀押玫姆桨缚赡苁悄Ｐ筒⑿幸簿褪前涯Ｐ筒痖_不同層放在不同卡上。但這種寫法對通信要求高、代碼復(fù)雜通常不是最優(yōu)選擇。如果是數(shù)據(jù)量大、單卡訓(xùn)練慢更常見的是數(shù)據(jù)并行也就是每張卡都放一份完整模型數(shù)據(jù)切分到不同卡上各算各的最后同步梯度。網(wǎng)上很多教程喜歡直接貼分布式訓(xùn)練的配置但我覺得對大多數(shù)人來說更實(shí)際的路線是先驗(yàn)證單卡流程沒問題再加上同步邏輯。我曾見過有人直接上分布式結(jié)果因?yàn)閿?shù)據(jù)加載配置沒寫好多卡跑起來比單卡還慢原因就是每張卡都在重復(fù)讀同樣的數(shù)據(jù)。多卡協(xié)同的收益點(diǎn)在于計(jì)算并行數(shù)據(jù)讀取環(huán)節(jié)如果不能各自獨(dú)立整體收益就會(huì)被抵消。所以動(dòng)手之前先確認(rèn)瓶頸在哪個(gè)環(huán)節(jié)。6.3 訓(xùn)練完的模型怎么變成能用的東西訓(xùn)練出一個(gè)效果不錯(cuò)的模型之后緊接著的問題就是這個(gè)模型文件怎么給別人用怎么集成到應(yīng)用里很多新手的思維還停留在“把訓(xùn)練代碼發(fā)給別人”的階段這在實(shí)際項(xiàng)目中是不可接受的。我建議在訓(xùn)練結(jié)束時(shí)就把模型的結(jié)構(gòu)和權(quán)重分開看待。模型需要保存權(quán)重文件也就是參數(shù)數(shù)據(jù)結(jié)構(gòu)則通常在加載時(shí)重新定義。這么做的好處是對方不需要完整跑一遍訓(xùn)練代碼只需要知道結(jié)構(gòu)定義和權(quán)重文件即可。如果你的模型結(jié)構(gòu)比較復(fù)雜直接用源碼定義來加載會(huì)非常麻煩這時(shí)候就該考慮序列化格式。部署環(huán)節(jié)另一個(gè)常見困惑是“推理和訓(xùn)練是不是一回事”。實(shí)際推理時(shí)你通常不需要計(jì)算梯度也不需要保留計(jì)算圖所以可以進(jìn)入推理模式并且關(guān)閉梯度跟蹤。這兩個(gè)改動(dòng)能讓推理速度有明顯提升顯存占用也會(huì)下降。更極端一點(diǎn)你還可以關(guān)閉整個(gè)自動(dòng)求導(dǎo)機(jī)制把模型變成純推理模式對輕量部署很有幫助。7. 一些個(gè)人經(jīng)驗(yàn)與收尾建議寫了這么多最后分享幾條最不“高級”但最有用的經(jīng)驗(yàn)。第一訓(xùn)練腳本一定要先跑通再調(diào)優(yōu)。很多人喜歡一開始就加各種高級結(jié)構(gòu)結(jié)果問題層疊完全沒法排查。正確路徑很簡單用一個(gè)很小的數(shù)據(jù)子集跑通完整流程確認(rèn)損失值確實(shí)在下降再換上全部數(shù)據(jù)。這條規(guī)矩我每次都遵守省下的時(shí)間遠(yuǎn)大于“多跑一次”的成本。第二遇到錯(cuò)誤先看完整異常棧別急著去搜索引擎。異常棧里會(huì)明確告訴你問題出在哪個(gè)文件、哪一行周圍的變量名也經(jīng)常能提供線索。新手最容易犯的錯(cuò)是只看最后一行報(bào)錯(cuò)然后搜索關(guān)鍵詞結(jié)果被無關(guān)方案繞暈。其實(shí)大部分問題你順著棧往下讀兩三個(gè)層級就能定位到自己的代碼。第三多看一眼損失值和梯度的變化不要只看最終準(zhǔn)確率。很多人訓(xùn)練一跑完就急著看最終結(jié)果卻忽略了訓(xùn)練過程中的中間信息。損失值的劇烈波動(dòng)、梯度的異常大小都是最直接的診斷信號。養(yǎng)成記錄這些中間狀態(tài)的習(xí)慣會(huì)讓你排查問題的速度快一個(gè)量級。第四別迷信“別人跑出來的最佳配置”。不同數(shù)據(jù)、不同任務(wù)的適配都會(huì)影響配置參數(shù)別人能跑通的方案搬到你的場景不一定有效。把它當(dāng)成起點(diǎn)自己動(dòng)手調(diào)參才能真正理解為什么要設(shè)成這個(gè)值。目前這套流程已經(jīng)成為我做實(shí)驗(yàn)的基礎(chǔ)配置從環(huán)境搭建到模型訓(xùn)練、再到部署落地的路徑也非常清晰。如果你又剛開始接觸PyTorch希望這篇內(nèi)容能幫你少走一些彎路。實(shí)際操作中每個(gè)問題背后幾乎都有一組固定的排查思路只要你愿意先動(dòng)手跑起來再多留意細(xì)節(jié)你會(huì)比我當(dāng)初更快掌握它。