先說一個(gè)讓人頭疼的場景我在訓(xùn)練一個(gè)中文生成模型batch size開到16就OOM開到8倒是穩(wěn)了但一個(gè)epoch要跑將近兩天。更氣人的是loss曲線前半段像心電圖后半段像便秘——要么不降要么突然跳水然后又彈回去。當(dāng)時(shí)我就明白一件事光把模型搭出來遠(yuǎn)遠(yuǎn)不夠真正決定項(xiàng)目能不能落地的是優(yōu)化這層功夫。后來我花了很長時(shí)間折騰Model-Optimizer把訓(xùn)練過程中的梯度更新、學(xué)習(xí)率調(diào)度、顯存分配、精度策略這些環(huán)節(jié)一個(gè)一個(gè)拆開來看最終沉淀出一套可以復(fù)用的優(yōu)化框架。這篇文章不聊論文式的理論推導(dǎo)只聊我在實(shí)際項(xiàng)目中踩過的坑、驗(yàn)證過的配置、以及最終跑通的方案。如果你正在被loss不收斂、顯存不夠、訓(xùn)練太慢這些問題折磨這篇文章應(yīng)該能給你一些直接可抄的作業(yè)。1. 為什么我要自己折騰一個(gè)Model-Optimizer1.1 現(xiàn)成優(yōu)化器解決不了的實(shí)際問題先說結(jié)論P(yáng)yTorch自帶的AdamW、SGD這些優(yōu)化器本身沒做錯(cuò)什么但它們只是梯度更新規(guī)則這一個(gè)環(huán)節(jié)。實(shí)際訓(xùn)練一個(gè)稍微像樣的模型你會(huì)發(fā)現(xiàn)瓶頸根本不在這一個(gè)環(huán)節(jié)上。我當(dāng)時(shí)遇到的是三個(gè)具體問題優(yōu)化器狀態(tài)占用顯存過高。AdamW需要維護(hù)一階動(dòng)量和二階動(dòng)量這兩個(gè)緩存張量跟模型參數(shù)一樣大。一個(gè)7B參數(shù)的模型光優(yōu)化器狀態(tài)就得多吃將近56GB顯存按BF16算這還沒算梯度和激活值。學(xué)習(xí)率調(diào)度器和優(yōu)化器狀態(tài)脫節(jié)。模型中途恢復(fù)訓(xùn)練時(shí)如果只保存了模型權(quán)重而沒有保存優(yōu)化器的step計(jì)數(shù)和動(dòng)量狀態(tài)重新加載后學(xué)習(xí)率會(huì)跳回初始值訓(xùn)練節(jié)奏直接廢掉。loss曲線反復(fù)震蕩。batch size小的時(shí)候梯度噪聲大AdamW雖然能自適應(yīng)調(diào)整更新幅度但遇到個(gè)別梯度特別大的batch還是會(huì)出現(xiàn)loss尖刺。Model-Optimizer這個(gè)項(xiàng)目的出發(fā)點(diǎn)就是把優(yōu)化器從單一的參數(shù)更新算法擴(kuò)展成一套包含梯度處理、學(xué)習(xí)率策略、顯存優(yōu)化、狀態(tài)管理在內(nèi)的完整訓(xùn)練優(yōu)化解決方案。1.2 Model-Optimizer的設(shè)計(jì)目標(biāo)我在設(shè)計(jì)這個(gè)框架時(shí)給自己定了幾個(gè)原則模塊化組合每個(gè)優(yōu)化組件可以獨(dú)立開關(guān)和替換比如梯度裁剪可以單獨(dú)用也可以和混合精度配合。可觀測性優(yōu)先訓(xùn)練過程中的學(xué)習(xí)率、梯度范數(shù)、參數(shù)更新幅度等關(guān)鍵指標(biāo)必須能實(shí)時(shí)看到?？床灰娋驼{(diào)不了。狀態(tài)可恢復(fù)任何時(shí)候中斷訓(xùn)練重新加載后應(yīng)該能精確恢復(fù)到中斷時(shí)的狀態(tài)包括學(xué)習(xí)率的step位置。很多人覺得模塊化這些是老生常談但真到自己寫訓(xùn)練腳本時(shí)全都圖省事直接調(diào)torch的默認(rèn)API結(jié)果出了問題只能干瞪眼。1.3 這個(gè)框架適合誰如果你只是跑跑MNIST、CIFAR這種玩具數(shù)據(jù)集那完全不需要折騰這些。但如果你在訓(xùn)練GPT風(fēng)格的語言模型、Diffusion模型、或者任意超過1B參數(shù)的大模型你就會(huì)發(fā)現(xiàn)這里面的每個(gè)細(xì)節(jié)都在影響最終效果。我做這個(gè)項(xiàng)目時(shí)的基準(zhǔn)場景是單機(jī)多卡訓(xùn)練一個(gè)3B參數(shù)的對話模型這也是我認(rèn)為Model-Optimizer最適用的場景。2. 模型優(yōu)化器里的三大關(guān)鍵旋鈕2.1 梯度更新算法怎么選這不是三言兩語能說清的但我可以分享自己的選型經(jīng)驗(yàn)。首先是AdamW和SGD的對比。SGD配合momentum在CV領(lǐng)域一直表現(xiàn)穩(wěn)定尤其經(jīng)過長時(shí)間訓(xùn)練后泛化性往往更好。但SGD對學(xué)習(xí)率太敏感需要在訓(xùn)練過程中頻繁調(diào)整而且自適應(yīng)能力弱遇到稀疏特征或者不同尺度的參數(shù)時(shí)表現(xiàn)不太穩(wěn)定。AdamW在NLP和生成模型里幾乎成了默認(rèn)選擇。它的優(yōu)勢是每個(gè)參數(shù)都有獨(dú)立的學(xué)習(xí)率縮放前期的訓(xùn)練速度明顯更快。但AdamW也有個(gè)很多人不知道的問題它對權(quán)重衰減的處理雖然比原始Adam規(guī)范但如果你把weight_decay設(shè)得太高比如0.1以上參數(shù)范數(shù)會(huì)被壓得特別小最終模型的表達(dá)能力會(huì)下降。我自己在Model-Optimizer里的默認(rèn)配置是優(yōu)化器: AdamW beta1: 0.9 beta2: 0.95 epsilon: 1e-8 weight_decay: 0.01這個(gè)配置在大多數(shù)語言模型任務(wù)上表現(xiàn)都比較穩(wěn)。beta2從默認(rèn)的0.999調(diào)低到0.95是我實(shí)測下來很管用的一個(gè)改動(dòng)——它讓二階動(dòng)量對梯度變化的響應(yīng)更快能明顯減少訓(xùn)練后期的loss尖刺問題。2.2 學(xué)習(xí)率調(diào)度的魔鬼細(xì)節(jié)學(xué)習(xí)率調(diào)度表面上看只是一個(gè)衰減曲線實(shí)際里面全是坑。我踩得最深的一個(gè)坑是warmup步數(shù)設(shè)置。剛開始訓(xùn)練3B模型時(shí)我沒加warmup直接用1e-4的學(xué)習(xí)率開跑。結(jié)果前500步loss不僅沒降反而從5.2漲到了5.8梯度范數(shù)一度飆到正常值的30倍。后來查資料才意識(shí)到模型參數(shù)剛初始化時(shí)分布不理想梯度統(tǒng)計(jì)量也不穩(wěn)定此時(shí)直接上大學(xué)習(xí)率會(huì)讓AdamW的動(dòng)量估計(jì)迅速偏移后面需要用很多步才能糾正回來。正確做法是加一個(gè)線性warmup讓學(xué)習(xí)率從0逐步升到目標(biāo)值。這個(gè)階段的主要作用是預(yù)熱優(yōu)化器的動(dòng)量狀態(tài)而不是真正學(xué)習(xí)。我在Model-Optimizer里的推薦配置學(xué)習(xí)率峰值: 3e-43B模型 warmup步數(shù): 總步數(shù)的1%約500步 衰減策略: cosine退火到峰值的1/10峰值學(xué)習(xí)率的選擇是另一個(gè)大頭。它和下一條直接相關(guān)——優(yōu)化器的更新幅度取決于學(xué)習(xí)率和梯度范數(shù)的乘積。我在實(shí)踐中的一個(gè)經(jīng)驗(yàn)是如果訓(xùn)練中出現(xiàn)loss前期不降不要盲目加大學(xué)習(xí)率先看看梯度范數(shù)。如果梯度范數(shù)本身在1e-2這個(gè)量級(jí)上下浮動(dòng)那3e-4的學(xué)習(xí)率是合理的如果梯度范數(shù)只有1e-3說明梯度太小考慮去掉梯度裁剪或者調(diào)整網(wǎng)絡(luò)初始化方式而不是去調(diào)學(xué)習(xí)率。2.3 混合精度和梯度累積的配合這兩兄弟配合好了能大幅提升訓(xùn)練效率配合不好會(huì)讓你懷疑人生?；旌暇扔玫氖荘yTorch的torch.cuda.amp.autocast和GradScaler。核心邏輯是前向和反向計(jì)算用FP16加速但優(yōu)化器更新保留FP32的主權(quán)重副本同時(shí)用動(dòng)態(tài)loss scaling避免FP16下梯度過小被下溢吞掉。我在實(shí)際使用中踩過一次動(dòng)態(tài)scale失靈的問題。訓(xùn)練到第2000步時(shí)loss突然變成NaN程序卻沒報(bào)錯(cuò)。排查后發(fā)現(xiàn)是GradScaler的scale因子在反復(fù)迭到overflow后自動(dòng)變小但我的某個(gè)層在FP16下梯度一直下溢導(dǎo)致該層的權(quán)重長時(shí)間不更新數(shù)值漂移越積越大最后整個(gè)模型崩了。解決辦法是給Model-Optimizer加了兩層保險(xiǎn)對特別容易下溢的層比如attention里的softmax和layer norm后的全連接層單獨(dú)走FP32計(jì)算不參與混合精度。作法是在模型前向里用with autocast(enabledFalse):包住這些層。實(shí)時(shí)檢測每個(gè)參數(shù)的梯度更新量如果連續(xù)100步某個(gè)參數(shù)組的梯度范數(shù)為0就告警提示。梯度累積的設(shè)置相對簡單但有一個(gè)容易被忽略的點(diǎn)梯度累積會(huì)改變實(shí)際batch size進(jìn)而影響loss的尺度。如果你的累積步數(shù)是4那等效batch size就是單卡batch size乘4再乘卡數(shù)。模型更新一步時(shí)的梯度是所有微批次梯度的平均這時(shí)的學(xué)習(xí)率理論上也需要相應(yīng)放大。我實(shí)測的通用做法是梯度累積步數(shù)和學(xué)習(xí)率不聯(lián)動(dòng)保持學(xué)習(xí)率不變但warmup的步數(shù)可以適當(dāng)增多因?yàn)榈刃atch變大了梯度統(tǒng)計(jì)更穩(wěn)定warmup階段可以更平滑。3. 從loss曲線倒推優(yōu)化器配置問題的排查鏈路這是Model-Optimizer項(xiàng)目里最讓我覺得有價(jià)值的部分也是我踩坑最多的地方。調(diào)優(yōu)化器不能靠感覺要有系統(tǒng)的排查路徑。3.1 現(xiàn)象一loss前期紋絲不動(dòng)有次訓(xùn)練多模態(tài)模型前300步loss一直在5.4附近徘徊小數(shù)點(diǎn)后都看不出變化。我當(dāng)時(shí)的第一反應(yīng)是調(diào)大學(xué)習(xí)率但沒急著動(dòng)手。先查了三個(gè)東西第一個(gè)是梯度范數(shù)。打印出來發(fā)現(xiàn)是1.5e-4小得離譜這解釋了為什么參數(shù)更新幾乎為0。但梯度為什么這么小第二個(gè)是loss的絕對值。5.4對應(yīng)的是交叉熵還是MSE如果是交叉熵一個(gè)詞表大小為32k的模型隨機(jī)初始化的loss大約是log(32768)10.45.4已經(jīng)比隨機(jī)好很多了。這說明模型已經(jīng)學(xué)了一些東西只是速度慢。第三個(gè)是輸入輸出的數(shù)據(jù)分布。最后發(fā)現(xiàn)是某個(gè)預(yù)訓(xùn)練特征提取器把梯度傳到后面時(shí)幾乎衰減沒了——問題出在網(wǎng)絡(luò)連接方式而不是優(yōu)化器。這個(gè)排查給我留下的經(jīng)驗(yàn)是loss不降先看梯度再看loss的絕對水平最后看數(shù)據(jù)是否有效不要一上來就動(dòng)學(xué)習(xí)率。3.2 現(xiàn)象二訓(xùn)練中期loss尖刺訓(xùn)練到總進(jìn)度的40%左右loss曲線每隔幾百步就跳出個(gè)尖刺高了0.2-0.3。這種情況通常不是隨機(jī)噪聲而是某種可復(fù)現(xiàn)的系統(tǒng)性異常。我在Model-Optimizer里加了一個(gè)診斷工具當(dāng)單步loss超過該batch之前100步的平均值2倍以上時(shí)自動(dòng)記錄當(dāng)時(shí)的學(xué)習(xí)率、梯度范數(shù)、以及l(fā)oss最大的樣本對應(yīng)的樣本ID。后來發(fā)現(xiàn)尖刺往往集中在某些語義模糊的訓(xùn)練樣本上它們的特征是包含大量生僻詞或者超長文本。處理方式有兩個(gè)層面對優(yōu)化器層面梯度裁剪是必須的。我用的max_grad_norm1.0把所有參數(shù)的梯度范數(shù)限制在這個(gè)值內(nèi)。注意這不等同于把每個(gè)參數(shù)clip到絕對值1.0效果差很多。對數(shù)據(jù)層面這種異常樣本即使梯度被裁剪仍然會(huì)污染模型的狀態(tài)最好是在數(shù)據(jù)預(yù)處理階段就把這類樣本單獨(dú)分桶或者降低其采樣權(quán)重。3.3 現(xiàn)象三訓(xùn)練集收斂但驗(yàn)證集差這是一個(gè)典型的泛化問題但我發(fā)現(xiàn)很多人把它歸咎為過擬合后就結(jié)束了沒有往優(yōu)化器配置上想。實(shí)際上優(yōu)化器的某些配置會(huì)明顯影響模型的泛化能力。我對比過同一模型在相同數(shù)據(jù)下的兩組實(shí)驗(yàn)配置項(xiàng)實(shí)驗(yàn)A實(shí)驗(yàn)Bweight_decay0.010.1最終loss2.12.3驗(yàn)證集準(zhǔn)確率68%72%梯度噪聲中等低實(shí)驗(yàn)B的訓(xùn)練loss更高但驗(yàn)證集表現(xiàn)更好。這不是巧合。weight_decay本質(zhì)上是給模型參數(shù)加了一個(gè)L2正則項(xiàng)約束參數(shù)范數(shù)不至于過大從而讓模型對訓(xùn)練集的特定噪聲不敏感。所以如果你發(fā)現(xiàn)驗(yàn)證集和訓(xùn)練集差距過大先別急著加dropout試著把weight_decay從0.01提上去也許效果更直接。3.4 一整套排查順序我把這段時(shí)間的排查經(jīng)驗(yàn)整理成一套固定順序現(xiàn)在調(diào)任何模型的優(yōu)化器配置都按照這個(gè)來看loss的初始值確認(rèn)它是否符合隨機(jī)初始化的理論預(yù)期。不符合先查數(shù)據(jù)管道和loss計(jì)算邏輯。看前500步的梯度范數(shù)曲線。如果梯度范數(shù)趨近于0問題大概率在模型結(jié)構(gòu)或數(shù)據(jù)喂入方式而不是優(yōu)化器?？磜armup結(jié)束后400步內(nèi)的loss變化趨勢。如果loss立刻上升考慮是通過降低峰值學(xué)習(xí)率或者增加warmup步數(shù)來緩解。如果訓(xùn)練后期出現(xiàn)尖刺檢查是否是特定batch導(dǎo)致的并考慮梯度裁剪和數(shù)據(jù)清洗。對比驗(yàn)證集指標(biāo)和訓(xùn)練集指標(biāo)的gap如果gap過大優(yōu)先調(diào)節(jié)weight_decay再考慮數(shù)據(jù)增強(qiáng)或dropout。這套排查鏈路不需要用到什么高級(jí)工具核心就是log好每一步的關(guān)鍵指標(biāo)。我在Model-Optimizer里默認(rèn)記錄了以下字段step、loss、lr、grad_norm、update_norm、loss_scale、顯存占用、當(dāng)前batch的樣本平均長度。有了這些每次出問題都能對照歷史曲線快速定位。4. 顯存和吞吐的平衡術(shù)優(yōu)化器這個(gè)東西看起來只是更新參數(shù)的算法但實(shí)際上它站在顯存和吞吐的交叉點(diǎn)上。4.1 優(yōu)化器狀態(tài)本身就在吃顯存說個(gè)具體數(shù)字。我訓(xùn)練3B模型參數(shù)占用約6GBBF16如果不用任何顯存優(yōu)化完整訓(xùn)練狀態(tài)包括狀態(tài)項(xiàng)占用BF16/FP32模型參數(shù)約6GB梯度約6GBAdamW一階動(dòng)量約12GBFP32AdamW二階動(dòng)量約12GBFP32激活值動(dòng)態(tài)數(shù)GB到數(shù)十GB不等看到?jīng)]優(yōu)化器狀態(tài)占的顯存是模型參數(shù)本身的4倍。這也是為什么大模型訓(xùn)練框架里優(yōu)化器狀態(tài)往往是最先被優(yōu)化的對象。Model-Optimizer提供了兩種降顯存方案Adafactor替代AdamW。它的核心思路是只保存參數(shù)的逐行和逐列二階統(tǒng)計(jì)量而不是每個(gè)參數(shù)的完整二階動(dòng)量。顯存占用比AdamW減少約60%效果在部分任務(wù)上略有折扣但差距在可接受范圍內(nèi)。優(yōu)化器狀態(tài)offload到CPU。利用DeepSpeed的Zero-Offload類似思路把優(yōu)化器狀態(tài)放CPU內(nèi)存GPU只保留權(quán)重和梯度。我實(shí)測這個(gè)方法能在單卡上訓(xùn)練原本需要雙卡的模型代價(jià)是訓(xùn)練速度下降約30%。4.2 梯度檢查點(diǎn)和激活值重計(jì)算的取舍激活值的顯存占用經(jīng)常被忽略但實(shí)際上對3B模型來說激活值才是那個(gè)可能直接壓垮顯存的元兇。我遇到過一個(gè)典型情況batch size設(shè)為4時(shí)顯存剛好夠設(shè)5就OOM加的那一個(gè)batch把激活值的占用推到了極限。梯度檢查點(diǎn)的思路是前向傳播時(shí)不要保存所有激活值只保存關(guān)鍵的幾個(gè)錨點(diǎn)反向傳播時(shí)再從這些錨點(diǎn)重新計(jì)算需要的激活值。這個(gè)方案能把激活值顯存下降好幾倍但會(huì)讓訓(xùn)練時(shí)間增加約20%-30%。我個(gè)人的建議是先檢查你的模型是否能通過調(diào)整batch size和平行策略來規(guī)避OOM。如果實(shí)在繞不開再使用梯度檢查點(diǎn)而且只對最耗顯存的幾個(gè)模塊開啟不要全模型無腦開。4.3 batch size與吞吐的實(shí)測數(shù)據(jù)很多人以為batch size越大吞吐越高其實(shí)不完全是。我用3B模型做了幾組對比測試配置吞吐樣本/秒顯存峰值batch4無檢查點(diǎn)18.238GBbatch8無檢查點(diǎn)20.1溢出batch8梯度檢查點(diǎn)13.436GBbatch8激活重計(jì)算優(yōu)化16.839GBbatch4梯度累積2步17.938GB關(guān)鍵數(shù)據(jù)是最后一行用batch4加上梯度累積2步效果等效于batch8吞吐幾乎沒有下降顯存也沒有變大。原因很簡單——梯度累積規(guī)避了激活值的峰值而吞吐瓶頸主要在計(jì)算單元不在batch size本身。結(jié)論是當(dāng)顯存有限時(shí)優(yōu)先用梯度累積不要優(yōu)先開梯度檢查點(diǎn)。5. 這套優(yōu)化策略在不同任務(wù)上的實(shí)測表現(xiàn)5.1 圖像分類任務(wù)ResNet-50ImageNet子集Model-Optimizer的第一個(gè)實(shí)測場景是一個(gè)經(jīng)典圖像分類任務(wù)。我拿它跟一個(gè)固定lr0.1的SGDmomentum配置做對比。兩組都訓(xùn)練90個(gè)epoch。Model-Optimizer用的是默認(rèn)的AdamWcosine退火學(xué)習(xí)率從0.001線性warmup到0.01再退火。結(jié)果很有趣SGD組在訓(xùn)練集上準(zhǔn)確率和AdamW組接近但驗(yàn)證集上SGD高了0.8個(gè)百分點(diǎn)。這和SGD本身的隱式正則有關(guān)。這個(gè)結(jié)果提醒我Model-Optimizer不能無腦用同一套配置。我在框架里加入了按任務(wù)類型切換優(yōu)化器預(yù)設(shè)的功能CV分類任務(wù)默認(rèn)切回SGDmomentum文本和生成任務(wù)才用AdamW。5.2 語言模型訓(xùn)練3B GPT風(fēng)格模型這是Model-Optimizer的主場。和原始配置AdamWlr3e-4無warmup相比加了線性warmup和cosine退火后的配置在15B token的訓(xùn)練數(shù)據(jù)上最終困惑度從16.8降到了15.2。關(guān)鍵是訓(xùn)練過程幾乎沒有出現(xiàn)過NaN和尖刺模型的恢復(fù)點(diǎn)都快了很多。在訓(xùn)練過程中我還嘗試過把beta2進(jìn)一步從0.95降到0.9困惑度略微提升到15.4但訓(xùn)練穩(wěn)定性更好了。如果你對loss曲線的心電圖感非常介意可以試試這個(gè)改動(dòng)。5.3 推薦排序模型DIN架構(gòu)淘寶風(fēng)格數(shù)據(jù)推薦模型的特點(diǎn)是特征極度稀疏embedding表巨大而且正負(fù)樣本比例懸殊。這種場景下AdamW的表現(xiàn)中規(guī)中矩但embedding層的梯度更新存在頻繁抖動(dòng)的問題。我給Model-Optimizer加了按層學(xué)習(xí)率的功能embedding層的更新步長是主網(wǎng)絡(luò)學(xué)習(xí)率的0.3倍梯度裁剪只作用于主網(wǎng)絡(luò)不對embedding層做額外裁剪。這個(gè)配置讓AUC從0.78提升到0.79且訓(xùn)練速度提升10%因?yàn)閑mbedding層的更新變慢后顯存中的緩存命中率反而變高了。6. 踩過這么多坑之后寫下的經(jīng)驗(yàn)筆記最后這部分不按章節(jié)來了就寫幾條我在實(shí)際使用中最想告訴后來者的話。關(guān)于學(xué)習(xí)率的調(diào)節(jié)一次只動(dòng)一個(gè)變量。我最開始調(diào)優(yōu)化器配置時(shí)經(jīng)常同時(shí)改學(xué)習(xí)率、weight_decay、beta2結(jié)果loss變好了也不知道是哪個(gè)改動(dòng)起的作用變差了也不知道該回退到哪個(gè)配置。后來強(qiáng)制自己每次只動(dòng)一個(gè)變量記錄在案效果才能復(fù)現(xiàn)。Model-Optimizer的配置文件里我保留了每次實(shí)驗(yàn)的完整變更記錄這個(gè)方法幫我躲過了大量返工。關(guān)于日志越詳細(xì)越好但別讓日志本身拖垮訓(xùn)練速度。我的做法是把關(guān)鍵指標(biāo)每50步打印一次同時(shí)把更細(xì)粒度的數(shù)據(jù)每500步寫一次文件。這樣既能看到實(shí)時(shí)變化又不至于產(chǎn)生海量文件。關(guān)于恢復(fù)訓(xùn)練優(yōu)化器狀態(tài)必須和模型權(quán)重同步保存。我之前吃過虧覺得保存模型就足夠了結(jié)果恢復(fù)訓(xùn)練后warmup重新走了一遍前1000步完全在浪費(fèi)計(jì)算資源。Model-Optimizer里直接打包保存了model_state_dict、optimizer_state_dict、scheduler_state_dict、step任何時(shí)刻中斷都能無縫續(xù)跑。最后一個(gè)不起眼但很實(shí)用的小技巧訓(xùn)練開始前先跑一個(gè)50步的熱身測試。用極小的數(shù)據(jù)量、極短的時(shí)間把訓(xùn)練循環(huán)完整跑通一遍重點(diǎn)看有沒有NaN、顯存是否夠、日志是否正常。這個(gè)熱身測試能幫你避免在正式訓(xùn)練跑了幾小時(shí)后才發(fā)現(xiàn)配置錯(cuò)誤這種最痛苦的情況。我每次新接一個(gè)模型都會(huì)先用這個(gè)方式確認(rèn)環(huán)境再長跑訓(xùn)練。