先說個我遇到的真實情況。之前有個朋友拿著幾乎一樣的圖像分類訓練代碼來問說他的loss也在下降驗證集準確率卻死活上不去。我一行一行看過去數(shù)據(jù)加載正常模型結(jié)構(gòu)正常optimizer也是大家最常用的Adam(lr0.001)。但再往下看少了weight_decay學習率從第1個epoch到最后都是固定值連數(shù)據(jù)歸一化的均值方差都是從別的任務抄來的。這些看似不起眼的“參數(shù)優(yōu)化細節(jié)”恰恰決定了模型最終往哪里收斂。這篇文章就圍繞pytorch優(yōu)化模型參數(shù)這件事把從選擇優(yōu)化器、設置學習率、安排調(diào)度策略、處理正則化到實際訓練時怎么排查問題這一整條鏈路拆開講。適合剛把PyTorch跑通、準備認真調(diào)模型的新手也適合已經(jīng)在已有模型上反復折騰準確率卻一直沒有頭緒的進階玩家。我會盡量講清楚每個選擇背后的“為什么”而不是只給你一行能跑的代碼。1. 優(yōu)化模型參數(shù)不是optimizer.step()那一行代碼1.1 參數(shù)優(yōu)化的物理含義在損失地貌上走下山模型參數(shù)優(yōu)化本質(zhì)上是在一個高維空間里尋找損失函數(shù)的低點。想象一下把模型參數(shù)組合成一張“地形圖”峰對應高損失的區(qū)域谷對應低損失的區(qū)域訓練要找的就是谷底。PyTorch里優(yōu)化參數(shù)的最小組件是這幾行optimizer torch.optim.Adam(model.parameters(), lr0.001) # 每個batch循環(huán)里 optimizer.zero_grad() # 清空上一步梯度 loss.backward() # 從loss反向傳播算出每個參數(shù)的梯度 optimizer.step() # 拿著梯度去更新參數(shù)model.parameters()會返回所有requires_gradTrue的權(quán)重張量。zero_grad這一步很多人會忽略但如果不把上一個batch的梯度清掉梯度會在不同batch之間累加相當于隱式地用了更大的batch size訓練曲線就會非常不穩(wěn)。backward算出的梯度告訴優(yōu)化器“哪個方向能減少損失”step則按照優(yōu)化器自己的策略邁出一步。這四行是參數(shù)更新的最小單位但我想先潑一盆冷水如果你只盯著這幾行后面大概率會遇到“l(fā)oss在降但效果不行”的情況。1.2 數(shù)據(jù)與損失函數(shù)決定了梯度方向優(yōu)化器決定“怎么走”但梯度方向是由數(shù)據(jù)和損失函數(shù)共同決定的。方向錯了步法再好也白搭。最常見的坑是特征沒有歸一化。假設一份表格數(shù)據(jù)里一個特征范圍是0到1另一個特征范圍是1萬到10萬模型參數(shù)同等初始化時大特征對應的梯度會明顯偏大。于是優(yōu)化器會優(yōu)先“修”那個大尺度特征對應的參數(shù)另一個參數(shù)幾乎原地不動整體更新被某一列數(shù)據(jù)牽著鼻子走。這也是為什么圖像領域統(tǒng)一做transforms.Normalize表格數(shù)據(jù)做標準化本質(zhì)上是讓每個維度對梯度的貢獻處于同一量級。損失函數(shù)也不能亂選。多分類用CrossEntropyLoss二分類用BCEWithLogitsLoss回歸任務用SmoothL1Loss或MSE。不同損失函數(shù)梯度量級差異很大比如MSE配合Sigmoid輸出時容易進入飽和區(qū)參數(shù)更新極度緩慢。我見過不少同學在二分類任務里用MSE替代交叉熵結(jié)果就是訓練半天loss降不下去。調(diào)loss永遠比調(diào)優(yōu)化器參數(shù)更優(yōu)先因為如果損失函數(shù)在語義上就不匹配任務后面的學習率、動量、權(quán)重衰減全是在錯誤方向上做文章。2. 選優(yōu)化器等于選下山策略SGD、Adam、AdamW怎么挑2.1 SGD和Momentum加慣性抵消震蕩torch.optim.SGD是最樸素的優(yōu)化器每次迭代都做θ θ - lr * g其中g是當前梯度。這個策略的缺點是遇到高曲率方向的損失曲面時會在窄長山谷兩側(cè)來回震蕩。想象一條山谷沿長軸方向梯度很小沿短軸方向梯度很大每一步都沿梯度反方向走就會在短軸方向來回擺動整體前進速度反而慢。加入momentum以后更新不再只看當前梯度而是累積歷史梯度方向相當于給參數(shù)一個慣性optimizer torch.optim.SGD(model.parameters(), lr0.01, momentum0.9)momentum0.9的含義是新速度 0.9 × 舊速度 - lr × 當前梯度。這個設計讓優(yōu)化器在方向穩(wěn)定的維度上越走越快在方向頻繁變化的維度上相互抵消收斂穩(wěn)定性明顯好于純SGD。2.2 Adam的“每個參數(shù)單獨學習率”Adam是默認優(yōu)化器里最常見的選擇。它的核心思路是維護兩個狀態(tài)一階矩估計m梯度均值相當于帶慣性的方向和二階矩估計v梯度平方均值反映梯度尺度。每個參數(shù)的實際更新步長是lr / sqrt(v eps) * m也就是說梯度絕對尺度不再直接決定步長每個參數(shù)都相當于有自己的學習率那些梯度尺度很大的參數(shù)會被自動降權(quán)梯度很小的參數(shù)會被放大一些。這樣做的直接好處是面對尺度敏感的問題Adam往往比SGD更穩(wěn)定不需要頻繁調(diào)學習率就能收斂到可用的結(jié)果optimizer torch.optim.Adam(model.parameters(), lr3e-4)但Adam也有短板。我實測下來的感覺是前幾個epoch收斂非常快到后期精度反而不如精心調(diào)好的SGD。原因是自適應學習率對梯度歷史做除權(quán)部分參數(shù)更新過快、部分過慢最終泛化性偶爾會差一點。2.3 AdamW把正則項和動量分開AdamW全稱是Adam with Decoupled Weight Decay它對權(quán)重衰減的處理方式和Adam完全不同。原始Adam里加weight_decay時權(quán)重衰減是被當成L2正則直接加在梯度上的但這個L2梯度隨后會被Adam的二階矩v調(diào)節(jié)正則效果并不純粹。AdamW把權(quán)重衰減單獨拎出來更新參數(shù)時直接做θ θ - lr * γ * θ不再混入動量和二階矩。Transformer相關工作的標配都是AdamW。PyTorch里是這樣用的optimizer torch.optim.AdamW(model.parameters(), lr3e-4, weight_decay0.01)2.4 參考選型表優(yōu)化器核心思路典型lr適合場景SGD沿梯度反方向更新0.01 - 0.1淺層CNN、ResNet系列SGD Momentum加慣性抵消震蕩0.01 - 0.1大部分圖像分類任務Adam每個參數(shù)自適應lr1e-4 - 3e-4快速驗證新想法、GANAdamW權(quán)重衰減與動量解耦1e-4 - 3e-4Transformer、BERT類模型RMSProp按梯度平方調(diào)整lr1e-4 - 3e-4RNN/序列任務的老牌選擇我的實際操作習慣是拿到新任務先用Adam(lr3e-4)快速確認模型能收斂、方向沒有大問題后面想提精度換成SGD(lr0.01, momentum0.9, weight_decay5e-4)再細調(diào)如果模型里有明顯的注意力結(jié)構(gòu)或者要做序列任務直接用AdamW。選型不需要一條道走到黑很多時候是需要換著跑幾個小實驗做對比的。3. 超參數(shù)的真實門道lr、weight_decay、betas3.1 學習率怎么定位學習率決定步長。同樣一個梯度值lr0.1時參數(shù)一次移動0.001的絕對量lr0.001時只移動0.00001這個差距會直接體現(xiàn)在loss下降速度上。經(jīng)驗范圍大致是SGD系列0.01到0.1Adam/AdamW1e-4到1e-2最常見的還是1e-3或3e-4定位lr的實用做法是先粗設一個中間值比如1e-3跑幾十個iteration觀察loss。如果loss上下亂跳、震蕩劇烈說明lr偏大降10倍再試如果loss下降得非常平穩(wěn)但每一步都在慢慢磨說明lr偏小升10倍再細調(diào)。我一般會做兩輪“粗到細”第一輪粗定位出量級第二輪在目標量級附近試3到5個值比如1e-3、3e-4、1e-4看哪個收斂曲線最順然后定下來。3.2 weight_decay與L2正則化的真實關系L2正則化是在損失函數(shù)上追加一個懲罰項λ/2 × ||θ||2讓大的參數(shù)受到約束。在PyTorch里這一行就能實現(xiàn)等效效果optimizer torch.optim.SGD(model.parameters(), lr0.01, weight_decay5e-4)原理上每次更新時除了沿負梯度方向下降還會把參數(shù)往零方向輕微拉一下。參數(shù)不會被強制歸零但整體量級會受到限制從而降低過擬合風險。這里有幾個實戰(zhàn)細節(jié)值得單獨說weight_decay默認作用于所有可訓練參數(shù)包括bias和BatchNorm層的gamma、beta。在很多結(jié)構(gòu)的實現(xiàn)里這兩個類別通常不參與權(quán)重衰減因為bias對模型的復雜度貢獻不大卻很容易被正則壓得不自然。實現(xiàn)時可以用參數(shù)分組decay_params [p for n, p in model.named_parameters() if p.requires_grad and bias not in n and norm not in n] no_decay_params [p for n, p in model.named_parameters() if p.requires_grad and (bias in n or norm in n)] optimizer torch.optim.AdamW([ {params: decay_params, weight_decay: 0.01}, {params: no_decay_params, weight_decay: 0.0} ], lr3e-4)這是Transformer訓練里常見的做法CV任務里也可以參考。weight_decay的數(shù)值量級和優(yōu)化器強相關。普通CV任務SGD里5e-4很常見AdamW里Transformer常取0.01。因為AdamW的權(quán)重衰減是直接乘在參數(shù)上的和Adam里加到梯度里的L2正則語義不同數(shù)值絕對不能照搬。3.3 betas、eps那些默認值Adam和AdamW的betas(0.9, 0.999)一般不需要動。0.9控制一階矩估計對歷史梯度的依賴0.999控制二階矩調(diào)大第一個值會讓動量痕跡更重第二個值會讓方差估計更平滑。eps默認1e-8作用是避免除零數(shù)值上如果遇到訓練不穩(wěn)定可以調(diào)到1e-6甚至1e-7偶爾能救回來。但大多數(shù)情況下我更愿意先去調(diào)lr因為eps這個參數(shù)能起作用的場景相對有限調(diào)它不如調(diào)學習率直觀。3.4 梯度裁剪是最后一道保險梯度裁剪可以把梯度的范數(shù)限制在某個范圍內(nèi)防止單步更新過大。RNN這類任務尤其容易梯度爆炸一旦爆炸loss直接變成NaN整輪訓練基本報廢。PyTorch里的寫法是在backward()之后、step()之前執(zhí)行torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)max_norm1.0是常見起步值序列任務里也可以取0.5或5.0看你對訓練穩(wěn)定性的需求。我這幾年項目里基本都加了這行哪怕平時用不上關鍵時候能保住一輪訓練不崩。它對優(yōu)化器本身沒有副作用只是給更新步長套了一層安全網(wǎng)。4. 學習率調(diào)度別一條路沖到黑4.1 手動降lr vs 調(diào)度器固定lr從頭訓到尾的問題在于模型進入loss平臺期后繼續(xù)用同一個步長會在原地反復橫跳很難落到更細的低點。常規(guī)做法是訓練若干輪后把lr降一個量級讓參數(shù)在高精度區(qū)域小步慢走。PyTorch的torch.optim.lr_scheduler專門干這件事而且可以自動執(zhí)行。4.2 三種常見調(diào)度策略StepLR每step_size個epoch把lr乘以gamma。MultiStepLR指定多個epoch節(jié)點到點降lr更適合人工控制關鍵節(jié)點。CosineAnnealingLR學習率按余弦曲線從初始值逐漸下降到最小值常用于長時間訓練。ReduceLROnPlateau監(jiān)聽某個指標通常是驗證集loss連續(xù)patience個epoch不下降就乘以factor最省心。比如這樣用scheduler torch.optim.lr_scheduler.MultiStepLR( optimizer, milestones[50, 75], gamma0.1 )意思是第50個epoch和第75個epoch時lr各乘以0.1。如果初始lr0.01那50輪后會變成0.00175輪后變成0.0001。ReduceLROnPlateau更適合驗證集loss時好時壞的任務scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, factor0.5, patience10 )每次驗證結(jié)束后調(diào)用scheduler.step(val_loss)它會根據(jù)指標表現(xiàn)決定是否減半學習率。4.3 warmup和scheduler.step()的時機訓練初期如果直接從一個大lr開始前幾步loss可能暴漲尤其是Transformer類模型。線性warmup的思路是前warmup_steps步學習率從0線性升到目標值然后再按正常調(diào)度走。用LambdaLR可以輕松實現(xiàn)warmup_steps 500 def lr_lambda(step): if step warmup_steps: return step / warmup_steps return 1.0 scheduler torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda)調(diào)用時機有個非常容易踩的坑scheduler.step()要在optimizer.step()之后調(diào)用。如果放錯位置可能第一個epoch就觸發(fā)學習率調(diào)整整個收斂曲線變得很奇怪。按epoch調(diào)度就在每輪epoch循環(huán)結(jié)束后調(diào)用按batch調(diào)度就在每個iteration里調(diào)用。這個順序問題我至少見過三個新手栽過跟頭值得特別注意。5. 用MNIST完整跑一遍三種優(yōu)化器的實測對比5.1 環(huán)境準備conda創(chuàng)建pytorch環(huán)境先從環(huán)境說起。用conda創(chuàng)建一個干凈環(huán)境并安裝GPU版本的PyTorch一般是這樣的命令conda create -n pytorch python3.10 -y conda activate pytorch conda install pytorch torchvision torchaudio pytorch-cuda12.1 -c pytorch -c nvidia如果只需要CPU去掉-c nvidia和pytorch-cuda12.1這一段安裝默認的CPU版本即可。裝完檢查一下環(huán)境是否可用python -c import torch; print(torch.__version__, torch.cuda.is_available())很多Windows用戶會遇到“conda無法識別”的問題比如在PowerShell里敲conda activate pytorch報錯“無法將conda項識別為cmdlet”。這種情況十有八九是裝完Anaconda之后沒有把conda初始化到當前shell。解決方式重新打開一個新終端或者直接用Anaconda Prompt操作或者在當前終端執(zhí)行conda init powershell后重啟終端。還有人是因為PATH里沒有conda的Scripts目錄手動加上一般也能解決。不要一看報錯就重裝先確認是路徑問題還是權(quán)限問題。5.2 數(shù)據(jù)加載和模型設計用MNIST做對比實驗數(shù)據(jù)加載非常省事transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) test_dataset datasets.MNIST(root./data, trainFalse, downloadTrue, transformtransform) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size256, shuffleFalse)Normalize((0.1307,), (0.3081,))是MNIST全局的均值和標準差固定值直接寫死就行。歸一化的意義前面講過就是讓輸入像素從0到1的分布變成近似的標準正態(tài)分布讓優(yōu)化器一開始就在正常梯度尺度上干活。模型我用一個很小的CNNimport torch import torch.nn as nn import torch.nn.functional as F from torch.utils.data import DataLoader from torchvision import datasets, transforms device torch.device(cuda if torch.cuda.is_available() else cpu) class SimpleCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 32, 3, padding1) self.bn1 nn.BatchNorm2d(32) self.conv2 nn.Conv2d(32, 64, 3, padding1) self.bn2 nn.BatchNorm2d(64) self.pool nn.MaxPool2d(2) self.fc nn.Linear(64 * 7 * 7, 10) def forward(self, x): x self.pool(F.relu(self.bn1(self.conv1(x)))) x self.pool(F.relu(self.bn2(self.conv2(x)))) x x.view(x.size(0), -1) x self.fc(x) return x這個網(wǎng)絡參數(shù)量不大CPU上幾秒鐘一個epoch非常適合做優(yōu)化器的對比實驗。5.3 完整訓練腳本訓練流程拆成train和evaluate兩個函數(shù)def train_one_epoch(model, loader, optimizer, criterion, device): model.train() total_loss, correct, total 0.0, 0, 0 for images, labels in loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() * images.size(0) correct (outputs.argmax(1) labels).sum().item() total images.size(0) return total_loss / total, correct / total def evaluate(model, loader, criterion, device): model.eval() total_loss, correct, total 0.0, 0, 0 with torch.no_grad(): for images, labels in loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) total_loss loss.item() * images.size(0) correct (outputs.argmax(1) labels).sum().item() total images.size(0) return total_loss / total, correct / total然后是實驗入口def run(config, epochs10): torch.manual_seed(42) model SimpleCNN().to(device) optimizer config[optimizer](model.parameters(), **config[kwargs]) criterion nn.CrossEntropyLoss() scheduler torch.optim.lr_scheduler.MultiStepLR( optimizer, milestones[5, 8], gamma0.3 ) for epoch in range(1, epochs 1): train_loss, train_acc train_one_epoch( model, train_loader, optimizer, criterion, device ) val_loss, val_acc evaluate(model, test_loader, criterion, device) scheduler.step() print( fepoch {epoch} ftrain_loss{train_loss:.4f} train_acc{train_acc:.4f} fval_acc{val_acc:.4f} flr{optimizer.param_groups[0][lr]:.5f} ) configs { SGD: { optimizer: torch.optim.SGD, kwargs: {lr: 0.01, momentum: 0.9, weight_decay: 5e-4}, }, Adam: { optimizer: torch.optim.Adam, kwargs: {lr: 0.001}, }, AdamW: { optimizer: torch.optim.AdamW, kwargs: {lr: 0.001, weight_decay: 5e-4}, }, } for name, config in configs.items(): print(, name) run(config)注意MultiStepLR在milestones[5, 8]處會把lr降到原來的0.3倍。這是故意設置的目的就是讓三種優(yōu)化器都經(jīng)歷學習率下降更接近真實訓練場景。5.4 實測對比收斂速度、最終準確率我這邊的典型結(jié)果是Adam和AdamW在前1到2個epoch就能沖到97%以上的驗證準確率收斂速度明顯更快。SGD前幾個epoch上升較慢甚至到了第3個epoch才過95%但第6到8個epoch之后驗證準確率會逐漸追平最終往往能達到98%以上和Adam最終結(jié)果基本持平或小優(yōu)。AdamW因為帶了weight_decay最終準確率一般比不帶正則的Adam略高一點尤其是在batch size小、數(shù)據(jù)增強少的情況下更明顯。觀察loss曲線SGD下降更平滑Adam初期陡降、后期有輕微波動屬于正常現(xiàn)象。這個對比印證了一條經(jīng)驗收斂快的優(yōu)化器不一定終點最高。如果你只是快速驗證ideaAdam很省心如果想把最終指標頂上去SGD加適量正則的潛力往往更大。另外我強烈建議把optimizer、lr、scheduler、weight_decay這些配置全寫進config字典里每跑一組實驗就記錄一組結(jié)果。對比多次實驗時你靠這些記錄才能復現(xiàn)“上次那個好結(jié)果”不然全靠印象調(diào)參等于在撞運氣。6. 參數(shù)優(yōu)化遇到問題時的排查鏈路6.1 loss不降怎么辦loss完全不動排查順序應該是檢查輸入數(shù)據(jù)是否歸一化特征尺度是否差異過大。檢查學習率從1e-3出發(fā)觀察前50步loss變化如果完全不動嘗試1e-2或1e-1如果動了但很慢再看下面幾步。檢查梯度是否真的傳到了模型參數(shù)上。model.parameters()里某些層的requires_grad可能為False或者loss和模型之間隔著detach()。檢查損失函數(shù)是否選錯分類任務里交叉熵和MSE的梯度行為差異很大。調(diào)試時我最常用的技巧是打印中間層的梯度范數(shù)for name, param in model.named_parameters(): if param.grad is not None: print(name, param.grad.norm().item())梯度范數(shù)為0或者None說明反向傳播鏈路有斷點梯度范數(shù)極大說明即將爆炸梯度范數(shù)極小說明模型初始化或lr設置有問題。這一步能快速縮小排查范圍。6.2 loss變成NaNloss變成NaN最常見的元兇就是lr過大梯度爆炸尤其在全連接層和循環(huán)網(wǎng)絡里容易發(fā)生。第一反應是把lr降10倍再看。如果一開始loss就是NaN還要檢查輸入數(shù)據(jù)里有沒有NaN或inf數(shù)據(jù)加載階段就能引入臟數(shù)據(jù)比如歸一化時除以了0或者數(shù)據(jù)里有缺失值直接填了NaN。對Transformer類模型來說attention里的scale也可能導致數(shù)值問題可以檢查一下初始化方式。這個場景下梯度裁剪一定要用torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)它能保證單步更新幅度不失控是最直接的安全墊。6.3 過擬合模型在訓練集上loss持續(xù)下降但驗證集loss回升這就是優(yōu)化過頭了跑到記憶樣本的方向上去了。處理過擬合的方向是加數(shù)據(jù)增強隨機裁剪、翻轉(zhuǎn)、旋轉(zhuǎn)、顏色擾動。加正則提高weight_decay或在全連接層前插入Dropout。早停每個epoch記錄驗證集指標保存驗證集指標最好的模型參數(shù)。減小模型容量或者減少訓練輪數(shù)。要注意loss只降不升并不代表模型好關鍵看驗證集指標。所以我習慣在訓練腳本里同時記錄train和val兩條曲線的數(shù)值兩個對比著看確認優(yōu)化方向是否有偏差。6.4 conda環(huán)境問題的補充現(xiàn)場開篇提過Windows下conda activate報“無法將conda項識別”的問題這里補充一個完整的排查思路。報錯信息已經(jīng)說明“無法識別”那先確認是不是PATH問題在終端執(zhí)行where conda如果能找到conda路徑說明PATH沒問題問題可能是當前shell沒有激活conda初始化如果找不到說明conda的Scripts目錄沒加進PATH。兩種情況的處理方式不同能識別但激活不了運行conda init powershell然后重啟終端。不能識別打開環(huán)境變量把C:\Users\你的用戶名\anaconda3和C:\Users\你的用戶名\anaconda3\Scripts加入PATH。不要因為一個小報錯就重裝Anaconda重裝只會浪費時間而且大概率裝完還是同樣的問題。這套判斷邏輯同樣適用于其他深度學習環(huán)境的搭建排錯。我在實際項目里最大的體會是把優(yōu)化器、學習率調(diào)度、正則化、數(shù)據(jù)尺度、梯度裁剪理解成一整套聯(lián)動系統(tǒng)之后訓練問題基本都能順著鏈路排查出具體原因而不是反復改lr碰運氣。跑實驗前把每一組配置、每一條loss記錄成表格看著它們變化去調(diào)整比憑感覺隨機調(diào)參要高效得多。建議你先跑通上面的MNIST對比實驗再把它遷移到自己的數(shù)據(jù)集上記錄幾組優(yōu)化器配置的效果慢慢形成自己的調(diào)參直覺。