這系列寫到第五篇了。前幾篇聊過 Python 語法、NumPy 運(yùn)算和最簡單的線性分類器不少讀者在評論區(qū)問為什么書上的神經(jīng)網(wǎng)絡(luò)圖畫得明明白白輪到自己寫就總是報(bào)錯這篇我不打算再堆概念而是把環(huán)境搭建、三種最常見的網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練細(xì)節(jié)和排查經(jīng)驗(yàn)按真實(shí)項(xiàng)目節(jié)奏串一遍。你需要的 Python、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)核心點(diǎn)都會出現(xiàn)并且所有內(nèi)容都以能跑通為準(zhǔn)。適合剛接觸深度學(xué)習(xí)、想盡快搭出自己第一個模型的初學(xué)者也適合被各種教程繞暈、想回到主線復(fù)習(xí)一遍的人。先說清楚這篇代碼風(fēng)格偏 PyTorch因?yàn)閯討B(tài)圖對新手友好。你習(xí)慣用別的框架核心概念一樣能遷移。1. 準(zhǔn)備一套順手的學(xué)習(xí)環(huán)境1.1 先定一個能驗(yàn)證的小目標(biāo)這個目標(biāo)不是“裝完某個軟件”而是讓下面這條命令正常運(yùn)行python -c import torch; print(torch.cuda.is_available())如果你沒有獨(dú)立顯卡輸出False也沒關(guān)系CPU 上一樣能跑通后面的例子只是慢一些。先把環(huán)境跑通再考慮硬件。很多初學(xué)者一上來就折騰 CUDA、驅(qū)動、多卡訓(xùn)練結(jié)果裝了兩天環(huán)境模型一行沒寫。正確的順序應(yīng)該是先能 import再能跑小模型最后才談加速。1.2 Python版本和虛擬環(huán)境的選擇Python 版本我建議用 3.10 或 3.11。太新的版本偶爾會遇到個別包還沒有對應(yīng)的編譯產(chǎn)物太老的版本又會影響新庫的兼容性。選擇一個穩(wěn)定分支然后用venv或conda建一個干凈的虛擬環(huán)境。為什么一定要虛擬環(huán)境因?yàn)椴煌?xiàng)目依賴的包版本可能沖突。今天為項(xiàng)目 A 裝的新版庫可能明天就把項(xiàng)目 B 搞崩。一開始養(yǎng)成隔離的習(xí)慣后面會少很多痛苦。裝依賴也有順序先把 NumPy、Pandas、Matplotlib 這些基礎(chǔ)庫裝好做圖像實(shí)驗(yàn)再加 OpenCVpip install opencv-python做文本實(shí)驗(yàn)再按需裝分詞相關(guān)包。不要一次性把所有可能的包都裝上用到什么裝什么不然環(huán)境會變得非常亂。1.3 深度學(xué)習(xí)框架選型與安裝目前 PyTorch 在科研和工程里的采用率都很高它的動態(tài)計(jì)算圖讓打印每一步 tensor 的 shape 變得非常自然。跑一句安裝命令pip install torch torchvision torchaudiotorchvision里帶著常用數(shù)據(jù)集和預(yù)訓(xùn)練模型對學(xué)習(xí)很有幫助。TensorFlow 也依然有很多存量項(xiàng)目在用。如果你是新手我更建議先用 PyTorch 把原理吃透后面遷移概念也不難?？蚣懿皇切叛瞿軒湍阕羁祢?yàn)證想法的那把工具就是好工具。安裝時注意pip默認(rèn)裝的是 CPU 版本還是 GPU 版本視具體環(huán)境而定。如果你的機(jī)器有 NVIDIA 顯卡就去官網(wǎng)找到對應(yīng) CUDA 版本的安裝命令如果只是學(xué)習(xí)CPU 版完全夠。換源那些事就不展開了裝不上時優(yōu)先檢查 Python 版本和 pip 是否太老。1.4 沒有GPU怎么把流程跑通很多人卡在“沒有 GPU 就不能學(xué)深度學(xué)習(xí)”的印象里。其實(shí)入門階段跑小模型CPU 完全能扛。手寫數(shù)字集這種規(guī)模的數(shù)據(jù)用幾層卷積網(wǎng)絡(luò)在 CPU 上幾分鐘一個 epoch 也很常見。真正需要 GPU 的是大模型、大圖、大 batch。如果你手里只有普通電腦有兩個辦法一是先在小數(shù)據(jù)集上把流程跑通二是用一些免費(fèi)的在線 notebook 平臺。但要注意云平臺的免費(fèi)額度限制比較多別拿它當(dāng)生產(chǎn)環(huán)境用。我的建議是寧可模型小一點(diǎn)也要保證迭代體驗(yàn)。一個 5 分鐘能跑完一輪實(shí)驗(yàn)的小模型遠(yuǎn)比一個 50 分鐘才能跑一輪的大模型適合學(xué)習(xí)。2. 先把神經(jīng)網(wǎng)絡(luò)骨架搭起來2.1 前饋網(wǎng)絡(luò)到底在做什么前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可以理解成一條流水線。輸入是一批特征隱藏層負(fù)責(zé)把特征逐層加工輸出層給出結(jié)果。單看一層h W x b它本質(zhì)上只是一個線性變換加平移。如果沒有激活函數(shù)多層線性變換疊在一起仍然是一次線性變換擬合能力很有限。激活函數(shù)ReLU、Sigmoid 等引入非線性后網(wǎng)絡(luò)才能逼近復(fù)雜的函數(shù)關(guān)系。這也是“深度學(xué)習(xí)”里“深度”二字的直接含義層數(shù)越多能表達(dá)的函數(shù)理論上越復(fù)雜。但層數(shù)加深會帶來優(yōu)化困難不能簡單理解成“層數(shù)越多越好”。你先記住一條主線前向傳播算出結(jié)果反向傳播更新參數(shù)中間靠激活函數(shù)保證非線性。2.2 反向傳播的鏈?zhǔn)椒▌t手推一次反向傳播的本質(zhì)是鏈?zhǔn)椒▌t。拿單個神經(jīng)元舉例z wx b a σ(z) L 0.5 * (y - a)^2要求參數(shù)w對損失的影響把它拆開dL/dw (dL/da) * (da/dz) * (dz/dw)三部分分別對應(yīng)(a - y)、σ(z)、x。這就是為什么誤差能“反向傳”回去不是重新算一遍網(wǎng)絡(luò)而是借助計(jì)算圖從后往前逐個求偏導(dǎo)。PyTorch 里調(diào)用loss.backward()之后每個requires_gradTrue的參數(shù)都會得到.grad屬性底層就是在做這件事。很多教材把反向傳播寫成長長的公式初學(xué)者容易被勸退。我的建議是先手推這個單神經(jīng)元例子再去看框架里的自動求導(dǎo)。你會發(fā)現(xiàn)那些看起來很嚇人的公式落到代碼里就是三行。理解了鏈?zhǔn)椒▌t后面不管是 CNN 還是 LSTM原理上都是同一套邏輯。2.3 一個能跑的三層MLP用 PyTorch 定義一個三層全連接網(wǎng)絡(luò)很簡單import torch import torch.nn as nn class MLP(nn.Module): def __init__(self, in_dim, hidden_dim, out_dim): super().__init__() self.fc1 nn.Linear(in_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, out_dim) self.relu nn.ReLU() def forward(self, x): return self.fc2(self.relu(self.fc1(x)))訓(xùn)練循環(huán)四步是固定的model MLP(784, 128, 10) optimizer torch.optim.Adam(model.parameters(), lr1e-3) loss_fn nn.CrossEntropyLoss() for epoch in range(5): for x_batch, y_batch in loader: optimizer.zero_grad() out model(x_batch) loss loss_fn(out, y_batch) loss.backward() optimizer.step()新手最容易踩的坑是漏掉optimizer.zero_grad()。PyTorch 默認(rèn)會累加梯度如果不清零上一批的梯度會疊加到下一批loss 曲線就會亂跳。清梯度這一行一定要放在每個 batch 的前向計(jì)算之前。2.4 最容易忽略的維度檢查MLP 要求每個樣本是一個一維向量。圖像進(jìn)來如果還是H×W×C的矩陣要先展平x x.view(x.size(0), -1)x.size(0)是 batch 里的樣本數(shù)不能丟-1表示自動推斷剩余維度。很多報(bào)錯都發(fā)生在這一步忘了展平、維度算錯、或者把 batch 維當(dāng)成了特征維。排查維度問題時在forward里臨時加一句print(x.shape)是最快的定位方式。一個模型寫完先把輸入輸出打印一遍再開始訓(xùn)練能省一大堆時間。3. 圖像任務(wù)從像素到高維向量3.1 為什么要用卷積而不是全連接把一張 224×224 的彩色圖拉成長向量維度是 150528。如果第一層全連接接 512 個神經(jīng)元光這一層參數(shù)量就超過 7700 萬。不僅顯存放不下還會嚴(yán)重過擬合。卷積網(wǎng)絡(luò)用兩個核心思想解決這個問題局部連接和權(quán)值共享。每個卷積核只關(guān)注一小塊區(qū)域同一層的所有位置共用同一個卷積核參數(shù)量被大幅壓縮。用生活里的例子理解全連接是“每個人都找每個人匯報(bào)”卷積是“幾個小組長只看自己片區(qū)”。后者顯然更輕量也更能抓到局部特征。3.2 卷積、填充與池化的尺寸計(jì)算卷積核從輸入左上角開始按stride步長滑動。padding1表示在邊緣補(bǔ)一圈 0避免邊緣信息丟失。輸出尺寸公式out floor((in 2 * padding - kernel) / stride) 1例如輸入 32×32kernel3padding1stride1輸出還是 32×32。再做一次 2×2 的 MaxPooling尺寸變成 16×16。MaxPooling 取每個窗口里的最大值相當(dāng)于在保留顯著特征的同時縮小空間尺寸。這里有個新手常見誤區(qū)卷積核數(shù)量不等于輸入通道數(shù)。第一層輸入是 RGB 三個通道用 8 個卷積核會輸出 8 個通道。下一層的輸入就變成了 8 通道。通道數(shù)越大網(wǎng)絡(luò)對特征的表達(dá)能力越強(qiáng)但計(jì)算量也越大。3.3 人臉識別里那個高維向量是怎么來的人臉識別是理解“圖像怎么變成向量”的典型場景。你輸入的是一張H×W×3的人臉圖經(jīng)過若干卷積、ReLU、池化之后變成H×W×C的特征圖。這個過程里空間維度在縮小通道數(shù)在增加相當(dāng)于把“在哪個位置有什么特征”逐步編碼成“有哪些特征”。網(wǎng)絡(luò)最后一步通常不是直接輸出類別而是把特征圖展平再接一個全連接層輸出比如 128 維或 512 維的向量。這個向量叫人臉表征也叫 embedding。訓(xùn)練時讓同一個人的兩張臉向量距離盡量近不同人的臉向量距離盡量遠(yuǎn)。推理時只比較兩個向量的余弦相似度超過某個閾值就判定為同一個人。所以整個鏈路是人臉圖 → 卷積池化 → 特征圖 → 展平 → 全連接 → 高維向量 → 相似度比較。這就是“從圖像到高維向量”的全部故事不算玄學(xué)。3.4 一個最小CNN的PyTorch實(shí)現(xiàn)一個能跑的最小卷積網(wǎng)絡(luò)長這樣import torch.nn.functional as F class SimpleCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(3, 16, kernel_size3, stride1, padding1) self.pool nn.MaxPool2d(2) self.conv2 nn.Conv2d(16, 32, kernel_size3, padding1) self.fc nn.Linear(32 * 8 * 8, 10) def forward(self, x): x self.pool(F.relu(self.conv1(x))) # 假設(shè)輸入 32x32x3 x self.pool(F.relu(self.conv2(x))) # 變成 8x8x32 x x.view(x.size(0), -1) return self.fc(x)假設(shè)輸入是 32×32 的 RGB 圖兩次 2×2 池化之后空間尺寸變成 8×8通道數(shù) 32所以全連接層輸入是32 * 8 * 8。換數(shù)據(jù)集時輸入尺寸一旦變了這里的數(shù)字就得跟著改。學(xué)會推導(dǎo)尺寸比背代碼更重要。4. 序列任務(wù)讓網(wǎng)絡(luò)擁有記憶4.1 RNN的基本想法全連接網(wǎng)絡(luò)把每個樣本當(dāng)成孤立的點(diǎn)但文本、語音、時間序列這些數(shù)據(jù)的特點(diǎn)是樣本內(nèi)部有先后順序。RNN 在每一步把當(dāng)前輸入x_t和上一步的隱狀態(tài)h_t-1放在一起計(jì)算輸出當(dāng)前步的h_t。相當(dāng)于網(wǎng)絡(luò)一直帶著一個不斷更新的“工作記憶”用前面的信息來理解當(dāng)前的內(nèi)容。你讀這句話“銀行前面的河”到“河”的時候網(wǎng)絡(luò)需要記住“銀行”不是金融機(jī)構(gòu)而是河岸。RNN 就是為了這種場景設(shè)計(jì)的。4.2 從RNN到LSTM的門控設(shè)計(jì)原始 RNN 在長序列上容易梯度消失原因是從后往前反傳時梯度要乘很多次同一個矩陣越傳越小。LSTM 在循環(huán)單元里加了幾道門——遺忘門、輸入門、輸出門讓信息可以選擇性寫入和丟棄。用大白話講該忘的忘掉該記的記下來合適的時候再拿出來。所以 LSTM 能處理更長的依賴關(guān)系。你不需要死記 LSTM 內(nèi)部公式只需要建立一個心理模型它有一個“長期記憶”通道門控決定哪些信息流進(jìn)去、哪些信息流出來。想深入研究時再打開公式看每一行的作用。4.3 LSTM在PyTorch里的正確打開方式LSTM 的使用比全連接層稍微復(fù)雜一點(diǎn)主要在于維度?？催@個分類器class LSTMClassifier(nn.Module): def __init__(self, vocab_size, embed_dim, hidden_dim, num_classes): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim) self.lstm nn.LSTM(embed_dim, hidden_dim, batch_firstTrue) self.fc nn.Linear(hidden_dim, num_classes) def forward(self, x): emb self.embedding(x) out, (h, c) self.lstm(emb) return self.fc(h[-1])重點(diǎn)說兩個坑。第一nn.LSTM默認(rèn)輸入格式是(seq_len, batch, input_size)如果你習(xí)慣把 batch 放第一維一定要設(shè)置batch_firstTrue否則后面所有 shape 都會對不上。第二返回值里out是每個時間步的輸出形狀是(batch, seq_len, hidden_size)h是最后一層的最終隱狀態(tài)形狀是(num_layers, batch, hidden_size)。取h[-1]作為全連接輸入是最常見的做法也可以對out做 mean pooling兩種都可以但別無腦混用。4.4 文本預(yù)處理從字符串到id序列LSTM 吃的是 id 序列所以文本要經(jīng)過分詞、建詞表、把詞轉(zhuǎn)成 id。由于同一個 batch 里句子長度不同通常要 padding 到一樣長再通過 Embedding 層把 id 變成稠密向量。這是 NLP 入門最常見的管線。padding 時有個細(xì)節(jié)填充位置的值通常是 0但網(wǎng)絡(luò)不會自動忽略它。等模型跑通后可以再考慮在 loss 里做 mask讓填充位置不參與計(jì)算。初學(xué)階段先樸素地 padding跑通主線再回來優(yōu)化。5. 訓(xùn)練過程里容易被忽略的細(xì)節(jié)5.1 損失函數(shù)不是隨便選的分類任務(wù)用CrossEntropyLoss回歸任務(wù)用MSELoss多標(biāo)簽分類用BCEWithLogitsLoss。新手最常見的錯誤是拿分類任務(wù)卻用了 MSE結(jié)果收斂極慢。損失函數(shù)的形狀決定了梯度的性質(zhì)交叉熵配合最后的 Softmax讓網(wǎng)絡(luò)在預(yù)測錯誤時梯度更大更新方向也更直接。這就像考試打分錯得離譜時扣分要狠一點(diǎn)學(xué)得才快。5.2 多任務(wù)場景下怎么調(diào)Loss比例做多任務(wù)學(xué)習(xí)時總 loss 往往是多個損失的加權(quán)和。最簡單的方法是固定權(quán)重比如loss loss_a 0.5 * loss_b。但兩個任務(wù)尺度可能差很多這就引出一個更精細(xì)的方法不確定性加權(quán)。讓網(wǎng)絡(luò)自己學(xué)習(xí)每個損失的不確定性 σloss 0.5 / σ1^2 * L1 log(σ1) 0.5 / σ2^2 * L2 log(σ2)直觀理解不確定的任務(wù)權(quán)重低一些后面的log(σ)項(xiàng)防止權(quán)重跑到零。在 PyTorch 里把log_var作為可學(xué)習(xí)參數(shù)即可。不過對新手我的建議是先固定權(quán)重觀察兩個任務(wù)的 loss 量級再調(diào)整不要一上來就上復(fù)雜方法。量級差很多時優(yōu)先把大數(shù)量級的 loss 權(quán)重調(diào)小。5.3 正則化weight_decay與DropoutL2 正則化在 PyTorch 里最常見實(shí)現(xiàn)就是在優(yōu)化器里加weight_decayoptimizer torch.optim.Adam(model.parameters(), lr1e-3, weight_decay1e-4)它等價于在 loss 里加一個參數(shù)平方和的懲罰項(xiàng)把參數(shù)往零附近拉。想手動加也行l(wèi)2_reg sum(p.pow(2).sum() for p in model.parameters()) loss ce_loss 1e-4 * l2_regDropout 是另一種正則化。訓(xùn)練時隨機(jī)把部分神經(jīng)元的輸出置零相當(dāng)于每次都在訓(xùn)練一個不同的子網(wǎng)絡(luò)推理時關(guān)閉 Dropout泛化能力會更好。注意如果訓(xùn)練集 loss 都不下降先別急著加正則化往往是模型容量或數(shù)據(jù)管線出了問題。5.4 超參數(shù)默認(rèn)值、模型保存與加載給一組能直接上手的默認(rèn)值學(xué)習(xí)率1e-3batch size 32 或 64優(yōu)化器 Adamepoch 先設(shè) 5。學(xué)得太慢就把學(xué)習(xí)率降到1e-4loss 爆掉就再降到1e-5。Batch size 不是越大越好太小梯度抖動大太大顯存扛不住。最重要的檢查是先用幾十條數(shù)據(jù)讓模型完全過擬合。如果連過擬合都做不到代碼里一定有 bug。模型保存時用狀態(tài)字典torch.save(model.state_dict(), model.pt)加載時先創(chuàng)建相同結(jié)構(gòu)的模型再load_state_dict。不要直接序列化整個 model 對象跨環(huán)境容易踩兼容性的坑。另外每次實(shí)驗(yàn)都把超參數(shù)記到日志里否則調(diào)了兩天后你根本不知道哪個組合是有效的。6. 高頻報(bào)錯與排查實(shí)錄6.1 維度不匹配的速查表訓(xùn)練深度學(xué)習(xí)模型八成時間都在跟維度做斗爭。這是我整理的高頻問題速查報(bào)錯特征常見原因處理辦法size mismatch線性層輸入維度和實(shí)際特征數(shù)不一致在forward里打印x.shape看最后一維Expected 4D inputConv 層收到了 2D 輸入檢查是否少了view或unsqueeze把通道維補(bǔ)上mat1 and mat2 shapes cannot be multiplied矩陣乘法維度對不上看兩個矩陣的第二維和第一維是否相等LSTM 相關(guān) shape 不對batch_first設(shè)置不對或混淆out和h統(tǒng)一把 batch 放第一維確認(rèn)返回值含義出現(xiàn)維度報(bào)錯時不要慌。框架已經(jīng)告訴你哪兩個 tensor 沒法算這時在forward里臨時加print(x.shape)一行一行定位。記住訓(xùn)練代碼炸在loss.backward()根因往往在前向的某一步。6.2 Loss為NaN或完全不下降NaN最常見的原因是學(xué)習(xí)率太大梯度爆炸其次是輸入數(shù)據(jù)里有 NaN 或 inf。排查順序打印 loss 數(shù)值把學(xué)習(xí)率調(diào)小一百倍再試檢查數(shù)據(jù)歸一化檢查有沒有l(wèi)og(0)。如果 loss 卡在一個值不動可能是模型太簡單、沒有非線性、或者優(yōu)化器參數(shù)沒更新。檢查一下optimizer.param_groups[0][params]里每個參數(shù)的grad是不是None。另外有個容易被忽略的點(diǎn)多分類任務(wù)的標(biāo)簽要從 0 開始連續(xù)編號如果標(biāo)簽從 1 開始CrossEntropyLoss不會直接報(bào)錯但 loss 會一直很大、很難降下去。6.3 縮小問題范圍的三板斧遇到任何問題先把數(shù)據(jù)量縮小到batch2模型縮小到單層網(wǎng)絡(luò)跑通再放大。這樣能快速排除“數(shù)據(jù)太大、模型太深”的干擾。我見過有人為了一個初始化問題折騰一下午后來定位到只是忘了對權(quán)重做合適初始化。這個縮小范圍的流程看起來笨但最可靠。7. 最后分享幾個調(diào)試習(xí)慣這篇從環(huán)境講到訓(xùn)練再講到排錯寫了不少但真正值錢的其實(shí)是最后一節(jié)的排查思路。我個人踩過很多次坑之后養(yǎng)成了兩個習(xí)慣一是不管模型多復(fù)雜先拿最小用例把數(shù)據(jù)流打印出來二是每次調(diào)試只改一個變量。改學(xué)習(xí)率的時候不同時改網(wǎng)絡(luò)結(jié)構(gòu)加正則化的時候不同時改數(shù)據(jù)增強(qiáng)否則出了問題不知道是誰的鍋。如果你現(xiàn)在正卡在某個報(bào)錯上試著把batch_size降下來、把網(wǎng)絡(luò)換成單層、把數(shù)據(jù)歸一化打開一步一步定位。這一套流程沒有奇技淫巧但最穩(wěn)也最快。希望你能在這個系列的第五篇之后真正把第一個屬于自己的深度學(xué)習(xí)模型跑起來。