深度學(xué)習(xí)入門這條路上很多人卡在同一個(gè)地方理論看了一堆反向傳播能推卷積核尺寸會(huì)算但真讓自己從頭跑通一個(gè)能訓(xùn)練、能收斂、能出結(jié)果的模型手就生了。我當(dāng)年也是這樣書(shū)翻了三遍不如親手把官方 Demo 敲一遍。這篇就圍繞 PyTorch 官方那個(gè)最經(jīng)典的 LeNet 示例展開(kāi)把從零開(kāi)始學(xué)深度學(xué)習(xí)的第三站講透——為什么是 LeNet、這個(gè) Demo 到底在做什么、每一行代碼背后的意圖是什么、跑通之后還能怎么改。不管你是剛裝完 PyTorch 的新手還是想回頭把基礎(chǔ)打扎實(shí)的老手這篇都能給你一份可以直接照著復(fù)現(xiàn)的完整路徑。核心關(guān)鍵詞就三個(gè)PyTorch、LeNet、官方 Demo全文圍繞它們把環(huán)境、數(shù)據(jù)、網(wǎng)絡(luò)、訓(xùn)練、評(píng)估、調(diào)參、排錯(cuò)一條龍講清楚。1. 為什么入門第一站選 LeNet 這個(gè)官方 Demo1.1 LeNet 在深度學(xué)習(xí)史上的位置決定了它的教學(xué)價(jià)值LeNet 是上世紀(jì)九十年代為手寫(xiě)數(shù)字識(shí)別設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)極簡(jiǎn)兩個(gè)卷積層、兩個(gè)池化層、三個(gè)全連接層參數(shù)量不到十萬(wàn)。放到今天看這個(gè)規(guī)模連小模型都算不上但它的教學(xué)價(jià)值恰恰在于小。我見(jiàn)過(guò)太多新手一上來(lái)就啃 ResNet、Transformer結(jié)果被殘差連接、多頭注意力、位置編碼這些概念砸暈連張量形狀怎么變都沒(méi)搞明白。LeNet 的好處是每一層的輸入輸出形狀你都能手算出來(lái)卷積核 5×5、步長(zhǎng) 1、填充 0池化 2×2、步長(zhǎng) 2這些數(shù)字在紙上畫(huà)一畫(huà)就清楚了。PyTorch 官方把它作為入門 Demo邏輯很實(shí)在它覆蓋了深度學(xué)習(xí)最核心的幾個(gè)環(huán)節(jié)——數(shù)據(jù)加載、網(wǎng)絡(luò)定義、前向傳播、損失計(jì)算、反向傳播、參數(shù)更新、模型評(píng)估一個(gè)都不少但每個(gè)環(huán)節(jié)都做到了最簡(jiǎn)。你跑通這一個(gè) Demo等于把整個(gè)訓(xùn)練流程的骨架摸了一遍后面換更復(fù)雜的網(wǎng)絡(luò)無(wú)非是往這個(gè)骨架上掛更復(fù)雜的模塊。這就是我常跟人說(shuō)的一句話LeNet 不是讓你學(xué)會(huì)識(shí)別手寫(xiě)數(shù)字是讓你學(xué)會(huì)一個(gè)模型是怎么被訓(xùn)練出來(lái)的。1.2 官方 Demo 相比網(wǎng)上教程的獨(dú)特優(yōu)勢(shì)網(wǎng)上 LeNet 的教程一抓一大把為什么還要專門講官方 Demo我踩過(guò)的坑告訴我第三方教程最大的問(wèn)題是省略。作者為了篇幅把數(shù)據(jù)預(yù)處理簡(jiǎn)化了、把設(shè)備切換省了、把評(píng)估邏輯砍了你照著抄能跑但換個(gè)數(shù)據(jù)集就崩報(bào)錯(cuò)都不知道從哪查。官方 Demo 的價(jià)值在于它是完整可運(yùn)行的數(shù)據(jù)下載、歸一化、批處理、訓(xùn)練循環(huán)、測(cè)試評(píng)估、準(zhǔn)確率統(tǒng)計(jì)每一塊都在而且用的是 PyTorch 官方推薦的寫(xiě)法。更關(guān)鍵的是官方 Demo 的代碼風(fēng)格是教科書(shū)級(jí)的規(guī)范。比如它用torchvision.datasets和DataLoader的組合來(lái)管理數(shù)據(jù)用nn.Module的子類來(lái)定義網(wǎng)絡(luò)用optim模塊管理優(yōu)化器這些寫(xiě)法是后面所有 PyTorch 項(xiàng)目的通用范式。你把這個(gè) Demo 的每一行都吃透后面看別人的開(kāi)源代碼就不會(huì)有陌生感。我個(gè)人的經(jīng)驗(yàn)是新手最該做的不是到處找更簡(jiǎn)單的教程而是把一個(gè)官方 Demo 反復(fù)改、反復(fù)跑改到你能預(yù)測(cè)每次修改的結(jié)果為止。1.3 這個(gè) Demo 適合誰(shuí)來(lái)學(xué)學(xué)到什么程度算過(guò)關(guān)先說(shuō)適合誰(shuí)。完全沒(méi)碰過(guò) PyTorch 的適合學(xué)過(guò)一點(diǎn)但沒(méi)完整跑過(guò)訓(xùn)練流程的適合跑過(guò)別人的代碼但說(shuō)不清每行在干嘛的也適合。不太適合的是已經(jīng)能獨(dú)立寫(xiě)訓(xùn)練腳本、調(diào)過(guò)超參的老手對(duì)他們來(lái)說(shuō)這個(gè) Demo 太淺了。學(xué)到什么程度算過(guò)關(guān)我給自己定的標(biāo)準(zhǔn)是三條第一能不看代碼憑記憶把網(wǎng)絡(luò)結(jié)構(gòu)寫(xiě)出來(lái)包括每層的輸入輸出通道數(shù)和卷積核尺寸第二能解釋訓(xùn)練循環(huán)里zero_grad、backward、step這三步為什么是這個(gè)順序調(diào)換會(huì)怎樣第三能自己改一個(gè)地方——比如把激活函數(shù)從 ReLU 換成 Sigmoid或者把優(yōu)化器從 SGD 換成 Adam——然后預(yù)測(cè)結(jié)果會(huì)怎么變?cè)倥芤槐轵?yàn)證。三條都做到了這個(gè) Demo 才算真正吃透而不是跑通了。2. 環(huán)境準(zhǔn)備與數(shù)據(jù)管線的搭建細(xì)節(jié)2.1 環(huán)境安裝版本匹配比什么都重要裝 PyTorch 這件事新手最容易犯的錯(cuò)是隨便裝個(gè)最新版。我見(jiàn)過(guò)有人裝完發(fā)現(xiàn)torchvision和torch版本不匹配導(dǎo)入就報(bào)錯(cuò)折騰一下午。正確的做法是先確定 Python 版本再按官方給的組合裝。以常見(jiàn)的 Python 3.9 到 3.11 為例torch和torchvision的版本必須對(duì)應(yīng)比如 torch 2.x 系列要配對(duì)應(yīng)版本的 torchvision具體對(duì)應(yīng)關(guān)系在官方安裝頁(yè)面上有表格裝之前一定對(duì)一眼。安裝命令本身不復(fù)雜CPU 版本直接 pip 裝就行有獨(dú)立顯卡的按官方給的索引地址裝對(duì)應(yīng)計(jì)算平臺(tái)的版本。我這里不寫(xiě)具體命令因?yàn)榘姹镜鞂?xiě)死了反而誤導(dǎo)你去官方安裝頁(yè)面選好系統(tǒng)、包管理器、計(jì)算平臺(tái)它會(huì)直接生成命令復(fù)制粘貼最穩(wěn)。裝完驗(yàn)證很簡(jiǎn)單import torch import torchvision print(torch.__version__) print(torchvision.__version__) print(torch.cuda.is_available())最后一行輸出 True 說(shuō)明能用顯卡加速False 就是純 CPU 跑。LeNet 這個(gè)規(guī)模CPU 跑也完全夠MNIST 數(shù)據(jù)集六萬(wàn)張訓(xùn)練圖CPU 上幾分鐘一輪別被必須用顯卡嚇住。提示裝完先跑上面三行驗(yàn)證別急著寫(xiě)模型。環(huán)境問(wèn)題在寫(xiě)代碼前解決比寫(xiě)到一半報(bào)錯(cuò)再回頭查要省事得多。2.2 MNIST 數(shù)據(jù)集為什么它是入門標(biāo)配MNIST 是七萬(wàn)張 28×28 的灰度手寫(xiě)數(shù)字圖六萬(wàn)訓(xùn)練、一萬(wàn)測(cè)試十個(gè)類別0 到 9。它成為入門標(biāo)配不是偶然圖像小、類別少、干凈、標(biāo)注準(zhǔn)模型很容易就能跑到 98% 以上的準(zhǔn)確率新手能快速獲得正反饋。這一點(diǎn)很重要我見(jiàn)過(guò)太多人被復(fù)雜數(shù)據(jù)集虐到懷疑人生其實(shí)換個(gè)簡(jiǎn)單的數(shù)據(jù)集同樣的代碼立刻就能跑出漂亮結(jié)果問(wèn)題不在你在數(shù)據(jù)。用torchvision.datasets.MNIST加載關(guān)鍵參數(shù)有三個(gè)root指定下載目錄train區(qū)分訓(xùn)練集和測(cè)試集downloadTrue讓它在本地沒(méi)有數(shù)據(jù)時(shí)自動(dòng)下載。這里有個(gè)細(xì)節(jié)很多人忽略訓(xùn)練集和測(cè)試集要分別實(shí)例化trainTrue和trainFalse各來(lái)一次別想著一個(gè)對(duì)象搞定。from torchvision import datasets, transforms transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) test_dataset datasets.MNIST(root./data, trainFalse, downloadTrue, transformtransform)2.3 歸一化參數(shù) 0.1307 和 0.3081 是怎么來(lái)的上面代碼里那兩個(gè)數(shù)字不是隨便寫(xiě)的它們是 MNIST 訓(xùn)練集的全局均值和標(biāo)準(zhǔn)差。ToTensor()會(huì)把像素值從 0 到 255 縮放到 0 到 1Normalize再按(x - mean) / std做標(biāo)準(zhǔn)化。為什么要標(biāo)準(zhǔn)化因?yàn)樯窠?jīng)網(wǎng)絡(luò)對(duì)輸入尺度敏感輸入值集中在 0 附近、方差為 1 時(shí)梯度下降收斂更穩(wěn)。你可以自己算一遍驗(yàn)證把所有訓(xùn)練圖拉平求均值和標(biāo)準(zhǔn)差結(jié)果就是這兩個(gè)數(shù)。我建議新手真去算一次不是為了記住數(shù)字是為了理解歸一化參數(shù)應(yīng)該從訓(xùn)練集統(tǒng)計(jì)而不是拍腦袋定這個(gè)原則——測(cè)試集要用訓(xùn)練集的參數(shù)不能自己再算一遍否則就是數(shù)據(jù)泄露。2.4 DataLoader批處理與打亂的實(shí)操要點(diǎn)數(shù)據(jù)集對(duì)象只是數(shù)據(jù)在哪真正喂給模型的是DataLoader。它負(fù)責(zé)三件事按batch_size切批、每個(gè) epoch 打亂順序、多進(jìn)程預(yù)取數(shù)據(jù)。from torch.utils.data import DataLoader train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers0) test_loader DataLoader(test_dataset, batch_size1000, shuffleFalse, num_workers0)batch_size訓(xùn)練集用 64 是官方 Demo 的選擇小批量能讓梯度帶點(diǎn)噪聲反而有助于跳出局部極小。測(cè)試集用 1000 是因?yàn)闇y(cè)試不需要反向傳播大批量一次算完更快。shuffleTrue只在訓(xùn)練集開(kāi)測(cè)試集必須關(guān)否則評(píng)估結(jié)果沒(méi)法復(fù)現(xiàn)。num_workers在 Windows 上建議設(shè) 0設(shè)大了容易出多進(jìn)程相關(guān)的報(bào)錯(cuò)Linux 上可以設(shè) 2 到 4 加速數(shù)據(jù)加載。這些都是我實(shí)際踩過(guò)的坑官方文檔不會(huì)專門提醒你 Windows 的這個(gè)問(wèn)題。3. LeNet 網(wǎng)絡(luò)結(jié)構(gòu)的逐層拆解與實(shí)現(xiàn)3.1 從論文原圖到代碼每一層的形狀變化LeNet 的結(jié)構(gòu)用一句話概括卷積、池化、卷積、池化、展平、三個(gè)全連接。但光背這句話沒(méi)用你得能算出每一層的張量形狀。輸入是[batch, 1, 28, 28]注意 MNIST 是單通道灰度圖所以通道數(shù)是 1這是新手最容易寫(xiě)錯(cuò)的地方寫(xiě)成 3 就會(huì)報(bào)通道不匹配。第一層卷積Conv2d(1, 6, 5)輸入 1 通道、輸出 6 通道、卷積核 5×5、無(wú)填充。28 - 5 1 24所以輸出是[batch, 6, 24, 24]。接著MaxPool2d(2, 2)24 / 2 12輸出[batch, 6, 12, 12]。第二層卷積Conv2d(6, 16, 5)12 - 5 1 8輸出[batch, 16, 8, 8]。再池化8 / 2 4輸出[batch, 16, 4, 4]。展平后是 16 × 4 × 4 256 維接全連接Linear(256, 120)、Linear(120, 84)、Linear(84, 10)最后輸出 10 個(gè)類別的分?jǐn)?shù)。這套計(jì)算我建議你拿紙筆自己推一遍推完再對(duì)照代碼比直接看代碼印象深十倍。很多人卡在為什么展平是 256就是因?yàn)闆](méi)算這一步。3.2 用 nn.Module 定義網(wǎng)絡(luò)的規(guī)范寫(xiě)法PyTorch 定義網(wǎng)絡(luò)的標(biāo)準(zhǔn)姿勢(shì)是繼承nn.Module在__init__里聲明層在forward里定義數(shù)據(jù)流向。這個(gè)范式必須刻進(jìn)肌肉記憶因?yàn)楹竺嫠心Ｐ投歼@么寫(xiě)。import torch.nn as nn import torch.nn.functional as F class LeNet(nn.Module): def __init__(self): super(LeNet, self).__init__() self.conv1 nn.Conv2d(1, 6, 5) self.pool1 nn.MaxPool2d(2, 2) self.conv2 nn.Conv2d(6, 16, 5) self.pool2 nn.MaxPool2d(2, 2) self.fc1 nn.Linear(16 * 4 * 4, 120) self.fc2 nn.Linear(120, 84) self.fc3 nn.Linear(84, 10) def forward(self, x): x self.pool1(F.relu(self.conv1(x))) x self.pool2(F.relu(self.conv2(x))) x x.view(x.size(0), -1) x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) x self.fc3(x) return x幾個(gè)細(xì)節(jié)值得說(shuō)。super(LeNet, self).__init__()這行不能省它初始化父類省了會(huì)報(bào)錯(cuò)。x.view(x.size(0), -1)里的x.size(0)是 batch 維度-1讓 PyTorch 自動(dòng)算展平后的維度這樣寫(xiě)比寫(xiě)死 256 更穩(wěn)改網(wǎng)絡(luò)結(jié)構(gòu)時(shí)不容易漏改。最后一層fc3后面不接激活函數(shù)因?yàn)檩敵龅氖穷悇e分?jǐn)?shù)logits激活交給損失函數(shù)CrossEntropyLoss內(nèi)部處理它自帶 softmax。這一點(diǎn)新手常搞錯(cuò)在最后加個(gè) softmax 再用交叉熵等于做了兩次結(jié)果就偏了。3.3 激活函數(shù)為什么選 ReLU 而不是 SigmoidLeNet 原論文用的是 Sigmoid 或 tanh但現(xiàn)代實(shí)現(xiàn)基本都換成了 ReLU。原因很實(shí)際Sigmoid 在輸入較大或較小時(shí)梯度接近 0深層網(wǎng)絡(luò)容易出現(xiàn)梯度消失訓(xùn)練慢甚至訓(xùn)不動(dòng)。ReLU 在正區(qū)間梯度恒為 1反向傳播時(shí)梯度不容易衰減收斂快得多。我實(shí)測(cè)過(guò)同一個(gè) LeNetSigmoid 版本跑五個(gè) epoch 準(zhǔn)確率還在 90% 附近晃ReLU 版本三個(gè) epoch 就上 98% 了。不過(guò) ReLU 也有坑負(fù)區(qū)間梯度為 0神經(jīng)元可能死掉輸入一直是負(fù)的話這個(gè)神經(jīng)元就再也不更新了。LeNet 這么淺的網(wǎng)絡(luò)基本不用擔(dān)心但你要知道這個(gè)特性后面搭深網(wǎng)絡(luò)時(shí)才會(huì)理解為什么會(huì)有 LeakyReLU、ELU 這些變體。3.4 參數(shù)量核算為什么這個(gè)網(wǎng)絡(luò)輕到可以隨便跑把每層參數(shù)量加起來(lái)conv1 是 1×6×5×5 6 156conv2 是 6×16×5×5 16 2416fc1 是 256×120 120 30840fc2 是 120×84 84 10164fc3 是 84×10 10 850?？傆?jì)約 4.4 萬(wàn)參數(shù)。這個(gè)量級(jí)意味著什么意味著模型文件不到 200KB意味著 CPU 上訓(xùn)練一輪只要幾十秒意味著你可以在筆記本上反復(fù)實(shí)驗(yàn)幾十次而不用等。我特別建議新手在這個(gè)階段多改多試因?yàn)槌杀镜驮囧e(cuò)快正是建立直覺(jué)的黃金期。4. 訓(xùn)練循環(huán)的完整實(shí)現(xiàn)與關(guān)鍵步驟解析4.1 損失函數(shù)與優(yōu)化器的選擇邏輯分類任務(wù)用CrossEntropyLoss這是 PyTorch 里把 softmax 和負(fù)對(duì)數(shù)似然打包在一起的損失函數(shù)輸入是 logits不需要你手動(dòng) softmax。優(yōu)化器官方 Demo 用的是 SGD學(xué)習(xí)率 0.01動(dòng)量 0.5。為什么用 SGD 不用 Adam不是 Adam 不好是 SGD 在這個(gè)簡(jiǎn)單任務(wù)上足夠而且能讓你看清學(xué)習(xí)率這個(gè)超參的作用。Adam 自適應(yīng)調(diào)整學(xué)習(xí)率新手反而感受不到調(diào)參的樂(lè)趣和痛感。import torch.optim as optim model LeNet() criterion nn.CrossEntropyLoss() optimizer optim.SGD(model.parameters(), lr0.01, momentum0.5)model.parameters()把網(wǎng)絡(luò)里所有可訓(xùn)練參數(shù)交給優(yōu)化器管理這一步別漏漏了優(yōu)化器不知道要更新誰(shuí)。動(dòng)量 0.5 的作用是讓更新方向帶點(diǎn)慣性減少震蕩加快收斂這個(gè)值在 LeNet 上是官方調(diào)好的你可以試著改成 0 或 0.9 感受差異。4.2 訓(xùn)練循環(huán)的三步核心zero_grad、backward、step訓(xùn)練循環(huán)的骨架就這幾行但每一步的意圖必須清楚def train(model, train_loader, criterion, optimizer, epoch): model.train() for batch_idx, (data, target) in enumerate(train_loader): optimizer.zero_grad() output model(data) loss criterion(output, target) loss.backward() optimizer.step() if batch_idx % 100 0: print(fEpoch {epoch} [{batch_idx * len(data)}/{len(train_loader.dataset)}] Loss: {loss.item():.4f})optimizer.zero_grad()必須放在最前面因?yàn)?PyTorch 的梯度是累加的不清零的話上一批的梯度會(huì)疊加到這一批結(jié)果全錯(cuò)。這是新手第一大坑我當(dāng)年就是漏了這行l(wèi)oss 一直不降查了半天。loss.backward()做反向傳播算出每個(gè)參數(shù)的梯度。optimizer.step()按梯度更新參數(shù)。順序不能亂先清零、再前向、再算損失、再反向、最后更新。model.train()這行也別省它把網(wǎng)絡(luò)切到訓(xùn)練模式影響 Dropout 和 BatchNorm 的行為。LeNet 里雖然沒(méi)有這兩層但養(yǎng)成習(xí)慣很重要后面加了就會(huì)感謝自己。4.3 測(cè)試評(píng)估為什么必須切 eval 模式并關(guān)閉梯度測(cè)試階段和訓(xùn)練階段寫(xiě)法不同核心是兩點(diǎn)model.eval()和torch.no_grad()。def test(model, test_loader, criterion): model.eval() test_loss 0 correct 0 with torch.no_grad(): for data, target in test_loader: output model(data) test_loss criterion(output, target).item() pred output.argmax(dim1, keepdimTrue) correct pred.eq(target.view_as(pred)).sum().item() test_loss / len(test_loader) accuracy 100. * correct / len(test_loader.dataset) print(fTest Loss: {test_loss:.4f}, Accuracy: {accuracy:.2f}%) return accuracymodel.eval()切評(píng)估模式和train()對(duì)應(yīng)。torch.no_grad()關(guān)閉梯度計(jì)算測(cè)試不需要反向傳播關(guān)掉能省顯存、提速。output.argmax(dim1)取分?jǐn)?shù)最高的類別作為預(yù)測(cè)pred.eq(target.view_as(pred))比較預(yù)測(cè)和真實(shí)標(biāo)簽sum().item()統(tǒng)計(jì)正確數(shù)。這套寫(xiě)法是標(biāo)準(zhǔn)范式建議直接背下來(lái)。4.4 完整訓(xùn)練流程串聯(lián)與實(shí)測(cè)結(jié)果把上面拼起來(lái)主循環(huán)大概是這樣for epoch in range(1, 6): train(model, train_loader, criterion, optimizer, epoch) test(model, test_loader, criterion)五個(gè) epochCPU 上跑下來(lái)大概兩三分鐘。我實(shí)測(cè)的結(jié)果是第一個(gè) epoch 結(jié)束準(zhǔn)確率約 97%第三個(gè) epoch 到 98.5%第五個(gè) epoch 穩(wěn)定在 98.8% 到 99% 之間。這個(gè)曲線很典型——前期漲得快后期趨于平緩。如果你跑出來(lái)第一個(gè) epoch 只有 10% 左右等于隨機(jī)猜那基本可以確定是zero_grad漏了或者學(xué)習(xí)率設(shè)錯(cuò)了。如果 loss 變成 nan多半是學(xué)習(xí)率太大降到 0.001 試試。注意訓(xùn)練前記得把模型和數(shù)據(jù)放到同一個(gè)設(shè)備上。純 CPU 跑不用管用顯卡的話要model.to(device)且每個(gè) batch 的data、target也要.to(device)漏一個(gè)就報(bào)設(shè)備不匹配。5. 常見(jiàn)報(bào)錯(cuò)與調(diào)參排錯(cuò)實(shí)錄5.1 新手最常撞的五個(gè)報(bào)錯(cuò)及解決思路我把這些年帶人時(shí)見(jiàn)過(guò)的高頻報(bào)錯(cuò)整理成表對(duì)照著查能省不少時(shí)間報(bào)錯(cuò)信息關(guān)鍵詞常見(jiàn)原因解決方向expected scalar type Byte but found Float輸入沒(méi)轉(zhuǎn)成 float 張量檢查ToTensor()是否在 transform 里mat1 and mat2 shapes cannot be multiplied展平維度算錯(cuò)重新核算卷積池化后的尺寸Expected input batch_size to match target標(biāo)簽形狀不對(duì)檢查view_as或squeezeCUDA out of memory顯存不夠減小 batch_size 或換 CPUloss 一直是 nan學(xué)習(xí)率過(guò)大或數(shù)據(jù)異常降學(xué)習(xí)率、檢查歸一化第一個(gè)報(bào)錯(cuò)特別常見(jiàn)本質(zhì)是數(shù)據(jù)類型不匹配ToTensor()會(huì)把 PIL 圖像轉(zhuǎn)成 0 到 1 的 float 張量忘了加就會(huì)拿到原始整數(shù)類型。第二個(gè)是形狀問(wèn)題LeNet 展平是 256你如果改了卷積層沒(méi)同步改全連接層就會(huì)撞上。這些報(bào)錯(cuò)看著嚇人其實(shí)都是形狀或類型對(duì)不上養(yǎng)成打印x.shape的習(xí)慣問(wèn)題一目了然。5.2 準(zhǔn)確率上不去的排查順序如果模型能跑但準(zhǔn)確率卡在某個(gè)值上不去按這個(gè)順序查先看訓(xùn)練集準(zhǔn)確率如果訓(xùn)練集都上不去是模型或訓(xùn)練流程有問(wèn)題如果訓(xùn)練集高、測(cè)試集低是過(guò)擬合如果兩者都低是欠擬合。LeNet 在 MNIST 上正常應(yīng)該輕松到 98% 以上到不了就逐項(xiàng)排查——學(xué)習(xí)率是不是太大導(dǎo)致震蕩batch_size 是不是太小導(dǎo)致梯度噪聲過(guò)大歸一化是不是漏了epoch 是不是太少。我遇到過(guò)一次準(zhǔn)確率死活卡在 90%最后發(fā)現(xiàn)是shuffle忘了開(kāi)數(shù)據(jù)按類別順序喂進(jìn)去模型學(xué)偏了。這種問(wèn)題不看代碼根本想不到所以排查時(shí)要把數(shù)據(jù)管線也納入檢查范圍別只盯著模型。5.3 幾個(gè)能立刻提升效果的實(shí)操技巧第一個(gè)技巧是學(xué)習(xí)率衰減訓(xùn)練到后期把學(xué)習(xí)率降下來(lái)能讓模型在最優(yōu)解附近更精細(xì)地收斂。PyTorch 有l(wèi)r_scheduler幾行就能加上。第二個(gè)技巧是數(shù)據(jù)增強(qiáng)MNIST 上可以加輕微旋轉(zhuǎn)、平移能提升泛化但對(duì)這個(gè)簡(jiǎn)單任務(wù)提升有限屬于錦上添花。第三個(gè)技巧是保存和加載模型訓(xùn)練完用torch.save(model.state_dict(), lenet.pth)存參數(shù)下次model.load_state_dict(torch.load(lenet.pth))加載這是實(shí)際項(xiàng)目必備技能Demo 里沒(méi)寫(xiě)但你必須會(huì)。提示保存模型存state_dict而不是整個(gè)模型對(duì)象前者只存參數(shù)、體積小、跨版本兼容好后者依賴類定義換環(huán)境容易加載失敗。6. 從跑通到改通讓這個(gè) Demo 真正變成你的6.1 三個(gè)循序漸進(jìn)的改造練習(xí)跑通只是起點(diǎn)真正學(xué)到東西靠改。我給自己安排的第一個(gè)練習(xí)是把激活函數(shù)換成 Sigmoid觀察收斂速度的變化驗(yàn)證前面說(shuō)的ReLU 更快。第二個(gè)練習(xí)是把優(yōu)化器換成 Adam學(xué)習(xí)率設(shè) 0.001看準(zhǔn)確率曲線是不是更平滑。第三個(gè)練習(xí)是改網(wǎng)絡(luò)結(jié)構(gòu)比如在 conv1 后加一個(gè) BatchNorm 層或者把兩個(gè)卷積核都改成 3×3然后重新核算展平維度。這三個(gè)練習(xí)做完你對(duì)改一處、動(dòng)全身的理解會(huì)深很多。改造時(shí)有個(gè)原則一次只改一個(gè)變量改完跑一遍記錄結(jié)果再改下一個(gè)。同時(shí)改好幾處出了問(wèn)題根本不知道是哪處引起的。這個(gè)習(xí)慣我從入門保持到現(xiàn)在做任何實(shí)驗(yàn)都遵守。6.2 把這個(gè) Demo 遷移到自己的數(shù)據(jù)集上LeNet 跑通 MNIST 之后最有價(jià)值的下一步是換成自己的數(shù)據(jù)。遷移時(shí)要改的地方其實(shí)不多數(shù)據(jù)集類換成ImageFolder或自定義Dataset輸入通道數(shù)按你的圖改彩色圖是 3全連接層第一層的輸入維度按新的特征圖尺寸重算輸出類別數(shù)改成你的類別數(shù)。改完先在小樣本上跑通確認(rèn)形狀都對(duì)再上全量數(shù)據(jù)。我特別想強(qiáng)調(diào)通道數(shù)這一處很多人拿彩色圖直接喂給Conv2d(1, 6, 5)報(bào)錯(cuò)還找不到原因。記住網(wǎng)絡(luò)第一層的輸入通道必須和數(shù)據(jù)通道一致這是硬約束。6.3 我個(gè)人在這個(gè) Demo 上踩過(guò)的坑和體會(huì)最后說(shuō)點(diǎn)掏心窩的。我最早跑這個(gè) Demo 時(shí)卡在x.view那行整整一個(gè)下午因?yàn)槲也焕斫?1是什么意思硬寫(xiě)了個(gè) 256結(jié)果改了 batch_size 就報(bào)錯(cuò)。后來(lái)才明白-1是讓 PyTorch 自己算這種讓框架幫你算的思路貫穿整個(gè) PyTorch 使用。還有一次我把optimizer.zero_grad()寫(xiě)在了loss.backward()后面loss 一直不降查了兩小時(shí)才發(fā)現(xiàn)順序錯(cuò)了。這些坑現(xiàn)在看很蠢但正是這些蠢坑讓我真正記住了每一步的作用。我的體會(huì)是官方 Demo 的價(jià)值不在于它多完美而在于它是一個(gè)活的標(biāo)本你可以隨便解剖、隨便改。跑通它只花你半小時(shí)但把它改到面目全非、每一處改動(dòng)你都能預(yù)測(cè)結(jié)果這個(gè)過(guò)程才真正把知識(shí)變成你自己的。后面你再去學(xué)更復(fù)雜的網(wǎng)絡(luò)會(huì)發(fā)現(xiàn)無(wú)非是在這個(gè)骨架上加模塊而骨架你已經(jīng)爛熟于心了。