1. 為什么第五節(jié)要做圖像分類1.1 從全連接到卷積質(zhì)的跨越第五節(jié)了。前面幾節(jié)如果都跟下來了你應(yīng)該已經(jīng)知道了張量是什么、梯度回傳怎么運(yùn)作、也親手搭過一個幾層的全連接網(wǎng)絡(luò)。但說真的在那個階段你可能和我當(dāng)年一樣心里一直有個隱隱的疑惑就這這玩意兒真能認(rèn)圖片答案是肯定的但需要用對結(jié)構(gòu)。全連接網(wǎng)絡(luò)處理圖像的問題在于一個 32x32 的彩色小圖就有 3072 個像素你把它拉平成向量喂進(jìn)全連接層第一層想做透特征就得是幾百上千個神經(jīng)元參數(shù)量嘩啦啦漲到幾十萬上百萬。小圖湊合能跑一到 224x224 或者更大分辨率的真實圖片模型直接膨脹到?jīng)]法訓(xùn)練。這個痛點就是卷積結(jié)構(gòu)登場的直接原因——它用局部連接權(quán)值共享兩個設(shè)計把參數(shù)量壓下去幾個數(shù)量級同時保留了圖像的空間結(jié)構(gòu)信息。所以這一節(jié)真正要解決的事情不是把準(zhǔn)確率刷到多高而是讓你親手跑通一條完整的圖像分類流水線數(shù)據(jù)讀取 → 預(yù)處理 → 模型定義 → 訓(xùn)練 → 評估。這條流水線是后面所有視覺任務(wù)——目標(biāo)檢測、語義分割、圖像生成——的地基你現(xiàn)在踩的每一個坑后面還會以變體形式反復(fù)出現(xiàn)。提前把這些坑摸一遍之后會順暢非常多。1.2 圖像分類在整個學(xué)習(xí)路線里的位置我見過太多人上來就想啃檢測、啃分割的源碼結(jié)果被一堆數(shù)據(jù)增強(qiáng)、錨框、特征金字塔的術(shù)語勸退。圖像分類之所以被公認(rèn)為計算機(jī)視覺的練習(xí)曲是因為它把所有核心科目都濃縮在了一個相對干凈的框架里特征提取靠卷積網(wǎng)絡(luò)優(yōu)化靠反向傳播評估靠準(zhǔn)確率指標(biāo)。沒有復(fù)雜的輸出結(jié)構(gòu)沒有多任務(wù)損失你就是把一個圖塞進(jìn)去出來一個類別概率分布。同時分類模型本身也是后續(xù)任務(wù)的骨干。檢測網(wǎng)絡(luò)的分類分支就是分類器分割網(wǎng)絡(luò)的編碼器也常常直接用分類網(wǎng)絡(luò)的預(yù)訓(xùn)練權(quán)重初始化。所以這一節(jié)你學(xué)的不是一個孤立的小玩具而是整套視覺技術(shù)棧的核心部件。學(xué)完這節(jié)再回頭看檢測、分割的公式你會覺得很多地方似曾相識因為底層的邏輯你在分類實戰(zhàn)里已經(jīng)親手實踐過了。1.3 這一節(jié)完成后你應(yīng)該做到什么程度我在帶人的時候有一個很樸素的驗收標(biāo)準(zhǔn)不查資料能從頭寫出一份包含數(shù)據(jù)加載、模型定義、訓(xùn)練循環(huán)、驗證評估的完整代碼并且能解釋每一步為什么這么寫。能獨立做到說明你真的吸收了而不是照著教程敲了一遍。所以這篇文章我盡量把為什么講透參數(shù)怎么選、代碼為什么是這個順序、出了問題從哪查起都給你捋清楚。代碼只是載體背后的決策邏輯才是這五節(jié)課真正想交給你的東西。2. 數(shù)據(jù)準(zhǔn)備與預(yù)處理是真正的分水嶺2.1 數(shù)據(jù)集的目錄組織和加載方式很多人一上來就急著調(diào)模型把數(shù)據(jù)隨便丟進(jìn)一個文件夾寫了幾行l(wèi)oad_data就開始訓(xùn)練結(jié)果后面踩了各種莫名其妙的坑——類別對不上啦、標(biāo)簽偏移啦、訓(xùn)練集驗證集混在一起啦。我個人的經(jīng)驗是數(shù)據(jù)準(zhǔn)備花的時間跟后面省下來的調(diào)試時間絕對是劃算的。以官方的 CIFAR-10 為例它本身已經(jīng)分好了 train 和 test。用torchvision.datasets.CIFAR10可以直接下載加載適合做快速驗證。但真實項目中你手里的數(shù)據(jù)往往是一堆散亂的圖片我建議從一開始就按標(biāo)準(zhǔn)目錄結(jié)構(gòu)組織data/ ├── train/ │ ├── cat/ │ │ ├── cat_0001.jpg │ │ └── ... │ └── dog/ │ ├── dog_0001.jpg │ └── ... └── val/ ├── cat/ └── dog/這種組織方式的好處是torchvision.datasets.ImageFolder直接就能讀自動按二級目錄名生成類別索引不用手寫標(biāo)簽文件。我自己到現(xiàn)在做項目還是會先用腳本把數(shù)據(jù)整理成這個結(jié)構(gòu)因為它簡單、直觀、不容易錯。用ImageFolder加載就這么幾行train_dataset torchvision.datasets.ImageFolder(rootdata/train, transformtrain_transform) val_dataset torchvision.datasets.ImageFolder(rootdata/val, transformval_transform) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue) val_loader DataLoader(val_dataset, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue)注意驗證集這里shuffleFalse不是為了省那點算力而是為了讓驗證結(jié)果可復(fù)現(xiàn)——你每輪驗證跑的順序是一致的不至于因為順序變化產(chǎn)生多余的隨機(jī)噪聲。2.2 歸一化的門道m(xù)ean 和 std 是怎么來的圖像本質(zhì)上是 0 到 255 的整數(shù)矩陣直接喂進(jìn)網(wǎng)絡(luò)其實也能跑但收斂會很別扭。原因說到底很簡單梯度更新的步幅大小受特征數(shù)值尺度影響深層次特征的數(shù)值稍微抖動一下乘起來的梯度就可能爆炸或者消失。把輸入標(biāo)準(zhǔn)化到均值 0、方差 1 附近相當(dāng)于給優(yōu)化器一個地形平坦的起點。transform transforms.Compose([ transforms.Resize((32, 32)), transforms.ToTensor(), # 把PIL圖片轉(zhuǎn)成Tensor數(shù)值縮放到[0,1] transforms.Normalize(mean[0.4914, 0.4822, 0.4465], std[0.2470, 0.2435, 0.2616]) ])這三組數(shù)不是隨手寫的是 CIFAR-10 訓(xùn)練集在 RGB 三個通道上各自的均值和方法。每換一個數(shù)據(jù)集mean 和 std 最好自己算一遍方法很簡單把訓(xùn)練集全圖所有像素累加取平均再用均值算方差。千萬別偷懶直接拿 ImageNet 的那組(0.485, 0.456, 0.406)用在不相關(guān)的小數(shù)據(jù)集上雖然不至于模型崩掉但分布偏移總會造成收益上的損失。2.3 數(shù)據(jù)增強(qiáng)寧可少調(diào)參也要先做這步數(shù)據(jù)增強(qiáng)是圖像分類里性價比最高的白嫖算力手段。我的經(jīng)驗是一個有增強(qiáng)、參數(shù)默認(rèn)的簡單模型往往能打過沒增強(qiáng)但精心調(diào)參的復(fù)雜模型。因為分類任務(wù)最缺的不是算力而是數(shù)據(jù)多樣性。你拍一張貓換個角度再拍一張還是貓模型應(yīng)該從這兩個不同的像素排列里學(xué)到同一個概念。對 CIFAR-10 這種 32x32 的小圖常用的增強(qiáng)組合就三板斧隨機(jī)裁剪、隨機(jī)水平翻轉(zhuǎn)偶爾加點顏色擾動。train_transform transforms.Compose([ transforms.RandomCrop(32, padding4), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.ToTensor(), transforms.Normalize(mean[0.4914, 0.4822, 0.4465], std[0.2470, 0.2435, 0.2616]) ])RandomCrop(32, padding4)的意思是先把圖四周補(bǔ) 4 像素的零再隨機(jī)裁回 32x32。這樣每次訓(xùn)練看到的圖都略有平移等于免費把數(shù)據(jù)量翻了若干倍。而RandomHorizontalFlip這種左右翻轉(zhuǎn)對我們熟悉的交通標(biāo)志這類具有方向性的任務(wù)是禁忌但對貓、狗、飛機(jī)這些目標(biāo)方向不敏感的數(shù)據(jù)集非常友好。這里有一條鐵律驗證集和測試集的 transform 里絕對不能出現(xiàn)隨機(jī)增強(qiáng)。最多做 resize 和歸一化。我見過同學(xué)把RandomHorizontalFlip寫進(jìn)了驗證集結(jié)果準(zhǔn)確率忽高忽低還以為是模型不穩(wěn)定折騰了兩天才發(fā)現(xiàn)是驗證的時候圖被隨機(jī)翻轉(zhuǎn)了純屬自己跟自己過不去。2.4 加載器的細(xì)節(jié)參數(shù)Batch Size 與 Workersbatch_size的選擇直接影響訓(xùn)練速度和穩(wěn)定性。我的建議是先用你的顯存上限去定它比如 8GB 顯存跑 ResNet18 輸入 32x3264 的 batch 完全沒壓力就設(shè) 64。batch 太小比如 2 或 4梯度噪聲太大訓(xùn)練曲線抖得像心電圖batch 太大單個 epoch 里的參數(shù)更新次數(shù)太少反而可能欠擬合。num_workers是數(shù)據(jù)加載用的進(jìn)程數(shù)設(shè)成 0 就在主進(jìn)程里加載速度慢但最兼容設(shè)成 4 或 8 能明顯提高吞吐量。Linux 環(huán)境下我習(xí)慣設(shè)成 CPU 核數(shù)的一半。在 Windows 上如果報多進(jìn)程相關(guān)的錯先把它設(shè)回 0 排查別上來就懷疑模型寫錯了。pin_memoryTrue這個參數(shù)很多人忽略。它把數(shù)據(jù)加載到鎖頁內(nèi)存GPU 拷貝的路徑更短理論上能省下不少數(shù)據(jù)傳輸時間。代價是內(nèi)存占用略高但對大多數(shù)機(jī)器來說利遠(yuǎn)大于弊我基本常開。3. 模型搭建與訓(xùn)練細(xì)節(jié)別急著調(diào)參3.1 第一版模型自建小網(wǎng)絡(luò)還是 ResNet18作為第五節(jié)課的實戰(zhàn)我強(qiáng)烈不建議你從零手寫卷積層——不是為了偷懶而是因為經(jīng)典網(wǎng)絡(luò)的架構(gòu)設(shè)計經(jīng)過了無數(shù)人的驗證它的層數(shù)、通道數(shù)、殘差連接方式每一樣都有道理。你手寫的靈感版CNN在學(xué)術(shù)想象力上是合格的但在 CIFAR-10 這種任務(wù)上很可能收斂得又慢又差然后你陷入是我代碼錯了還是網(wǎng)絡(luò)設(shè)計問題的迷茫非常打擊信心。這個階段的正確姿勢是直接用torchvision.models里的 ResNet18官方還提供了預(yù)訓(xùn)練權(quán)重。ResNet18 是整個殘差家族里最輕量、最適合入門的版本結(jié)構(gòu)清晰顯存占用小一張 32x32 的 CIFAR-10 圖跑起來毫無壓力。import torchvision.models as models model models.resnet18(num_classes10)但這里有個細(xì)節(jié)ResNet18 默認(rèn)的輸入是 3x224x224它的第一個卷積層是conv1卷積核 7x7、步長 2一下把 224x224 降成 112x112。你要是把 32x32 的 CIFAR-10 圖直接塞進(jìn)去原始下采樣太快信息大量丟失然后全局池化層輸出也跟你預(yù)想的不一樣。所以用 CIFAR-10 這類小圖訓(xùn)練 ResNet要做一處小改造把第一個卷積層的核心參數(shù)改小。import torch.nn as nn model.conv1 nn.Conv2d(3, 64, kernel_size3, stride1, padding1, biasFalse) model.maxpool nn.Identity() # 去掉7x7分支后的最大池化改完整模型的前向路徑是3x32x32 → conv1(3x3) → 64x32x32 → 殘差塊序列 → 全局平均池化 → 10 維分類頭。這樣才是為 32x32 輸入定制的正確結(jié)構(gòu)。3.2 損失函數(shù)和優(yōu)化器的選擇邏輯分類任務(wù)的標(biāo)準(zhǔn)損失是交叉熵PyTorch 里就是nn.CrossEntropyLoss()。這里有一個新手經(jīng)常誤解的點CrossEntropyLoss其實內(nèi)置了 Softmax 操作所以模型的最后一層直接輸出 10 個類別的 logits 就行不要在輸出層再手動加一個 Softmax。加了在數(shù)值上通常不會出錯但會讓你的損失計算變得繞而且萬一你用到了混合精度訓(xùn)練數(shù)值穩(wěn)定性還會受影響。我見過有人一時糊涂輸出層手動加了F.log_softmax又搭配NLLLoss用效果雖然差不多但代碼讀起來繞了一大圈沒必要。優(yōu)化器我推薦直接上 SGD Momentum不是因為這玩意兒效果最好而是因為它對超參數(shù)的理解成本最低。optimizer torch.optim.SGD(model.parameters(), lr0.1, momentum0.9, weight_decay5e-4)weight_decay是 L2 正則給大權(quán)重施以懲罰配合數(shù)據(jù)增強(qiáng)一起壓制過擬合是圖像分類訓(xùn)練的標(biāo)準(zhǔn)搭配。為什么不用 AdamAdam 確實收斂快、對學(xué)習(xí)率不敏感但它泛化性能在這類任務(wù)上常常不如調(diào)得好的 SGD。作為教學(xué)項目用 SGD 能逼著你理解學(xué)習(xí)率衰減的作用這個理解對你以后做任何優(yōu)化都有價值。3.3 訓(xùn)練集驗證集的劃分別自欺欺人CIFAR-10 官方已經(jīng)分好了直接拿來做 train/test 劃分就行。如果用自己的數(shù)據(jù)務(wù)必保證類別分布均衡并且絕對不能有數(shù)據(jù)泄漏——比如同一張貓的圖既出現(xiàn)在訓(xùn)練集又出現(xiàn)在驗證集那你的驗證準(zhǔn)確率就是注了水的。劃分比例我默認(rèn)是 8:2 或 9:1關(guān)鍵看數(shù)據(jù)總量?？偭繋兹f張9:1 完全夠總共有幾千張驗證集至少得留幾百張否則驗證準(zhǔn)確率的波動能大到看不出有沒有改進(jìn)。順帶說一下固定隨機(jī)種子的習(xí)慣。開頭寫三行能讓你的整輪實驗可復(fù)現(xiàn)調(diào)參的時候不會因為隨機(jī)性把鍋甩給模型import random, numpy as np, torch random.seed(0) np.random.seed(0) torch.manual_seed(0)如果用了 GPU再加一句torch.cuda.manual_seed_all(0)。實際跑起來因為多線程、非確定性算法等因素不可能完全相同但至少能消除換一次運(yùn)行換個結(jié)果這種最讓人崩潰的問題。4. 訓(xùn)練過程實錄與核心參數(shù)解讀4.1 一份可直接抄的主干代碼這里我先給你一份完整的訓(xùn)練循環(huán)骨架把注釋寫明白然后逐段拆解里面的關(guān)鍵細(xì)節(jié)import torch import torch.nn as nn from torch.utils.data import DataLoader import torchvision import torchvision.transforms as transforms import torchvision.models as models # ---------- 數(shù)據(jù) ---------- train_transform transforms.Compose([ transforms.RandomCrop(32, padding4), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean[0.4914, 0.4822, 0.4465], std[0.2470, 0.2435, 0.2616])]) val_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean[0.4914, 0.4822, 0.4465], std[0.2470, 0.2435, 0.2616])]) train_dataset torchvision.datasets.CIFAR10(root./data, trainTrue, downloadTrue, transformtrain_transform) val_dataset torchvision.datasets.CIFAR10(root./data, trainFalse, downloadTrue, transformval_transform) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue) val_loader DataLoader(val_dataset, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue) # ---------- 模型 ---------- model models.resnet18(num_classes10) model.conv1 nn.Conv2d(3, 64, kernel_size3, stride1, padding1, biasFalse) model.maxpool nn.Identity() device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.SGD(model.parameters(), lr0.1, momentum0.9, weight_decay5e-4) # ---------- 訓(xùn)練循環(huán) ---------- def train_one_epoch(epoch): model.train() train_loss 0.0 correct 0 total 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() train_loss loss.item() * images.size(0) _, predicted outputs.max(1) total labels.size(0) correct predicted.eq(labels).sum().item() avg_loss train_loss / total acc 100.0 * correct / total print(fEpoch {epoch} | Train Loss: {avg_loss:.4f} | Acc: {acc:.2f}%) return avg_loss, acc def validate(epoch): model.eval() val_loss 0.0 correct 0 total 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) val_loss loss.item() * images.size(0) _, predicted outputs.max(1) total labels.size(0) correct predicted.eq(labels).sum().item() avg_loss val_loss / total acc 100.0 * correct / total print(fEpoch {epoch} | Val Loss: {avg_loss:.4f} | Acc: {acc:.2f}%) return avg_loss, acc for epoch in range(1, 31): train_one_epoch(epoch) validate(epoch)這段代碼跑在普通顯卡上CIFAR-10 大約十幾分鐘一個 epoch30 個 epoch 大概幾個小時能收完。最后驗證準(zhǔn)確率可以到 85% 到 90% 之間比瞎猜的 10% 已經(jīng)高出太多了。4.2 訓(xùn)練循環(huán)里最容易寫錯的三處細(xì)節(jié)第一處是model.train()和model.eval()的切換。這兩個方法控制的是 BatchNorm 和 Dropout 在訓(xùn)練/推理時的不同行為。訓(xùn)練時 BatchNorm 用當(dāng)前 batch 的均值方差推理時用的是訓(xùn)練階段累積的全局統(tǒng)計量。如果你忘了切回eval()驗證時每一批數(shù)據(jù)的歸一化統(tǒng)計量都不一樣結(jié)果會忽高忽低表現(xiàn)很不穩(wěn)定。這基本是新手報錯榜第一名。第二處是optimizer.zero_grad()的位置。PyTorch 的梯度是默認(rèn)累加的不清零的話每個 batch 的梯度會疊加在一起相當(dāng)于用一個巨大無比的 batch 去更新參數(shù)。正確順序永遠(yuǎn)是zero_grad()→ 前向 → 算 loss →backward()→step()。我自己的肌肉記憶就是這個順序一次都沒錯過。第三處是驗證階段用with torch.no_grad():包起來。不包也能跑但會額外計算一堆根本用不上的計算圖顯存和速度都會受影響。更隱蔽的問題是如果你后面要做模型轉(zhuǎn)換或者推理部署就會發(fā)現(xiàn)這個多余的計算圖會成為各種報錯的源頭養(yǎng)成驗證推理都包no_grad的習(xí)慣后面省很多事。4.3 學(xué)習(xí)率衰減SGD 的勝負(fù)手如果你拿著lr0.1不做衰減直接硬跑 60 個 epoch會發(fā)現(xiàn)前 20 個 epoch 漲得很快后面就卡住了上不去。這不是模型不行是學(xué)習(xí)率太大導(dǎo)致參數(shù)在最優(yōu)解附近來回震蕩、無法收斂到更小的損失盆地。標(biāo)準(zhǔn)做法是步進(jìn)式衰減每過一定 epoch 數(shù)把學(xué)習(xí)率降為原來的十分之一。CIFAR-10 上我習(xí)慣在第 15、25 個 epoch 各衰減一次 0.1 倍scheduler torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones[15, 25], gamma0.1)然后在每個 epoch 結(jié)束時調(diào)用scheduler.step()。注意調(diào)用時機(jī)——PyTorch 的MultiStepLR是在調(diào)用step()時根據(jù)當(dāng)前 epoch 數(shù)決定是否衰減所以通常放在一個 epoch 結(jié)束之后。我盯著訓(xùn)練曲線看的時候有個很直觀的經(jīng)驗學(xué)習(xí)率衰減那一刻模型會有一個明顯的再進(jìn)一步的提升損失和準(zhǔn)確率都突然往好了跳。如果你衰減完了毫無變化通常說明模型早就收斂了衰減不衰減都差不多這時候就應(yīng)該關(guān)注是不是容量不夠的問題了。4.4 Checkpoint 保存怎么存才算專業(yè)很多人訓(xùn)練的時候不存模型等最后跑完才發(fā)現(xiàn)中間某個 epoch 效果最好但沒存下來只能重來。我的習(xí)慣是每輪驗證結(jié)束如果驗證準(zhǔn)確率創(chuàng)了新高就把模型狀態(tài)存成一份best_model.pth。只保存最好的那一個不用把每一輪的都存不然硬盤很快被撐爆。best_acc 0.0 for epoch in range(1, 31): train_one_epoch(epoch) val_loss, val_acc validate(epoch) if val_acc best_acc: best_acc val_acc checkpoint { epoch: epoch, model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), best_acc: best_acc, } torch.save(checkpoint, best_model.pth) print(f保存最佳模型驗證準(zhǔn)確率: {val_acc:.2f}%)注意這里保存的是state_dict()而不是整個model。前者的好處是文件小、跨環(huán)境兼容好、結(jié)構(gòu)清晰。加載的時候先創(chuàng)建模型結(jié)構(gòu)再load_state_dict把權(quán)重填進(jìn)去。而torch.save(model)這種整模型保存方式在版本升級之后很容易加載失敗我踩過這個坑后來再也沒用過。我把 optimizer 的state_dict也一起存了因為真要斷點續(xù)訓(xùn)的話光有模型權(quán)重、沒有優(yōu)化器動量狀態(tài)恢復(fù)出來的訓(xùn)練過程會跟你中斷之前不完全一樣。完整保存才能在某個 epoch 中斷后接著繼續(xù)跑不用從頭開始。5. 常見問題排查與避坑實錄5.1 訓(xùn)練 loss 下不去的系統(tǒng)排查法這恐怕是每個人都會撞見的頭號問題。我總結(jié)了一個從快到慢的排查順序照這個順序走絕大多數(shù)情況幾分鐘就能定位。第一步先看 loss 初值是否符合直覺。10 分類任務(wù)隨機(jī)初始化后交叉熵應(yīng)該在 ln(10) 約等于 2.30 附近。如果你設(shè)置完模型損失直接是 0 或者幾百那大概率是代碼有 bug而不是訓(xùn)練問題。比如標(biāo)簽沒對齊、數(shù)據(jù)預(yù)處理方向錯了這類基礎(chǔ)性錯誤都會在初值這里暴露。第二步確認(rèn)梯度有沒有真的流動起來。挑一批數(shù)據(jù)手動來一次loss.backward()然后打印幾層參數(shù)的gradfor name, param in model.named_parameters(): if param.grad is not None: print(name, param.grad.abs().mean().item())如果發(fā)現(xiàn)某層梯度全是 0要么是這一層的輸入本身就斷了要么是前面的層輸出有問題。常見的元兇包括把ReLU錯裝成ReLU6導(dǎo)致輸出被截斷或者某個forward里寫錯了張量維度。打印梯度這一步基本能鎖定。第三步拿一個極小數(shù)據(jù)集做擬合測試。比如只拿 4 張訓(xùn)練圖片反復(fù)跑如果模型連這 4 張都記不住、loss 死活不降說明網(wǎng)絡(luò)結(jié)構(gòu)或者數(shù)據(jù)鏈路有 bug。反之如果極小數(shù)據(jù)能快速過擬合到 100%說明模型沒問題問題在整體訓(xùn)練設(shè)置上——這時候就該檢查學(xué)習(xí)率、數(shù)據(jù)增強(qiáng)是不是過猛了。5.2 過擬合的三大信號與標(biāo)準(zhǔn)操作圖像分類里過擬合的識別其實很簡單訓(xùn)練準(zhǔn)確率一路爬升接近 100%驗證準(zhǔn)確率卻停滯甚至開始掉頭向下訓(xùn)練 loss 和驗證 loss 的差距越拉越大。CIFAR-10 用小網(wǎng)絡(luò)跑到 90% 訓(xùn)練準(zhǔn)確率還看不出過擬合但如果你的網(wǎng)絡(luò)是 ResNet50 這種大模型訓(xùn)練集幾萬張那過擬合幾乎是必然的。應(yīng)對手段按優(yōu)先級排第一是增強(qiáng)數(shù)據(jù)增強(qiáng)強(qiáng)度隨機(jī)裁剪的 padding 從 4 加到 8再加隨機(jī)旋轉(zhuǎn)或隨機(jī)擦除。第二是調(diào)高weight_decay1e-4 不夠就試 5e-3。第三是加 Dropout對 ResNet 來說其實不需要它本身有 BatchNorm 也有一定的正則效果。第四是換更小的網(wǎng)絡(luò)實在不行再從數(shù)據(jù)規(guī)模上想辦法。有一個很容易混淆的點過擬合和訓(xùn)練完了epoch 不夠經(jīng)常長得很像。前者是訓(xùn)練 loss 低、驗證 loss 高后者是兩個 loss 都很高。前者加大正則后者就單純多訓(xùn)幾個 epoch方向完全相反判斷錯了等于白折騰。5.3 驗證準(zhǔn)確率卡在低位的排查順序如果訓(xùn)練一切正常但驗證集準(zhǔn)確率就是上不去比如 10 分類卡在 30% 甚至 20%先別急著罵模型。我見過最多次的原因是驗證集的 transform 和訓(xùn)練集的差異處理出了問題比如驗證集忘了做ToTensor()導(dǎo)致輸入還是 PIL 格式直接進(jìn)了模型這必炸。第二個常犯的錯誤是model.eval()忘了寫。第三個可能是什么地方把標(biāo)簽順序給打亂了比如用了shuffleTrue的驗證集或者ImageFolder的類別排序和你預(yù)期的不是一回事。再往下排查考慮是不是數(shù)據(jù)增強(qiáng)設(shè)置太強(qiáng)。我有一回做一個小數(shù)據(jù)集分類訓(xùn)練集用了大角度的隨機(jī)旋轉(zhuǎn)加極端顏色擾動結(jié)果模型把增強(qiáng)后的分布學(xué)到了而對原始風(fēng)格的驗證集完全不適應(yīng)。這時候把增強(qiáng)幅度調(diào)回正常水平準(zhǔn)確率立刻恢復(fù)正常。最后一個排查方向是類別不均衡。如果你的數(shù)據(jù)里 90% 都是貓模型全猜貓就有 90% 準(zhǔn)確率你還以為模型很強(qiáng)其實它對狗一無所知。這種情況不要只看整體準(zhǔn)確率要看每個類別的召回率、F1。必要的時候用類別加權(quán)損失或者過采樣。5.4 顯存不足與訓(xùn)練速度異常的實用對策顯存爆掉CUDA OOM是入門階段跑模型最常見的技術(shù)性崩潰。標(biāo)準(zhǔn)做法是減小 batch size,但減到 1 還不夠用就得換思路了。我在比較短的教程里會提t(yī)orch.cuda.empty_cache()但它治標(biāo)不治本。更好的辦法是用torch.backends.cudnn.benchmark True讓 cuDNN 自動選最快的卷積算法提升速度。數(shù)據(jù)加載num_workers加大訓(xùn)練循環(huán)里的 CPU 瓶頸優(yōu)先解決。如果模型實在太大考慮凍結(jié)前面幾層的梯度只訓(xùn)后面的分類頭參數(shù)顯存占用和計算量都會明顯下降。訓(xùn)練速度異常慢還有一種隱蔽原因num_workers0數(shù)據(jù)加載完全串行GPU 大部分時間在空等。我見過有人用默認(rèn)設(shè)置跑 224x224 的 ImageNet 子集GPU 利用率只有 30%把num_workers加到 8 之后利用率直接拉到 90% 以上訓(xùn)練時間縮短了一半還多。5.5 常見問題速查表現(xiàn)象最可能的根源首選排查動作訓(xùn)練 loss 完全不降代碼 bug 或數(shù)據(jù)鏈路斷裂先打印初始 loss再做極小集過擬合測試初始 loss 遠(yuǎn)偏離 2.30標(biāo)簽錯位、預(yù)處理錯誤檢查數(shù)據(jù)集樣本和標(biāo)簽對應(yīng)關(guān)系訓(xùn)練 loss 降驗證不降過擬合或驗證集泄露檢查驗證集是否被增強(qiáng)加大正則準(zhǔn)確率忽高忽低驗證集出現(xiàn)了隨機(jī)增強(qiáng)刪掉驗證 transform 里所有隨機(jī)操作顯存不足batch size 過大減小 batch size 或凍結(jié)部分層梯度訓(xùn)練慢到懷疑人生num_workers 太小調(diào)大 num_workers 并確認(rèn) pin_memory 開啟重啟程序后結(jié)果變樣隨機(jī)種子未固定在開頭固定 seed加載 checkpoint 報錯結(jié)構(gòu)對不上或格式不符只存 state_dict加載時先建模型結(jié)構(gòu)6. 讓模型再進(jìn)一步三條務(wù)實的優(yōu)化路線6.1 數(shù)據(jù)增強(qiáng)加碼自動增強(qiáng)與隨機(jī)擦除如果你跑完上面的基線心里有點數(shù)了最值得花時間的就是數(shù)據(jù)增強(qiáng)加碼。CIFAR-10 上常用的梯度是三段式第一段是 RandomCrop 翻轉(zhuǎn)第二段加 ColorJitter第三段上 RandomErasing 或者 Cutout——隨機(jī)用一塊黑色矩形遮住圖中某個區(qū)域強(qiáng)迫模型不能只依賴局部特征做判斷這個思路非常實用。# 在已有的增強(qiáng)鏈末尾追加 train_transform.transforms.append( transforms.RandomErasing(p0.5, scale(0.02, 0.2), ratio(0.3, 3.3)) )隨機(jī)擦除的本質(zhì)是正則化它逼著模型去利用全局信息而不是偷懶抓某一個局部特征下結(jié)論。我自己的實測里CIFAR-10 加上它一般能再漲 1 到 2 個點代價是訓(xùn)練時間稍微長一點收益完全值得。6.2 遷移學(xué)習(xí)用預(yù)訓(xùn)練權(quán)重就是降維打擊如果不想在這份小數(shù)據(jù)集上默默煉丹遷移學(xué)習(xí)是一條公認(rèn)的捷徑。用在 ImageNet 上預(yù)訓(xùn)練好的 ResNet18 權(quán)重只不過 ImageNet 是 1000 分類最后的分層頭是 1000 維換成 CIFAR-10 時把最后一層換成 10 維輸出即可model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) num_features model.fc.in_features model.fc nn.Linear(num_features, 10)這里要注意用預(yù)訓(xùn)練模型時輸入圖上采樣到 224x224 才符合它原來的輸入分布你要把Resize((224, 224))加到 transform 里。訓(xùn)練策略上也跟從頭訓(xùn)不一樣先用一個比較小的學(xué)習(xí)率比如 0.001把新加的最后一層訓(xùn)幾個 epoch 預(yù)熱然后可以放寬到全部層。前面的卷積層特征已經(jīng)足夠通用微調(diào)幅度不用太大不然容易災(zāi)難性遺忘。遷移學(xué)習(xí)真正的威力體現(xiàn)在小數(shù)據(jù)集上——幾百張到幾千張的數(shù)據(jù)從頭訓(xùn)一個網(wǎng)絡(luò)幾乎必過擬合但用預(yù)訓(xùn)練模型微調(diào)往往能直接到 80% 以上。6.3 測試期增強(qiáng)與模型集成的小技巧最后分享兩個實驗階段很好用的提分手段成本低、直接有效。測試期增強(qiáng)TTA的思路是推理的時候不只看原圖一次而是把圖做若干次輕微變換比如隨機(jī)裁剪、翻轉(zhuǎn)然后把所有輸出的概率取平均再取 argmax。這個思路能平滑掉單次預(yù)測的偶然性。CIFAR-10 上實測可以穩(wěn)定漲 0.5 到 1 個點。def predict_tta(model, image, transforms_list, device): probs [] with torch.no_grad(): for t in transforms_list: img_tensor t(image).unsqueeze(0).to(device) output torch.softmax(model(img_tensor), dim1) probs.append(output) avg_probs torch.mean(torch.cat(probs, dim0), dim0) return avg_probs.argmax().item()模型集成就更簡單粗暴了訓(xùn)練兩個不同初始化和增強(qiáng)配置的模型推理時把概率平均。兩個模型都能到 90% 左右集成一下往往能再漲 1 到 2 個點。代價是訓(xùn)練時間翻倍、推理時間翻倍競賽里很實用工程上則要看業(yè)務(wù)能不能接受這個延遲。到這里一條完整的圖像分類流水線你已經(jīng)親手走通了。我個人在實際帶項目的過程里最深的一點體會是圖像分類看起來就這點東西但數(shù)據(jù)、模型、訓(xùn)練、評估四個環(huán)節(jié)沒有一個是能糊弄過去的——每個環(huán)節(jié)的錯誤都會以各種詭異的面貌出現(xiàn)在結(jié)果里。如果你跑通了這份代碼不妨再自己動手做一次實驗把數(shù)據(jù)增強(qiáng)刪掉跑一輪、把學(xué)習(xí)率衰減去掉跑一輪、把 batch size 改成 16 跑一輪親眼看曲線變化。這個過程比看十篇教程都有用。等你真正理解了這些超參數(shù)在曲線上的投影再去看檢測、分割那些復(fù)雜模型會發(fā)現(xiàn)自己已經(jīng)能讀懂它們在做什么了。