習(xí)從入門到實戰(zhàn)：環(huán)境配置、圖像分類與模型部署)
Python深度學(xué)習(xí)這兩年幾乎成了算法崗位的基礎(chǔ)技能網(wǎng)上資料多到爆炸視頻教程、開源項目、付費課程一抓一大把。但我在實際帶人的過程中發(fā)現(xiàn)一個挺普遍的問題很多人跟著教程能跑通代碼一換數(shù)據(jù)集、一換場景就懵了模型能訓(xùn)練但不知道該改哪里報錯看得懂英文卻看不懂含義。這份“從入門到實戰(zhàn)”的內(nèi)容就是想幫還在對著屏幕發(fā)愣的朋友跨過“能跑”和“會用”之間那道坎。不管你是剛看完理論準(zhǔn)備動手的學(xué)生還是工作里需要用Python做圖像分類、文本處理、預(yù)測分析的工程師這篇內(nèi)容都值得花十幾分鐘過一遍。我不打算堆砌概念而是直接按照“環(huán)境準(zhǔn)備 → 手寫基礎(chǔ)網(wǎng)絡(luò) → 完成一個真實圖像分類項目 → 調(diào)參優(yōu)化 → 模型落地”的順序來拆解。過程中會穿插我在真實項目里踩過的坑、驗證過的參數(shù)經(jīng)驗以及那些文檔里不會明說的細(xì)節(jié)。1. 別急著跑模型先把環(huán)境和數(shù)據(jù)流程搞利索大多數(shù)入門者第一件事就是裝框架然后照著教程敲幾行代碼看著loss下降就覺得自己會了。但一遇到“訓(xùn)練到一半顯存爆炸”“讀入圖片尺寸不對”“版本更新后API變了”這類問題就完全束手無策。我建議在寫第一行模型代碼之前先花時間把環(huán)境和工作流理順這比任何算法技巧都重要。1.1 版本匹配比你想象的更關(guān)鍵深度學(xué)習(xí)框架對版本很敏感尤其是Python版本、框架版本、CUDA版本的組合。很多同學(xué)裝的是最新的框架結(jié)果發(fā)現(xiàn)某篇優(yōu)秀源碼是半年多前寫的用了一些舊API程序跑不起來第一反應(yīng)是代碼錯了其實只是接口變了。一個穩(wěn)妥的搭配是Python 3.9或者3.10配一個相對穩(wěn)定的大版本比如在實踐中大量使用的2.x版本而不是追求最新的預(yù)發(fā)布版本。這么做有兩個原因一是大多數(shù)開源項目都會被大版本兼容覆蓋你搜報錯信息時更容易找到匹配的答案二是一些第三方工具比如某些數(shù)據(jù)增強(qiáng)庫、可視化工具在大版本上驗證更充分不會突然不兼容。如果你用的是有圖形界面的操作系統(tǒng)CUDA方面我的經(jīng)驗是先看顯卡驅(qū)動支持的CUDA版本再裝對應(yīng)的計算工具包不要反過來。裝反了通常表現(xiàn)為“框架能導(dǎo)入但GPU調(diào)用報錯”這類非常磨人的問題。1.2 用一套固定的目錄結(jié)構(gòu)管理項目這是我從一個老工程師那兒學(xué)來的習(xí)慣現(xiàn)在每次開新項目都照做。一個最小可用的深度學(xué)習(xí)項目建議這樣組織project/ ├── data/ # 原始數(shù)據(jù)集 預(yù)處理腳本 ├── models/ # 模型定義文件 ├── utils/ # 通用工具函數(shù) ├── configs/ # 配置文件參數(shù)集中管理 ├── logs/ # 訓(xùn)練日志和曲線 └── checkpoints/ # 模型權(quán)重保存這種做法最大的好處是你的每個項目都長一個樣換項目時不用重新適應(yīng)。更重要的是后續(xù)你想回頭復(fù)用幾個月前的代碼時“模型定義在哪”“超參數(shù)在哪改”一目了然。我見過太多人把代碼全部堆在一個notebook里訓(xùn)練到一半重新打開連自己用了什么學(xué)習(xí)率都不記得。1.3 數(shù)據(jù)讀取的坑別再用循環(huán)一張張讀了很多初學(xué)者讀圖片是一個循環(huán)里用圖像庫一張張讀取、處理、再進(jìn)模型。數(shù)據(jù)集小的時候看不出問題一旦到了幾萬張圖訓(xùn)練速度會慢到你以為是模型結(jié)構(gòu)有問題。實際瓶頸很可能在數(shù)據(jù)讀取。正確思路是用框架自帶的Dataset和DataLoader機(jī)制配合多進(jìn)程預(yù)讀取。這里的關(guān)鍵參數(shù)是num_workers它代表用幾個子進(jìn)程幫你準(zhǔn)備數(shù)據(jù)。它不是越大越好——我測試過一個8核機(jī)器上面跑圖像分類num_workers從0調(diào)到4訓(xùn)練速度提升了近3倍從4調(diào)到8反而略有下降因為進(jìn)程調(diào)度和內(nèi)存拷貝的開銷超過了收益。另外要養(yǎng)成的好習(xí)慣是先做一個小批量數(shù)據(jù)的跑通測試。也就是只取幾百條數(shù)據(jù)把整個訓(xùn)練流程跑一遍確認(rèn)沒問題了再上全量數(shù)據(jù)。這能幫你把“代碼有問題”和“代碼沒問題但訓(xùn)練慢”區(qū)分開排查效率翻倍。2. 手寫一個兩層網(wǎng)絡(luò)先搞懂訓(xùn)練循環(huán)的每一步在干什么我第一次接觸深度學(xué)習(xí)框架時很容易產(chǎn)生一種錯覺調(diào)用框架的方法構(gòu)建模型調(diào)用框架的方法開始訓(xùn)練像魔法一樣出結(jié)果。直到有一天我需要自定義一個損失函數(shù)才發(fā)現(xiàn)自己對訓(xùn)練過程的理解其實是很模糊的。所以在這一節(jié)我想帶著你用最基礎(chǔ)的方式實現(xiàn)一個兩層全連接網(wǎng)絡(luò)目的是把訓(xùn)練循環(huán)的每個環(huán)節(jié)看個透徹。2.1 數(shù)據(jù)準(zhǔn)備問題是分類還是回歸假設(shè)我們現(xiàn)在要做的是一個二分類任務(wù)給一組二維坐標(biāo)點判斷它屬于紅色類別還是藍(lán)色類別。我們不用現(xiàn)成的經(jīng)典數(shù)據(jù)集而是自己生成一些數(shù)據(jù)方便觀察模型的決策邊界。import numpy as np def create_sample_data(n_samples2000, noise0.1): # 生成兩類數(shù)據(jù)中心分別在 (1,1) 和 (-1,-1) class1 np.random.randn(n_samples, 2) np.array([1.0, 1.0]) class2 np.random.randn(n_samples, 2) np.array([-1.0, -1.0]) features np.vstack([class1, class2]).astype(np.float32) labels np.hstack([np.zeros(n_samples), np.ones(n_samples)]).astype(np.int64) # 加入噪聲讓任務(wù)不是線性可分得那么完美 features noise * np.random.randn(*features.shape) return features, labels這里有個細(xì)節(jié)值得注意數(shù)組類型要用float32而不是默認(rèn)的float64。深度學(xué)習(xí)框架內(nèi)部大量計算默認(rèn)基于32位浮點你輸入64位浮點數(shù)組輕則收到類型不匹配警告重則直接報錯。養(yǎng)成習(xí)慣生成數(shù)據(jù)時就轉(zhuǎn)好類型省得后面到處調(diào)。2.2 網(wǎng)絡(luò)構(gòu)建手寫還是用高層API我們的目的是理解流程所以不急著用現(xiàn)成封裝好的全連接層而是自己定義一個簡單的兩層網(wǎng)絡(luò)import torch import torch.nn as nn class TwoLayerNet(nn.Module): def __init__(self, input_dim2, hidden_dim16, output_dim2): super(TwoLayerNet, self).__init__() # 第一層輸入維度 - 隱藏維度 self.fc1 nn.Linear(input_dim, hidden_dim) # 激活函數(shù)給網(wǎng)絡(luò)引入非線性能力 self.act nn.ReLU() # 第二層隱藏維度 - 輸出維度 self.fc2 nn.Linear(hidden_dim, output_dim) def forward(self, x): x self.fc1(x) x self.act(x) x self.fc2(x) return x這里output_dim2是因為我們要做二分類輸出兩個值分別代表“屬于類別0”和“屬于類別1”的得分后面通過Softmax換算成概率。隱藏維度hidden_dim隨便定一般取16、32、64這樣的值實踐中為了這個例子夠用就可以。有人會問為什么激活函數(shù)放在兩個線性層之間因為如果沒有激活函數(shù)兩層線性變換疊在一起還是線性變換那和一層沒有本質(zhì)區(qū)別。激活函數(shù)引入了非線性模型才有能力擬合復(fù)雜的決策邊界。2.3 訓(xùn)練循環(huán)一個完整batch要經(jīng)過哪些環(huán)節(jié)核心的訓(xùn)練循環(huán)長下面這樣我用注釋寫清每段代碼的含義import torch.nn.functional as F def train_one_epoch(model, x, y, optimizer): # 1. 前向傳播 logits model(x) # 2. 計算損失 loss F.cross_entropy(logits, y) # 3. 梯度清零 optimizer.zero_grad() # 4. 反向傳播 loss.backward() # 5. 更新參數(shù) optimizer.step() return loss.item()在你看著這段代碼發(fā)呆之前我先解釋一下幾個看起來奇怪的操作。optimizer.zero_grad()每次我們計算梯度框架會把梯度累積到每個參數(shù)的grad屬性里。如果你不清零上一次batch算出的梯度會疊加到這一次上面參數(shù)更新方向就會被污染。順序上一定在backward()之前清零。loss.backward()這是反向傳播框架自動計算每個參數(shù)對損失的梯度。你不需要手寫鏈?zhǔn)椒▌t但你要知道梯度是在這一步被算出來的。optimizer.step()拿到梯度之后優(yōu)化器負(fù)責(zé)按照某種規(guī)則更新參數(shù)。比如最樸素的隨機(jī)梯度下降就是param param - lr * grad。學(xué)習(xí)率lr乘在梯度前面控制步長。完整的訓(xùn)練循環(huán)還要涉及劃分訓(xùn)練集和測試集、打亂數(shù)據(jù)順序、分批訓(xùn)練。下面這段代碼把這些都串起來了from torch.utils.data import TensorDataset, DataLoader features, labels create_sample_data() # 按 8:2 劃分訓(xùn)練和驗證集 split_idx int(len(features) * 0.8) train_x, val_x features[:split_idx], features[split_idx:] train_y, val_y labels[:split_idx], labels[split_idx:] train_dataset TensorDataset(torch.from_numpy(train_x), torch.from_numpy(train_y)) val_dataset TensorDataset(torch.from_numpy(val_x), torch.from_numpy(val_y)) # 開 4 個子進(jìn)程準(zhǔn)備數(shù)據(jù) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers4) val_loader DataLoader(val_dataset, batch_size64, shuffleFalse, num_workers4) model TwoLayerNet() # 常見的優(yōu)化器選擇Adam 是入門階段最省心的 optimizer torch.optim.Adam(model.parameters(), lr0.001) for epoch in range(30): model.train() # 切換到訓(xùn)練模式 total_loss 0.0 for x_batch, y_batch in train_loader: loss_value train_one_epoch(model, x_batch, y_batch, optimizer) total_loss loss_value avg_loss total_loss / len(train_loader) # 每輪結(jié)束在驗證集上看效果 model.eval() # 切換到評估模式 correct 0 total 0 with torch.no_grad(): # 評估時不需要計算梯度 for x_batch, y_batch in val_loader: pred model(x_batch).argmax(dim1) correct (pred y_batch).sum().item() total y_batch.size(0) accuracy correct / total print(fEpoch {epoch1:02d} | Loss: {avg_loss:.4f} | Val Acc: {accuracy:.4f})這段代碼里有兩個容易被忽視的實際問題。一個是model.train()和model.eval()某些層如Dropout、BatchNorm在不同模式下行為不一樣訓(xùn)練時和評估時要有區(qū)分。雖然這次的小網(wǎng)絡(luò)沒用到這類層但養(yǎng)成這個習(xí)慣很重要將來換復(fù)雜模型就不容易出錯。另一個是torch.no_grad()評估的時候我們不反向傳播自然也不需要記錄計算圖上的梯度信息。用這個上下文管理器能省下大量內(nèi)存長訓(xùn)練的驗證階段特別有用。我第一次完整手動寫完這個循環(huán)時才真正理解了“梯度清零”“前向”“反向”這些詞在代碼里到底對應(yīng)哪個操作。之后使用高級工具時心里就踏實多了。3. 圖像分類實戰(zhàn)數(shù)據(jù)、模型、訓(xùn)練三件套怎么搭才不翻車過了手寫網(wǎng)絡(luò)這一關(guān)接下來就可以做一個有實際意義的項目了圖像分類。這是深度學(xué)習(xí)最典型的應(yīng)用場景各種基礎(chǔ)概念都能在實踐里對應(yīng)上。3.1 選一個不用折騰的數(shù)據(jù)集做入門實戰(zhàn)沒必要一上來就用那種幾十G的大數(shù)據(jù)集找一個小而經(jīng)典的數(shù)據(jù)集練手就夠了。我常用的是一個包含多種類別的小規(guī)模圖像數(shù)據(jù)集圖片尺寸小而規(guī)整類別是日常物品對初學(xué)者非常友好。這類數(shù)據(jù)集往往可以通過框架的下載接口直接獲取。但需要注意國內(nèi)網(wǎng)絡(luò)環(huán)境下直接從官方源下載有時候會非常慢或者中斷。我的做法是找到下載地址后用下載工具先把壓縮包拉下來再放到指定的數(shù)據(jù)目錄里讓框架直接讀取本地文件。這個過程能幫你節(jié)省半小時的無意義等待。3.2 數(shù)據(jù)預(yù)處理你動圖片的方式?jīng)Q定了訓(xùn)練效果圖像數(shù)據(jù)不能直接喂給模型原始圖片的尺寸、像素范圍、格式都需要統(tǒng)一。這一環(huán)節(jié)最常見的坑是訓(xùn)練集和驗證集用了不同的預(yù)處理流程。比如訓(xùn)練時你做了隨機(jī)裁剪、隨機(jī)翻轉(zhuǎn)等增強(qiáng)操作驗證時也做了同樣的隨機(jī)操作那驗證結(jié)果就被污染了。正確的做法是訓(xùn)練集用帶隨機(jī)性的預(yù)處理驗證集只做固定操作比如縮放、歸一化保證評估結(jié)果穩(wěn)定、可復(fù)現(xiàn)。標(biāo)準(zhǔn)的數(shù)據(jù)變換常這樣寫from torchvision import transforms # 訓(xùn)練階段包括隨機(jī)增強(qiáng) train_transform transforms.Compose([ transforms.Resize((224, 224)), transforms.RandomHorizontalFlip(), # 水平隨機(jī)翻轉(zhuǎn) transforms.RandomRotation(15), # 小角度旋轉(zhuǎn) transforms.ToTensor(), # 轉(zhuǎn)為 Tensor 并縮放到 [0,1] transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) # 驗證階段不做隨機(jī)操作 val_transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ])Normalize用的平均值和標(biāo)準(zhǔn)差是圖像領(lǐng)域常見的一套統(tǒng)計值不是隨便拍的。如果你的數(shù)據(jù)集不是自然圖像建議重新統(tǒng)計自己數(shù)據(jù)的均值和標(biāo)準(zhǔn)差。否則圖像分布被拉到奇怪的地方模型會比較難收斂。3.3 模型選型原則不是越深越復(fù)雜就越好圖像分類的模型選擇是一個糾結(jié)點?，F(xiàn)在的預(yù)訓(xùn)練模型很多深度從十幾層到幾百層都有。我的建議分情況數(shù)據(jù)量小每類幾百張直接使用預(yù)訓(xùn)練模型做遷移學(xué)習(xí)凍結(jié)前部分層只訓(xùn)練最后幾層或者只訓(xùn)練全連接分類頭。數(shù)據(jù)量中等可以微調(diào)更多層用較小的學(xué)習(xí)率。數(shù)據(jù)量很大從頭訓(xùn)練也不是不行但訓(xùn)練成本得想清楚。自己在Google Colab或者本地單卡上跑實驗時我的常用組合是先加載一個預(yù)訓(xùn)練網(wǎng)絡(luò)比如常見的ResNet架構(gòu)替換掉最后的全連接層輸出改為自己的類別數(shù)。加載時設(shè)置pretrainedTrue就拿到了在大型數(shù)據(jù)集上訓(xùn)練好的權(quán)重。這些權(quán)重捕捉了大量通用視覺特征邊緣、紋理、形狀遷移到你的小數(shù)據(jù)集上時效果比隨機(jī)初始化好得多收斂速度也更快。用框架實現(xiàn)遷移學(xué)習(xí)的核心就兩步import torchvision.models as models # 加載預(yù)訓(xùn)練權(quán)重 model models.resnet18(pretrainedTrue) # 替換最后一層讓輸出維度匹配我們的類別數(shù) num_classes 10 in_features model.fc.in_features model.fc nn.Linear(in_features, num_classes)這里的model.fc就是ResNet最后的全連接層。不同模型的分類頭名字不一樣有些叫classifier有些叫head查看官方文檔或者打印模型結(jié)構(gòu)就能確認(rèn)。3.4 訓(xùn)練圖像模型最容易翻車的地方圖像分類項目的訓(xùn)練過程和三件套里說的循環(huán)框架一致但有幾個細(xì)節(jié)我在實踐中反復(fù)踩坑值得單獨說一說。一個是學(xué)習(xí)率。遷移學(xué)習(xí)場景下預(yù)訓(xùn)練層的學(xué)習(xí)率要低新加的分類頭學(xué)習(xí)率可以稍高。如果統(tǒng)一用默認(rèn)的0.001經(jīng)常會出現(xiàn)預(yù)訓(xùn)練特征被破壞或者分類頭還沒學(xué)好的情況。我習(xí)慣構(gòu)造參數(shù)組時讓不同部分走不同學(xué)習(xí)率雖然代碼多寫幾行但效果穩(wěn)定很多。另一個是過擬合和欠擬合的判斷。訓(xùn)練loss下降但驗證loss上升幾乎可以確定是過擬合這時候考慮增強(qiáng)、Dropout、減小模型容量。驗證loss和訓(xùn)練loss都很高是欠擬合先別看正則化把訓(xùn)練輪數(shù)加長或者加大模型容量。還有一個是Loss不下降時的排查順序。不少人一看到loss不動就開始調(diào)學(xué)習(xí)率、換優(yōu)化器折騰半天發(fā)現(xiàn)是數(shù)據(jù)標(biāo)簽對錯了。我的排查順序是先檢查數(shù)據(jù)流隨機(jī)取一批圖片打印標(biāo)簽和圖片尺寸再檢查維度手動跑一次前向最后才考慮調(diào)參。數(shù)據(jù)錯了后面一切優(yōu)化都是空中樓閣。4. 提升模型效果的三把鑰匙學(xué)習(xí)率策略、正則化、數(shù)據(jù)增強(qiáng)模型能跑通只是起點要讓它在測試集上表現(xiàn)出色需要掌握幾把常用的鑰匙。這一節(jié)把它們一個一個說透也把我實際調(diào)參時的經(jīng)驗放進(jìn)去。4.1 學(xué)習(xí)率最值得花時間研究的超參數(shù)學(xué)習(xí)率是深度學(xué)習(xí)里最重要的超參數(shù)這一點怎么說都不過分。太大loss震蕩不收斂太小收斂慢到讓人懷疑人生。入門時無腦用0.001配Adam問題不大但當(dāng)你發(fā)現(xiàn)訓(xùn)練后期loss難以繼續(xù)下降時就該考慮學(xué)習(xí)率調(diào)整策略了。一個實用的做法是使用學(xué)習(xí)率調(diào)度器在訓(xùn)練過程中讓學(xué)習(xí)率按輪數(shù)衰減。from torch.optim.lr_scheduler import ReduceLROnPlateau # 當(dāng)驗證loss連續(xù)N個epoch沒有下降時學(xué)習(xí)率乘以 factor scheduler ReduceLROnPlateau(optimizer, modemin, factor0.5, patience3) # 每個 epoch 結(jié)束后調(diào)用 scheduler.step(val_loss)觀察了一段時間之后我發(fā)現(xiàn)這個調(diào)度器在真實項目里非常實用。patience設(shè)3的意思是驗證loss連續(xù)3輪沒有改善就把學(xué)習(xí)率砍一半給模型一個“小步慢走”的機(jī)會去翻越loss曲面上的小溝壑比固定衰減更貼合實際訓(xùn)練情況。另一種常見的是一段式衰減策略訓(xùn)練輪數(shù)到達(dá)某個比例之后學(xué)習(xí)率直接降一個量級。這種方式在進(jìn)階比賽中特別常見比如前70%輪用0.001后30%輪用0.0001。原因在于訓(xùn)練初期模型需要大步探索后期則在最優(yōu)解附近精細(xì)打磨步子太大反而容易跳過好位置。4.2 正則化不是所有任務(wù)都該上重量級手段正則化的作用是抑制過擬合但很多人一上來就在模型里堆Dropout和權(quán)重衰減結(jié)果模型欠擬合了。正則化強(qiáng)度要和模型容量、數(shù)據(jù)規(guī)模匹配。# 在優(yōu)化器里設(shè)置權(quán)重衰減 optimizer torch.optim.SGD(model.parameters(), lr0.01, weight_decay0.0005) # 在模型里加入 Dropout 層 self.dropout nn.Dropout(p0.5)weight_decay就是我們常說的L2正則化它給大的參數(shù)額外加懲罰迫使權(quán)重不要過大。遷移學(xué)習(xí)模式下我通常給新加的分類頭開一點權(quán)重衰減但預(yù)訓(xùn)練部分保持較小值或者不動這樣可以在保留預(yù)訓(xùn)練特征的同時降低分類頭過擬合風(fēng)險。Dropout是在訓(xùn)練時隨機(jī)丟棄一部分神經(jīng)元輸出讓網(wǎng)絡(luò)不能過度依賴某幾個節(jié)點。注意它的行為也是分訓(xùn)練和評估的訓(xùn)練時隨機(jī)丟評估時全部保留但按概率縮放。p0.5是常見默認(rèn)不是所有層都適合這個值。我在小網(wǎng)絡(luò)上用過p0.3效果更好這個值得自己試。4.3 數(shù)據(jù)增強(qiáng)不要為了增強(qiáng)而增強(qiáng)數(shù)據(jù)增強(qiáng)相當(dāng)于“免費”擴(kuò)大訓(xùn)練集。圖像領(lǐng)域最常用的是隨機(jī)翻轉(zhuǎn)、隨機(jī)裁剪、色彩抖動。但這里有個隱藏的坑增強(qiáng)方式必須符合你的部署場景。如果你要識別的是衛(wèi)星圖像里的建筑物水平翻轉(zhuǎn)沒問題但如果你要識別的是數(shù)字7翻轉(zhuǎn)后可能像別的符號那翻轉(zhuǎn)就不合適。如果圖片里物體方向有語義含義比如區(qū)分前后旋轉(zhuǎn)增強(qiáng)也可能幫倒忙。經(jīng)驗法則是先列出一個測試集里面包括一些你希望模型在真實場景中正確處理的樣本然后去檢查每種增強(qiáng)方式是否可能讓原本“正?！钡膱D像變成現(xiàn)實中很少出現(xiàn)的形態(tài)。如果會就不要用。4.4 訓(xùn)練曲線怎么看一套簡單的判斷流程我習(xí)慣把訓(xùn)練過程里的訓(xùn)練loss、驗證loss、學(xué)習(xí)率三條曲線畫在一張圖里。判斷模型狀態(tài)有一套比較固化的流程訓(xùn)練loss高、驗證loss高模型容量不夠或?qū)W習(xí)率太小先加大訓(xùn)練輪數(shù)或調(diào)大學(xué)習(xí)率。訓(xùn)練loss低、驗證loss高過擬合。先上數(shù)據(jù)增強(qiáng)再上Dropout最后考慮權(quán)重衰減。訓(xùn)練loss和驗證loss都震蕩學(xué)習(xí)率偏大或者batch size太小導(dǎo)致梯度噪聲大優(yōu)先調(diào)小學(xué)習(xí)率。驗證loss曲線突然上升可能學(xué)習(xí)率調(diào)度觸發(fā)了過早的衰減或者訓(xùn)練數(shù)據(jù)里有臟數(shù)據(jù)檢查那一輪的訓(xùn)練樣本。這套判斷流程在我自己調(diào)參的幾年里反復(fù)使用準(zhǔn)確率高也省時間。它不能幫你自動找到最優(yōu)參數(shù)但能幫你快速定位問題方向避免瞎試。5. 模型部署與跨環(huán)境運行的實戰(zhàn)經(jīng)驗總結(jié)訓(xùn)練出來一個精度不錯的模型只是項目的一半。模型要真正發(fā)揮作用必須能部署到目標(biāo)環(huán)境。這一節(jié)聊聊從訓(xùn)練到部署之間的常見問題和我積累的應(yīng)對經(jīng)驗。5.1 兩種保存模型的方式別把架構(gòu)和權(quán)重搞混保存模型有兩種常見方式一種是把整個模型對象都存下來另一種是只存權(quán)重參數(shù)。我強(qiáng)烈推薦只存權(quán)重參數(shù)理由有兩個一是文件體積小二是兼容性好——模型結(jié)構(gòu)如果更新了權(quán)重文件也能配合新代碼加載。保存權(quán)重的寫法# 保存 torch.save(model.state_dict(), checkpoints/model_best.pth) # 加載前提是你定義了和原來一模一樣的模型結(jié)構(gòu) model build_model(num_classes10) model.load_state_dict(torch.load(checkpoints/model_best.pth, map_locationcpu)) model.eval()這里有個很細(xì)節(jié)但很重要的點加載后記得調(diào)用model.eval()。如果你忘了那些訓(xùn)練時行為不同的層比如Dropout還會保持在訓(xùn)練模式部署時預(yù)測結(jié)果會帶隨機(jī)性同一個輸入兩次預(yù)測可能得到不同結(jié)果。這個問題在模型上線時非常難排查我見過有人因此懷疑數(shù)據(jù)出問題。5.2 模型導(dǎo)出的格式與推理優(yōu)化如果你要把模型放到服務(wù)里跑或者嵌入到客戶端應(yīng)用里純Python環(huán)境通常不是最優(yōu)選擇。常見的做法是把模型導(dǎo)出為一種與訓(xùn)練框架解耦的推理格式這樣部署時不需要安裝整套深度學(xué)習(xí)框架也能獲得更好的推理性能。以圖像分類為例導(dǎo)出流程大致如下將模型切到評估模式構(gòu)造一個示例輸入尺寸和真實輸入一致導(dǎo)出為開放神經(jīng)網(wǎng)絡(luò)交換格式即ONNX用專門的推理引擎如ONNX Runtime加載并推理import torch # 示例輸入與訓(xùn)練時的輸入尺寸一致 dummy_input torch.randn(1, 3, 224, 224) # 導(dǎo)出為 ONNX torch.onnx.export( model, dummy_input, model.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}, output: {0: batch_size}}, )dynamic_axes指的是允許batch維度可變這樣部署時一次推理1張圖、8張圖都可以不用重新導(dǎo)出。這個參數(shù)在實際服務(wù)場景里很實用因為請求流量不可能是恒定批量。用推理引擎做加速的核心是把模型的計算圖優(yōu)化一遍合并算子、減少不必要的重計算。同一個模型在推理引擎上跑速度往往比原始Python環(huán)境快不少尤其在CPU上的提升更明顯這對沒有GPU的部署環(huán)境是很大的優(yōu)勢。5.3 跨版本加載權(quán)重的痛苦回憶我之前接過一個老項目對方發(fā)過來一個權(quán)重文件告訴我“模型是在舊版本框架下訓(xùn)練的”。我當(dāng)時沒留意直接在新版本環(huán)境里加載結(jié)果報錯說權(quán)重鍵不匹配。查了半天才發(fā)現(xiàn)舊版本里某一層的命名是features.12.dense_attention之類新版本里改成了encoder.layer.12.attention權(quán)重文件里key對不上。這類問題的解決思路有三種一是找到和你原來訓(xùn)練版本完全一致的框架環(huán)境加載權(quán)重后重新導(dǎo)出二是寫一個鍵名映射腳本手動把新舊key對應(yīng)起來三是如果權(quán)重數(shù)量級不大直接用腳本修改權(quán)重文件里的鍵名。最后一種方法處理大量模型時不推薦但小模型很實用。為了避免這種麻煩我現(xiàn)在每次訓(xùn)練任務(wù)都會建立一個環(huán)境配置文件把框架版本、Python版本、依賴庫版本都固定下來。項目結(jié)束還會生成一個完整的依賴鎖定文件方便以后復(fù)現(xiàn)。這樣做在別人接手的時候價值更大——省去了對方大半天的排查時間。5.4 實際部署里容易忽略的邊界情況訓(xùn)練時你的數(shù)據(jù)集都是規(guī)整的、經(jīng)過預(yù)處理的但真實場景往往不這樣。部署時我吃過幾個虧分享出來提醒你注意。輸入尺寸不一致訓(xùn)練時Resize((224, 224))是固定尺寸但真實圖片可能是800x600如果你忘了在推理管線里做同樣的縮放模型可能直接報維度錯誤或者輸出垃圾預(yù)測。像素范圍不一致訓(xùn)練時轉(zhuǎn)成張量后像素范圍是0到1再Normalize。推理時如果直接用0到255的原始圖喂進(jìn)去效果會差很多。這類問題測試集上往往發(fā)現(xiàn)不了因為測試集已經(jīng)跟著訓(xùn)練預(yù)處理做了只有線上才會有用戶把原始圖直接傳上來。類別編號混亂訓(xùn)練時的類別順序是這樣的但部署時另一個人的映射表卻是那樣的預(yù)測結(jié)果就全是錯的。我在項目里固定用一個配置文件維護(hù)類別映射任何環(huán)節(jié)都從這里讀避免手寫出錯。我在實際工作中吃過這些虧之后得出的經(jīng)驗是模型部署的最佳實踐是對著訓(xùn)練數(shù)據(jù)預(yù)處理代碼把每一步都一個一個復(fù)現(xiàn)到推理流程里少一步都不行。寧可把代碼寫得啰嗦一點也不要用“我記得當(dāng)時大概這么處理的”這種心態(tài)上線。如果你打算把模型接到一個在線服務(wù)里還需要考慮推理延遲、并發(fā)請求處理、異常輸入過濾等工程問題。這些內(nèi)容單開一篇都說不完但基礎(chǔ)前提是你手上的模型本身能穩(wěn)定輸出正確結(jié)果——希望這篇內(nèi)容能幫你先把這一步走扎實。 Python深度學(xué)習(xí)從入門到實戰(zhàn)：環(huán)境配置、圖像分類與模型部署
Python深度學(xué)習(xí)這兩年幾乎成了算法崗位的基礎(chǔ)技能網(wǎng)上資料多到爆炸視頻教程、開源項目、付費課程一抓一大把。但我在實際帶人的過程中發(fā)現(xiàn)一個挺普遍的問題很多人跟著教程能跑通代碼一換數(shù)據(jù)集、一換場景就懵了模型能訓(xùn)練但不知道該改哪里報錯看得懂英文卻看不懂含義。這份“從入門到實戰(zhàn)”的內(nèi)容就是想幫還在對著屏幕發(fā)愣的朋友跨過“能跑”和“會用”之間那道坎。不管你是剛看完理論準(zhǔn)備動手的學(xué)生還是工作里需要用Python做圖像分類、文本處理、預(yù)測分析的工程師這篇內(nèi)容都值得花十幾分鐘過一遍。我不打算堆砌概念而是直接按照“環(huán)境準(zhǔn)備 → 手寫基礎(chǔ)網(wǎng)絡(luò) → 完成一個真實圖像分類項目 → 調(diào)參優(yōu)化 → 模型落地”的順序來拆解。過程中會穿插我在真實項目里踩過的坑、驗證過的參數(shù)經(jīng)驗以及那些文檔里不會明說的細(xì)節(jié)。1. 別急著跑模型先把環(huán)境和數(shù)據(jù)流程搞利索大多數(shù)入門者第一件事就是裝框架然后照著教程敲幾行代碼看著loss下降就覺得自己會了。但一遇到“訓(xùn)練到一半顯存爆炸”“讀入圖片尺寸不對”“版本更新后API變了”這類問題就完全束手無策。我建議在寫第一行模型代碼之前先花時間把環(huán)境和工作流理順這比任何算法技巧都重要。1.1 版本匹配比你想象的更關(guān)鍵深度學(xué)習(xí)框架對版本很敏感尤其是Python版本、框架版本、CUDA版本的組合。很多同學(xué)裝的是最新的框架結(jié)果發(fā)現(xiàn)某篇優(yōu)秀源碼是半年多前寫的用了一些舊API程序跑不起來第一反應(yīng)是代碼錯了其實只是接口變了。一個穩(wěn)妥的搭配是Python 3.9或者3.10配一個相對穩(wěn)定的大版本比如在實踐中大量使用的2.x版本而不是追求最新的預(yù)發(fā)布版本。這么做有兩個原因一是大多數(shù)開源項目都會被大版本兼容覆蓋你搜報錯信息時更容易找到匹配的答案二是一些第三方工具比如某些數(shù)據(jù)增強(qiáng)庫、可視化工具在大版本上驗證更充分不會突然不兼容。如果你用的是有圖形界面的操作系統(tǒng)CUDA方面我的經(jīng)驗是先看顯卡驅(qū)動支持的CUDA版本再裝對應(yīng)的計算工具包不要反過來。裝反了通常表現(xiàn)為“框架能導(dǎo)入但GPU調(diào)用報錯”這類非常磨人的問題。1.2 用一套固定的目錄結(jié)構(gòu)管理項目這是我從一個老工程師那兒學(xué)來的習(xí)慣現(xiàn)在每次開新項目都照做。一個最小可用的深度學(xué)習(xí)項目建議這樣組織project/ ├── data/ # 原始數(shù)據(jù)集 預(yù)處理腳本 ├── models/ # 模型定義文件 ├── utils/ # 通用工具函數(shù) ├── configs/ # 配置文件參數(shù)集中管理 ├── logs/ # 訓(xùn)練日志和曲線 └── checkpoints/ # 模型權(quán)重保存這種做法最大的好處是你的每個項目都長一個樣換項目時不用重新適應(yīng)。更重要的是后續(xù)你想回頭復(fù)用幾個月前的代碼時“模型定義在哪”“超參數(shù)在哪改”一目了然。我見過太多人把代碼全部堆在一個notebook里訓(xùn)練到一半重新打開連自己用了什么學(xué)習(xí)率都不記得。1.3 數(shù)據(jù)讀取的坑別再用循環(huán)一張張讀了很多初學(xué)者讀圖片是一個循環(huán)里用圖像庫一張張讀取、處理、再進(jìn)模型。數(shù)據(jù)集小的時候看不出問題一旦到了幾萬張圖訓(xùn)練速度會慢到你以為是模型結(jié)構(gòu)有問題。實際瓶頸很可能在數(shù)據(jù)讀取。正確思路是用框架自帶的Dataset和DataLoader機(jī)制配合多進(jìn)程預(yù)讀取。這里的關(guān)鍵參數(shù)是num_workers它代表用幾個子進(jìn)程幫你準(zhǔn)備數(shù)據(jù)。它不是越大越好——我測試過一個8核機(jī)器上面跑圖像分類num_workers從0調(diào)到4訓(xùn)練速度提升了近3倍從4調(diào)到8反而略有下降因為進(jìn)程調(diào)度和內(nèi)存拷貝的開銷超過了收益。另外要養(yǎng)成的好習(xí)慣是先做一個小批量數(shù)據(jù)的跑通測試。也就是只取幾百條數(shù)據(jù)把整個訓(xùn)練流程跑一遍確認(rèn)沒問題了再上全量數(shù)據(jù)。這能幫你把“代碼有問題”和“代碼沒問題但訓(xùn)練慢”區(qū)分開排查效率翻倍。2. 手寫一個兩層網(wǎng)絡(luò)先搞懂訓(xùn)練循環(huán)的每一步在干什么我第一次接觸深度學(xué)習(xí)框架時很容易產(chǎn)生一種錯覺調(diào)用框架的方法構(gòu)建模型調(diào)用框架的方法開始訓(xùn)練像魔法一樣出結(jié)果。直到有一天我需要自定義一個損失函數(shù)才發(fā)現(xiàn)自己對訓(xùn)練過程的理解其實是很模糊的。所以在這一節(jié)我想帶著你用最基礎(chǔ)的方式實現(xiàn)一個兩層全連接網(wǎng)絡(luò)目的是把訓(xùn)練循環(huán)的每個環(huán)節(jié)看個透徹。2.1 數(shù)據(jù)準(zhǔn)備問題是分類還是回歸假設(shè)我們現(xiàn)在要做的是一個二分類任務(wù)給一組二維坐標(biāo)點判斷它屬于紅色類別還是藍(lán)色類別。我們不用現(xiàn)成的經(jīng)典數(shù)據(jù)集而是自己生成一些數(shù)據(jù)方便觀察模型的決策邊界。import numpy as np def create_sample_data(n_samples2000, noise0.1): # 生成兩類數(shù)據(jù)中心分別在 (1,1) 和 (-1,-1) class1 np.random.randn(n_samples, 2) np.array([1.0, 1.0]) class2 np.random.randn(n_samples, 2) np.array([-1.0, -1.0]) features np.vstack([class1, class2]).astype(np.float32) labels np.hstack([np.zeros(n_samples), np.ones(n_samples)]).astype(np.int64) # 加入噪聲讓任務(wù)不是線性可分得那么完美 features noise * np.random.randn(*features.shape) return features, labels這里有個細(xì)節(jié)值得注意數(shù)組類型要用float32而不是默認(rèn)的float64。深度學(xué)習(xí)框架內(nèi)部大量計算默認(rèn)基于32位浮點你輸入64位浮點數(shù)組輕則收到類型不匹配警告重則直接報錯。養(yǎng)成習(xí)慣生成數(shù)據(jù)時就轉(zhuǎn)好類型省得后面到處調(diào)。2.2 網(wǎng)絡(luò)構(gòu)建手寫還是用高層API我們的目的是理解流程所以不急著用現(xiàn)成封裝好的全連接層而是自己定義一個簡單的兩層網(wǎng)絡(luò)import torch import torch.nn as nn class TwoLayerNet(nn.Module): def __init__(self, input_dim2, hidden_dim16, output_dim2): super(TwoLayerNet, self).__init__() # 第一層輸入維度 - 隱藏維度 self.fc1 nn.Linear(input_dim, hidden_dim) # 激活函數(shù)給網(wǎng)絡(luò)引入非線性能力 self.act nn.ReLU() # 第二層隱藏維度 - 輸出維度 self.fc2 nn.Linear(hidden_dim, output_dim) def forward(self, x): x self.fc1(x) x self.act(x) x self.fc2(x) return x這里output_dim2是因為我們要做二分類輸出兩個值分別代表“屬于類別0”和“屬于類別1”的得分后面通過Softmax換算成概率。隱藏維度hidden_dim隨便定一般取16、32、64這樣的值實踐中為了這個例子夠用就可以。有人會問為什么激活函數(shù)放在兩個線性層之間因為如果沒有激活函數(shù)兩層線性變換疊在一起還是線性變換那和一層沒有本質(zhì)區(qū)別。激活函數(shù)引入了非線性模型才有能力擬合復(fù)雜的決策邊界。2.3 訓(xùn)練循環(huán)一個完整batch要經(jīng)過哪些環(huán)節(jié)核心的訓(xùn)練循環(huán)長下面這樣我用注釋寫清每段代碼的含義import torch.nn.functional as F def train_one_epoch(model, x, y, optimizer): # 1. 前向傳播 logits model(x) # 2. 計算損失 loss F.cross_entropy(logits, y) # 3. 梯度清零 optimizer.zero_grad() # 4. 反向傳播 loss.backward() # 5. 更新參數(shù) optimizer.step() return loss.item()在你看著這段代碼發(fā)呆之前我先解釋一下幾個看起來奇怪的操作。optimizer.zero_grad()每次我們計算梯度框架會把梯度累積到每個參數(shù)的grad屬性里。如果你不清零上一次batch算出的梯度會疊加到這一次上面參數(shù)更新方向就會被污染。順序上一定在backward()之前清零。loss.backward()這是反向傳播框架自動計算每個參數(shù)對損失的梯度。你不需要手寫鏈?zhǔn)椒▌t但你要知道梯度是在這一步被算出來的。optimizer.step()拿到梯度之后優(yōu)化器負(fù)責(zé)按照某種規(guī)則更新參數(shù)。比如最樸素的隨機(jī)梯度下降就是param param - lr * grad。學(xué)習(xí)率lr乘在梯度前面控制步長。完整的訓(xùn)練循環(huán)還要涉及劃分訓(xùn)練集和測試集、打亂數(shù)據(jù)順序、分批訓(xùn)練。下面這段代碼把這些都串起來了from torch.utils.data import TensorDataset, DataLoader features, labels create_sample_data() # 按 8:2 劃分訓(xùn)練和驗證集 split_idx int(len(features) * 0.8) train_x, val_x features[:split_idx], features[split_idx:] train_y, val_y labels[:split_idx], labels[split_idx:] train_dataset TensorDataset(torch.from_numpy(train_x), torch.from_numpy(train_y)) val_dataset TensorDataset(torch.from_numpy(val_x), torch.from_numpy(val_y)) # 開 4 個子進(jìn)程準(zhǔn)備數(shù)據(jù) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers4) val_loader DataLoader(val_dataset, batch_size64, shuffleFalse, num_workers4) model TwoLayerNet() # 常見的優(yōu)化器選擇Adam 是入門階段最省心的 optimizer torch.optim.Adam(model.parameters(), lr0.001) for epoch in range(30): model.train() # 切換到訓(xùn)練模式 total_loss 0.0 for x_batch, y_batch in train_loader: loss_value train_one_epoch(model, x_batch, y_batch, optimizer) total_loss loss_value avg_loss total_loss / len(train_loader) # 每輪結(jié)束在驗證集上看效果 model.eval() # 切換到評估模式 correct 0 total 0 with torch.no_grad(): # 評估時不需要計算梯度 for x_batch, y_batch in val_loader: pred model(x_batch).argmax(dim1) correct (pred y_batch).sum().item() total y_batch.size(0) accuracy correct / total print(fEpoch {epoch1:02d} | Loss: {avg_loss:.4f} | Val Acc: {accuracy:.4f})這段代碼里有兩個容易被忽視的實際問題。一個是model.train()和model.eval()某些層如Dropout、BatchNorm在不同模式下行為不一樣訓(xùn)練時和評估時要有區(qū)分。雖然這次的小網(wǎng)絡(luò)沒用到這類層但養(yǎng)成這個習(xí)慣很重要將來換復(fù)雜模型就不容易出錯。另一個是torch.no_grad()評估的時候我們不反向傳播自然也不需要記錄計算圖上的梯度信息。用這個上下文管理器能省下大量內(nèi)存長訓(xùn)練的驗證階段特別有用。我第一次完整手動寫完這個循環(huán)時才真正理解了“梯度清零”“前向”“反向”這些詞在代碼里到底對應(yīng)哪個操作。之后使用高級工具時心里就踏實多了。3. 圖像分類實戰(zhàn)數(shù)據(jù)、模型、訓(xùn)練三件套怎么搭才不翻車過了手寫網(wǎng)絡(luò)這一關(guān)接下來就可以做一個有實際意義的項目了圖像分類。這是深度學(xué)習(xí)最典型的應(yīng)用場景各種基礎(chǔ)概念都能在實踐里對應(yīng)上。3.1 選一個不用折騰的數(shù)據(jù)集做入門實戰(zhàn)沒必要一上來就用那種幾十G的大數(shù)據(jù)集找一個小而經(jīng)典的數(shù)據(jù)集練手就夠了。我常用的是一個包含多種類別的小規(guī)模圖像數(shù)據(jù)集圖片尺寸小而規(guī)整類別是日常物品對初學(xué)者非常友好。這類數(shù)據(jù)集往往可以通過框架的下載接口直接獲取。但需要注意國內(nèi)網(wǎng)絡(luò)環(huán)境下直接從官方源下載有時候會非常慢或者中斷。我的做法是找到下載地址后用下載工具先把壓縮包拉下來再放到指定的數(shù)據(jù)目錄里讓框架直接讀取本地文件。這個過程能幫你節(jié)省半小時的無意義等待。3.2 數(shù)據(jù)預(yù)處理你動圖片的方式?jīng)Q定了訓(xùn)練效果圖像數(shù)據(jù)不能直接喂給模型原始圖片的尺寸、像素范圍、格式都需要統(tǒng)一。這一環(huán)節(jié)最常見的坑是訓(xùn)練集和驗證集用了不同的預(yù)處理流程。比如訓(xùn)練時你做了隨機(jī)裁剪、隨機(jī)翻轉(zhuǎn)等增強(qiáng)操作驗證時也做了同樣的隨機(jī)操作那驗證結(jié)果就被污染了。正確的做法是訓(xùn)練集用帶隨機(jī)性的預(yù)處理驗證集只做固定操作比如縮放、歸一化保證評估結(jié)果穩(wěn)定、可復(fù)現(xiàn)。標(biāo)準(zhǔn)的數(shù)據(jù)變換常這樣寫from torchvision import transforms # 訓(xùn)練階段包括隨機(jī)增強(qiáng) train_transform transforms.Compose([ transforms.Resize((224, 224)), transforms.RandomHorizontalFlip(), # 水平隨機(jī)翻轉(zhuǎn) transforms.RandomRotation(15), # 小角度旋轉(zhuǎn) transforms.ToTensor(), # 轉(zhuǎn)為 Tensor 并縮放到 [0,1] transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) # 驗證階段不做隨機(jī)操作 val_transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ])Normalize用的平均值和標(biāo)準(zhǔn)差是圖像領(lǐng)域常見的一套統(tǒng)計值不是隨便拍的。如果你的數(shù)據(jù)集不是自然圖像建議重新統(tǒng)計自己數(shù)據(jù)的均值和標(biāo)準(zhǔn)差。否則圖像分布被拉到奇怪的地方模型會比較難收斂。3.3 模型選型原則不是越深越復(fù)雜就越好圖像分類的模型選擇是一個糾結(jié)點?，F(xiàn)在的預(yù)訓(xùn)練模型很多深度從十幾層到幾百層都有。我的建議分情況數(shù)據(jù)量小每類幾百張直接使用預(yù)訓(xùn)練模型做遷移學(xué)習(xí)凍結(jié)前部分層只訓(xùn)練最后幾層或者只訓(xùn)練全連接分類頭。數(shù)據(jù)量中等可以微調(diào)更多層用較小的學(xué)習(xí)率。數(shù)據(jù)量很大從頭訓(xùn)練也不是不行但訓(xùn)練成本得想清楚。自己在Google Colab或者本地單卡上跑實驗時我的常用組合是先加載一個預(yù)訓(xùn)練網(wǎng)絡(luò)比如常見的ResNet架構(gòu)替換掉最后的全連接層輸出改為自己的類別數(shù)。加載時設(shè)置pretrainedTrue就拿到了在大型數(shù)據(jù)集上訓(xùn)練好的權(quán)重。這些權(quán)重捕捉了大量通用視覺特征邊緣、紋理、形狀遷移到你的小數(shù)據(jù)集上時效果比隨機(jī)初始化好得多收斂速度也更快。用框架實現(xiàn)遷移學(xué)習(xí)的核心就兩步import torchvision.models as models # 加載預(yù)訓(xùn)練權(quán)重 model models.resnet18(pretrainedTrue) # 替換最后一層讓輸出維度匹配我們的類別數(shù) num_classes 10 in_features model.fc.in_features model.fc nn.Linear(in_features, num_classes)這里的model.fc就是ResNet最后的全連接層。不同模型的分類頭名字不一樣有些叫classifier有些叫head查看官方文檔或者打印模型結(jié)構(gòu)就能確認(rèn)。3.4 訓(xùn)練圖像模型最容易翻車的地方圖像分類項目的訓(xùn)練過程和三件套里說的循環(huán)框架一致但有幾個細(xì)節(jié)我在實踐中反復(fù)踩坑值得單獨說一說。一個是學(xué)習(xí)率。遷移學(xué)習(xí)場景下預(yù)訓(xùn)練層的學(xué)習(xí)率要低新加的分類頭學(xué)習(xí)率可以稍高。如果統(tǒng)一用默認(rèn)的0.001經(jīng)常會出現(xiàn)預(yù)訓(xùn)練特征被破壞或者分類頭還沒學(xué)好的情況。我習(xí)慣構(gòu)造參數(shù)組時讓不同部分走不同學(xué)習(xí)率雖然代碼多寫幾行但效果穩(wěn)定很多。另一個是過擬合和欠擬合的判斷。訓(xùn)練loss下降但驗證loss上升幾乎可以確定是過擬合這時候考慮增強(qiáng)、Dropout、減小模型容量。驗證loss和訓(xùn)練loss都很高是欠擬合先別看正則化把訓(xùn)練輪數(shù)加長或者加大模型容量。還有一個是Loss不下降時的排查順序。不少人一看到loss不動就開始調(diào)學(xué)習(xí)率、換優(yōu)化器折騰半天發(fā)現(xiàn)是數(shù)據(jù)標(biāo)簽對錯了。我的排查順序是先檢查數(shù)據(jù)流隨機(jī)取一批圖片打印標(biāo)簽和圖片尺寸再檢查維度手動跑一次前向最后才考慮調(diào)參。數(shù)據(jù)錯了后面一切優(yōu)化都是空中樓閣。4. 提升模型效果的三把鑰匙學(xué)習(xí)率策略、正則化、數(shù)據(jù)增強(qiáng)模型能跑通只是起點要讓它在測試集上表現(xiàn)出色需要掌握幾把常用的鑰匙。這一節(jié)把它們一個一個說透也把我實際調(diào)參時的經(jīng)驗放進(jìn)去。4.1 學(xué)習(xí)率最值得花時間研究的超參數(shù)學(xué)習(xí)率是深度學(xué)習(xí)里最重要的超參數(shù)這一點怎么說都不過分。太大loss震蕩不收斂太小收斂慢到讓人懷疑人生。入門時無腦用0.001配Adam問題不大但當(dāng)你發(fā)現(xiàn)訓(xùn)練后期loss難以繼續(xù)下降時就該考慮學(xué)習(xí)率調(diào)整策略了。一個實用的做法是使用學(xué)習(xí)率調(diào)度器在訓(xùn)練過程中讓學(xué)習(xí)率按輪數(shù)衰減。from torch.optim.lr_scheduler import ReduceLROnPlateau # 當(dāng)驗證loss連續(xù)N個epoch沒有下降時學(xué)習(xí)率乘以 factor scheduler ReduceLROnPlateau(optimizer, modemin, factor0.5, patience3) # 每個 epoch 結(jié)束后調(diào)用 scheduler.step(val_loss)觀察了一段時間之后我發(fā)現(xiàn)這個調(diào)度器在真實項目里非常實用。patience設(shè)3的意思是驗證loss連續(xù)3輪沒有改善就把學(xué)習(xí)率砍一半給模型一個“小步慢走”的機(jī)會去翻越loss曲面上的小溝壑比固定衰減更貼合實際訓(xùn)練情況。另一種常見的是一段式衰減策略訓(xùn)練輪數(shù)到達(dá)某個比例之后學(xué)習(xí)率直接降一個量級。這種方式在進(jìn)階比賽中特別常見比如前70%輪用0.001后30%輪用0.0001。原因在于訓(xùn)練初期模型需要大步探索后期則在最優(yōu)解附近精細(xì)打磨步子太大反而容易跳過好位置。4.2 正則化不是所有任務(wù)都該上重量級手段正則化的作用是抑制過擬合但很多人一上來就在模型里堆Dropout和權(quán)重衰減結(jié)果模型欠擬合了。正則化強(qiáng)度要和模型容量、數(shù)據(jù)規(guī)模匹配。# 在優(yōu)化器里設(shè)置權(quán)重衰減 optimizer torch.optim.SGD(model.parameters(), lr0.01, weight_decay0.0005) # 在模型里加入 Dropout 層 self.dropout nn.Dropout(p0.5)weight_decay就是我們常說的L2正則化它給大的參數(shù)額外加懲罰迫使權(quán)重不要過大。遷移學(xué)習(xí)模式下我通常給新加的分類頭開一點權(quán)重衰減但預(yù)訓(xùn)練部分保持較小值或者不動這樣可以在保留預(yù)訓(xùn)練特征的同時降低分類頭過擬合風(fēng)險。Dropout是在訓(xùn)練時隨機(jī)丟棄一部分神經(jīng)元輸出讓網(wǎng)絡(luò)不能過度依賴某幾個節(jié)點。注意它的行為也是分訓(xùn)練和評估的訓(xùn)練時隨機(jī)丟評估時全部保留但按概率縮放。p0.5是常見默認(rèn)不是所有層都適合這個值。我在小網(wǎng)絡(luò)上用過p0.3效果更好這個值得自己試。4.3 數(shù)據(jù)增強(qiáng)不要為了增強(qiáng)而增強(qiáng)數(shù)據(jù)增強(qiáng)相當(dāng)于“免費”擴(kuò)大訓(xùn)練集。圖像領(lǐng)域最常用的是隨機(jī)翻轉(zhuǎn)、隨機(jī)裁剪、色彩抖動。但這里有個隱藏的坑增強(qiáng)方式必須符合你的部署場景。如果你要識別的是衛(wèi)星圖像里的建筑物水平翻轉(zhuǎn)沒問題但如果你要識別的是數(shù)字7翻轉(zhuǎn)后可能像別的符號那翻轉(zhuǎn)就不合適。如果圖片里物體方向有語義含義比如區(qū)分前后旋轉(zhuǎn)增強(qiáng)也可能幫倒忙。經(jīng)驗法則是先列出一個測試集里面包括一些你希望模型在真實場景中正確處理的樣本然后去檢查每種增強(qiáng)方式是否可能讓原本“正?！钡膱D像變成現(xiàn)實中很少出現(xiàn)的形態(tài)。如果會就不要用。4.4 訓(xùn)練曲線怎么看一套簡單的判斷流程我習(xí)慣把訓(xùn)練過程里的訓(xùn)練loss、驗證loss、學(xué)習(xí)率三條曲線畫在一張圖里。判斷模型狀態(tài)有一套比較固化的流程訓(xùn)練loss高、驗證loss高模型容量不夠或?qū)W習(xí)率太小先加大訓(xùn)練輪數(shù)或調(diào)大學(xué)習(xí)率。訓(xùn)練loss低、驗證loss高過擬合。先上數(shù)據(jù)增強(qiáng)再上Dropout最后考慮權(quán)重衰減。訓(xùn)練loss和驗證loss都震蕩學(xué)習(xí)率偏大或者batch size太小導(dǎo)致梯度噪聲大優(yōu)先調(diào)小學(xué)習(xí)率。驗證loss曲線突然上升可能學(xué)習(xí)率調(diào)度觸發(fā)了過早的衰減或者訓(xùn)練數(shù)據(jù)里有臟數(shù)據(jù)檢查那一輪的訓(xùn)練樣本。這套判斷流程在我自己調(diào)參的幾年里反復(fù)使用準(zhǔn)確率高也省時間。它不能幫你自動找到最優(yōu)參數(shù)但能幫你快速定位問題方向避免瞎試。5. 模型部署與跨環(huán)境運行的實戰(zhàn)經(jīng)驗總結(jié)訓(xùn)練出來一個精度不錯的模型只是項目的一半。模型要真正發(fā)揮作用必須能部署到目標(biāo)環(huán)境。這一節(jié)聊聊從訓(xùn)練到部署之間的常見問題和我積累的應(yīng)對經(jīng)驗。5.1 兩種保存模型的方式別把架構(gòu)和權(quán)重搞混保存模型有兩種常見方式一種是把整個模型對象都存下來另一種是只存權(quán)重參數(shù)。我強(qiáng)烈推薦只存權(quán)重參數(shù)理由有兩個一是文件體積小二是兼容性好——模型結(jié)構(gòu)如果更新了權(quán)重文件也能配合新代碼加載。保存權(quán)重的寫法# 保存 torch.save(model.state_dict(), checkpoints/model_best.pth) # 加載前提是你定義了和原來一模一樣的模型結(jié)構(gòu) model build_model(num_classes10) model.load_state_dict(torch.load(checkpoints/model_best.pth, map_locationcpu)) model.eval()這里有個很細(xì)節(jié)但很重要的點加載后記得調(diào)用model.eval()。如果你忘了那些訓(xùn)練時行為不同的層比如Dropout還會保持在訓(xùn)練模式部署時預(yù)測結(jié)果會帶隨機(jī)性同一個輸入兩次預(yù)測可能得到不同結(jié)果。這個問題在模型上線時非常難排查我見過有人因此懷疑數(shù)據(jù)出問題。5.2 模型導(dǎo)出的格式與推理優(yōu)化如果你要把模型放到服務(wù)里跑或者嵌入到客戶端應(yīng)用里純Python環(huán)境通常不是最優(yōu)選擇。常見的做法是把模型導(dǎo)出為一種與訓(xùn)練框架解耦的推理格式這樣部署時不需要安裝整套深度學(xué)習(xí)框架也能獲得更好的推理性能。以圖像分類為例導(dǎo)出流程大致如下將模型切到評估模式構(gòu)造一個示例輸入尺寸和真實輸入一致導(dǎo)出為開放神經(jīng)網(wǎng)絡(luò)交換格式即ONNX用專門的推理引擎如ONNX Runtime加載并推理import torch # 示例輸入與訓(xùn)練時的輸入尺寸一致 dummy_input torch.randn(1, 3, 224, 224) # 導(dǎo)出為 ONNX torch.onnx.export( model, dummy_input, model.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}, output: {0: batch_size}}, )dynamic_axes指的是允許batch維度可變這樣部署時一次推理1張圖、8張圖都可以不用重新導(dǎo)出。這個參數(shù)在實際服務(wù)場景里很實用因為請求流量不可能是恒定批量。用推理引擎做加速的核心是把模型的計算圖優(yōu)化一遍合并算子、減少不必要的重計算。同一個模型在推理引擎上跑速度往往比原始Python環(huán)境快不少尤其在CPU上的提升更明顯這對沒有GPU的部署環(huán)境是很大的優(yōu)勢。5.3 跨版本加載權(quán)重的痛苦回憶我之前接過一個老項目對方發(fā)過來一個權(quán)重文件告訴我“模型是在舊版本框架下訓(xùn)練的”。我當(dāng)時沒留意直接在新版本環(huán)境里加載結(jié)果報錯說權(quán)重鍵不匹配。查了半天才發(fā)現(xiàn)舊版本里某一層的命名是features.12.dense_attention之類新版本里改成了encoder.layer.12.attention權(quán)重文件里key對不上。這類問題的解決思路有三種一是找到和你原來訓(xùn)練版本完全一致的框架環(huán)境加載權(quán)重后重新導(dǎo)出二是寫一個鍵名映射腳本手動把新舊key對應(yīng)起來三是如果權(quán)重數(shù)量級不大直接用腳本修改權(quán)重文件里的鍵名。最后一種方法處理大量模型時不推薦但小模型很實用。為了避免這種麻煩我現(xiàn)在每次訓(xùn)練任務(wù)都會建立一個環(huán)境配置文件把框架版本、Python版本、依賴庫版本都固定下來。項目結(jié)束還會生成一個完整的依賴鎖定文件方便以后復(fù)現(xiàn)。這樣做在別人接手的時候價值更大——省去了對方大半天的排查時間。5.4 實際部署里容易忽略的邊界情況訓(xùn)練時你的數(shù)據(jù)集都是規(guī)整的、經(jīng)過預(yù)處理的但真實場景往往不這樣。部署時我吃過幾個虧分享出來提醒你注意。輸入尺寸不一致訓(xùn)練時Resize((224, 224))是固定尺寸但真實圖片可能是800x600如果你忘了在推理管線里做同樣的縮放模型可能直接報維度錯誤或者輸出垃圾預(yù)測。像素范圍不一致訓(xùn)練時轉(zhuǎn)成張量后像素范圍是0到1再Normalize。推理時如果直接用0到255的原始圖喂進(jìn)去效果會差很多。這類問題測試集上往往發(fā)現(xiàn)不了因為測試集已經(jīng)跟著訓(xùn)練預(yù)處理做了只有線上才會有用戶把原始圖直接傳上來。類別編號混亂訓(xùn)練時的類別順序是這樣的但部署時另一個人的映射表卻是那樣的預(yù)測結(jié)果就全是錯的。我在項目里固定用一個配置文件維護(hù)類別映射任何環(huán)節(jié)都從這里讀避免手寫出錯。我在實際工作中吃過這些虧之后得出的經(jīng)驗是模型部署的最佳實踐是對著訓(xùn)練數(shù)據(jù)預(yù)處理代碼把每一步都一個一個復(fù)現(xiàn)到推理流程里少一步都不行。寧可把代碼寫得啰嗦一點也不要用“我記得當(dāng)時大概這么處理的”這種心態(tài)上線。如果你打算把模型接到一個在線服務(wù)里還需要考慮推理延遲、并發(fā)請求處理、異常輸入過濾等工程問題。這些內(nèi)容單開一篇都說不完但基礎(chǔ)前提是你手上的模型本身能穩(wěn)定輸出正確結(jié)果——希望這篇內(nèi)容能幫你先把這一步走扎實。