搞深度學(xué)習(xí)的人大概率都經(jīng)歷過那個(gè)靈魂拷問到底該用哪個(gè)框架我的答案一直是 PyTorch而且用了好幾年期間帶過新人、做過項(xiàng)目、踩過無數(shù)坑。這篇不是什么官方文檔的翻譯也不是手把手從零教學(xué)而是一個(gè)長期使用者對 PyTorch 的真實(shí)經(jīng)驗(yàn)匯總——從環(huán)境配置到訓(xùn)練循環(huán)從數(shù)據(jù)加載到模型導(dǎo)出把那些論壇里反復(fù)被問的問題一次性講透。如果你是剛開始學(xué) PyTorch這篇文章能幫你避開我當(dāng)年走過的彎路如果你已經(jīng)用了一陣子文末的避坑清單大概率能讓你會(huì)心一笑。1. 為什么最后選了 PyTorch動(dòng)態(tài)圖、生態(tài)與調(diào)試體驗(yàn)1.1 動(dòng)態(tài)圖與靜態(tài)圖的世紀(jì)之爭早些年各大主流框架走的基本都是先定義計(jì)算圖再喂數(shù)據(jù)的靜態(tài)圖路線。靜態(tài)圖的好處是性能好、容易做部署優(yōu)化但壞處也非常致命——你沒法在計(jì)算過程中打斷它沒法用普通的 Python 邏輯去控制流程遇到報(bào)錯(cuò)時(shí)給出來的信息也是編譯層面的離你的業(yè)務(wù)邏輯隔了十萬八千里。PyTorch 走的是動(dòng)態(tài)圖路線計(jì)算圖是在每次前向傳播時(shí)實(shí)時(shí)構(gòu)建的。這意味著你的模型就是一段普通的 Python 代碼你可以想怎么控制就怎么控制for 循環(huán)、if 判斷通通可以直接寫在網(wǎng)絡(luò)上。調(diào)試的時(shí)候直接打斷點(diǎn)、直接打印中間張量的維度沒有魔法沒有抽象所見即所得。對于做研究、做實(shí)驗(yàn)、快速驗(yàn)證想法的人來說這是降維打擊級(jí)別的優(yōu)勢。動(dòng)態(tài)圖和靜態(tài)圖的差別就好比寫代碼時(shí)用 Python 和用 C 寫模板元編程的區(qū)別前者犯錯(cuò)時(shí)報(bào)錯(cuò)信息直接定位到行后者犯錯(cuò)時(shí)編譯器彈出一大堆模板展開信息你還得先學(xué)會(huì)翻譯那些報(bào)錯(cuò)。1.2 生態(tài)就是最大的護(hù)城河選框架選到最后其實(shí)是在選生態(tài)。這幾年 PyTorch 的生態(tài)已經(jīng)形成一種贏家通吃的局面主流的開源模型庫幾乎都優(yōu)先提供 PyTorch 版本學(xué)術(shù)論文的開源代碼默認(rèn)就是 PyTorch各類預(yù)處理模型、工具庫你幾乎能找到所有需要的現(xiàn)成實(shí)現(xiàn)。只要模型是 PyTorch 訓(xùn)練的后面不管是要轉(zhuǎn)部署、做量化、剪枝還是蒸餾都有大量的現(xiàn)成工具可以直接接上。背后有一個(gè)活躍程度相當(dāng)高的社區(qū)在持續(xù)維護(hù)版本更新的節(jié)奏、對新一代硬件的支持速度都很快。某大廠和某知名互聯(lián)網(wǎng)公司的內(nèi)部訓(xùn)練平臺(tái)也先后把默認(rèn)框架切到了 PyTorch這本身就是某種風(fēng)向標(biāo)。1.3 誰適合讀這篇文章這篇文章主要面向以下幾類人剛學(xué)完 Python 基礎(chǔ)、想入門深度學(xué)習(xí)的初學(xué)者從其他框架切換過來的老手以及已經(jīng)用了一陣 PyTorch、但總覺得自己只是會(huì)調(diào)用 API、不懂原理的中間層選手。我會(huì)盡量兼顧原理和實(shí)操篇幅不短但你讀完之后應(yīng)該能自己搭一個(gè)完整的訓(xùn)練流程并且知道每個(gè)環(huán)節(jié)為什么這么寫。2. 環(huán)境搭建踩坑記錄版本對應(yīng)關(guān)系是第一道坎2.1 PyTorch、Python、CUDA 三者如何對齊很多初學(xué)者第一個(gè)坑不是寫代碼而是裝環(huán)境。PyTorch 不是一個(gè)獨(dú)立運(yùn)行的軟件它對 Python 版本、顯卡驅(qū)動(dòng)版本、CUDA 運(yùn)行時(shí)版本都有要求。裝之前先搞清楚這三者的對應(yīng)關(guān)系后面會(huì)省掉很多麻煩。我的經(jīng)驗(yàn)是先查官方安裝頁確認(rèn)版本組合再動(dòng)手裝。常見的穩(wěn)定組合是 Python 3.9~3.11 配 CUDA 11.8 或 12.1裝 PyTorch 2.x。不建議一上來就追最新版 Python有些擴(kuò)展庫的預(yù)編譯輪子還沒跟上容易在裝依賴時(shí)卡住。CPU 上的 bool 這個(gè)比較特殊常見組合可以先用這張表確認(rèn)自己的環(huán)境是否靠譜組件建議版本說明Python3.9、3.10、3.113.12 之后部分?jǐn)U展庫兼容性有坑PyTorch2.1 及以上2.x 性能與 API 穩(wěn)定性都更好CUDA 運(yùn)行時(shí)11.8 或 12.1跟隨 PyTorch 官方輪子即可顯卡驅(qū)動(dòng)最新穩(wěn)定版驅(qū)動(dòng)向后兼容舊驅(qū)動(dòng)不認(rèn)新 CUDA2.2 pip 安裝還是 conda 安裝這個(gè)問題我反復(fù)被問到。我的態(tài)度很明確能 pip 就 pip除非你已經(jīng)被 conda 綁定得死死的。pip 的依賴解析更干脆包和 PyTorch 的版本對應(yīng)關(guān)系也更直接。用 conda 的玩家經(jīng)常遇到的一個(gè)問題是conda 為了滿足依賴關(guān)系會(huì)把 numpy、torch 之類的核心庫降級(jí)或升級(jí)到某個(gè)詭異版本然后出現(xiàn)各種我的環(huán)境壞了的帖子。GPU 版本我建議從官方源裝。具體來說用命令行指定 PyTorch 官方源不要用默認(rèn)的公共鏡像源去裝這些大型包否則容易裝到 CPU 版本或者版本組合不對。2.3 常見報(bào)錯(cuò)排查裝完跑不動(dòng)的三種原因裝好后寫兩行代碼測試最常見的報(bào)錯(cuò)有三類。第一類Illegal instruction (core dumped)。這類報(bào)錯(cuò)基本可以確定是硬件問題——要么是 CPU 不支持某些指令集要么是顯卡太老不被當(dāng)前 CUDA 版本支持。核心原因是 PyTorch 官方發(fā)布的新版本逐漸放棄對老硬件的支持。排查方法也很直接先跑 CPU 版本能不能正常執(zhí)行能的話再排查 CUDA 相關(guān)項(xiàng)。第二類ImportError: libcudart.so ...這就說明 CUDA 運(yùn)行時(shí)庫找不到常見原因是顯卡驅(qū)動(dòng)太老或者裝的是裸 pip 包但系統(tǒng)里根本沒有 CUDA 的庫。解決辦法是先檢查驅(qū)動(dòng)是否支持當(dāng)前 CUDA 版本再?zèng)Q定是升級(jí)驅(qū)動(dòng)還是降級(jí) PyTorch 版本。第三類裝了 GPU 版但torch.cuda.is_available()返回 False。這個(gè)要分幾種情況一是你裝成了 CPU 版二是驅(qū)動(dòng)問題三是權(quán)限問題導(dǎo)致無法訪問顯卡。建議按順序檢查這幾項(xiàng)不用一上來就重裝環(huán)境。3. 張量與自動(dòng)求導(dǎo)PyTorch 最核心的兩塊地基3.1 張量不只是多維數(shù)組PyTorch 里所有數(shù)據(jù)都繞著torch.Tensor轉(zhuǎn)。你可以把它理解成帶設(shè)備信息和梯度信息的 NumPy 數(shù)組——它跟 NumPy 一樣支持各種切片、數(shù)學(xué)運(yùn)算、維度變換但多了兩個(gè)非常關(guān)鍵的東西一個(gè)是.requires_grad這個(gè)開關(guān)另一個(gè)是.device這個(gè)歸屬信息。初學(xué)者最容易忽略的是 dtype。PyTorch 的默認(rèn)浮點(diǎn)類型是torch.float32但你的數(shù)據(jù)如果是從 NumPy 轉(zhuǎn)過來的很可能是float64于是模型參數(shù)是 float32、輸入數(shù)據(jù)是 float64雖然 PyTorch 會(huì)自動(dòng)做類型提升但你必須清楚的知道有些操作對不同 dtype 的張量并不兼容。最典型的例子是 embedding 層或者某些 GPU 上的操作數(shù)據(jù)精度不一致就會(huì)報(bào)數(shù)據(jù)類型不匹配的錯(cuò)誤。寫代碼時(shí)顯式轉(zhuǎn)換一下能省很多事。3.2 requires_grad 與 autograd 的工作機(jī)制自動(dòng)求導(dǎo)是 PyTorch 的核心特色。它的底層實(shí)現(xiàn)可以這樣理解每次你在一個(gè)打開了requires_grad的張量上做操作時(shí)PyTorch 會(huì)同時(shí)建立一張計(jì)算圖圖的節(jié)點(diǎn)是數(shù)據(jù)邊是操作。當(dāng)你調(diào)用.backward()的時(shí)候它根據(jù)鏈?zhǔn)椒▌t從最終結(jié)果反向推算每個(gè)中間變量的梯度然后存儲(chǔ)在對應(yīng)張量的.grad字段里。有一點(diǎn)必須強(qiáng)調(diào)只有在浮點(diǎn)數(shù)張量上設(shè)置requires_grad才有意義。整數(shù)類型的張量不支持自動(dòng)求導(dǎo)因?yàn)榍髮?dǎo)數(shù)這個(gè)概念只在連續(xù)實(shí)數(shù)上有意義。我的建議是默認(rèn)不要給任何張量開requires_grad只在模型參數(shù)或極少數(shù)需要手算梯度的中間變量上開啟它。道理很簡單計(jì)算圖會(huì)額外記錄所有操作這在內(nèi)存和計(jì)算上都是一種負(fù)擔(dān)。你在訓(xùn)練模型時(shí)模型參數(shù)自動(dòng)開了你的輸入數(shù)據(jù)根本不需要開。3.3 一個(gè)最小梯度示例用十幾行代碼感受一下自動(dòng)求導(dǎo)import torch x torch.tensor([2.0, 3.0], requires_gradTrue) w torch.tensor([[1.0, 0.5], [-1.0, 2.0]], requires_gradTrue) b torch.tensor(1.0, requires_gradTrue) y x w.t() b # 矩陣乘法 偏置 z y.sum() # 一個(gè)標(biāo)量結(jié)果 z.backward() # 反向傳播自動(dòng)計(jì)算梯度 print(x.grad) print(w.grad) print(b.grad)注意backward()只能對標(biāo)量調(diào)用如果z是向量會(huì)提示你必須傳入一個(gè)與z形狀相同的初始梯度。如果你的任務(wù)需要非標(biāo)量反向可以先loss.sum().backward()這是一個(gè)很常用的技巧。4. nn.Module 使用指南定義模型的正確姿勢4.1 繼承 nn.Module 后發(fā)生了什么幾乎所有 PyTorch 模型都是torch.nn.Module的子類。它幫你做的最重要的事情有三件第一自動(dòng)收集參數(shù)。你在__init__里賦值給self的任何nn.Parameter或nn.Module都會(huì)自動(dòng)注冊進(jìn)這個(gè)模型的參數(shù)表。這也是為什么model.parameters()能拿到全部參數(shù)而不用你自己維護(hù)一個(gè)列表。第二提供訓(xùn)練/驗(yàn)證模式切換。model.train()和model.eval()會(huì)遞歸地把模塊里的所有子模塊都切換對應(yīng)模式像Dropout、BatchNorm這類行為參數(shù)分訓(xùn)練和推理兩種狀態(tài)。第三提供狀態(tài)字典的保存與加載。model.state_dict()可以拿到所有參數(shù)的字典配合torch.save和torch.load幾行代碼就完成了模型持久化。4.2 forward 里別寫太重的邏輯子類化nn.Module時(shí)你需要實(shí)現(xiàn)forward方法定義前向傳播的邏輯。我的建議是forward 里只負(fù)責(zé)把計(jì)算流程串起來不要寫太多業(yè)務(wù)邏輯。原因很簡單當(dāng)你后面要做模型導(dǎo)出、服務(wù)化部署時(shí)TorchScript 和 ONNX 對 forward 代碼的兼容性是有要求的。你在 forward 里寫一個(gè)那種高度依賴 Python 特性的復(fù)雜 if 判斷后面導(dǎo)出階段大概率要重寫模型。如果只是寫個(gè)測試分類器代碼看起來是這樣import torch.nn as nn class SimpleMLP(nn.Module): def __init__(self, in_dim784, hidden_dim256, out_dim10): super().__init__() self.fc1 nn.Linear(in_dim, hidden_dim) self.relu nn.ReLU() self.fc2 nn.Linear(hidden_dim, out_dim) def forward(self, x): x self.fc1(x) x self.relu(x) x self.fc2(x) return x這里有個(gè)細(xì)節(jié)我在__init__里把ReLU賦值給了self.relu。即使它沒有可學(xué)習(xí)參數(shù)我也把實(shí)例掛上去這樣model.to(device)時(shí)這個(gè)子模塊也會(huì)被跟著移動(dòng)。實(shí)際上 ReLU 是無狀態(tài)操作不帶參數(shù)也不受設(shè)備影響掛不掛問題都不大但養(yǎng)成所有子層都掛在 self 下的習(xí)慣是好的。4.3 容器模塊Sequential、ModuleList、ModuleDict除了自己逐行組織層PyTorch 還提供了三種容器方便管理模塊。nn.Sequential是最常見的它會(huì)按順序執(zhí)行每一層適合前饋網(wǎng)絡(luò)。nn.ModuleList適合那種需要在 forward 里循環(huán)處理的層比如多個(gè)注意力頭并列nn.ModuleDict適合按名字索引子模塊的場景。容器模塊之間的選擇有一個(gè)坑需要注意**nn.Sequential內(nèi)部的模塊會(huì)被它自動(dòng)管理但如果你在一個(gè)普通的 Python 列表里存放子模塊PyTorch 不會(huì)自動(dòng)收集它們**。這是我見過很多新手踩過的坑——寫了一個(gè)列表然后把模塊放進(jìn)去結(jié)果model.to(device)后這些模塊還留在 CPU 上訓(xùn)練時(shí)直接報(bào)設(shè)備不匹配。5. 手寫訓(xùn)練循環(huán)每一步都在做什么5.1 完整訓(xùn)練代碼與逐行拆解用 PyTorch 訓(xùn)練一個(gè)模型最不依賴高階 API 的方式是自己寫循環(huán)。先給出一段完整可跑的代碼import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, TensorDataset # 造一點(diǎn)假數(shù)據(jù)模擬一個(gè)分類問題 X torch.randn(1000, 10) y torch.randint(0, 2, (1000,)) dataset TensorDataset(X, y) loader DataLoader(dataset, batch_size64, shuffleTrue) model SimpleMLP(in_dim10, hidden_dim32, out_dim2) criterion nn.CrossEntropyLoss() optimizer optim.SGD(model.parameters(), lr0.01) for epoch in range(5): for batch_x, batch_y in loader: optimizer.zero_grad() # 1. 清空舊梯度 logits model(batch_x) # 2. 前向傳播 loss criterion(logits, batch_y) # 3. 計(jì)算損失 loss.backward() # 4. 反向傳播計(jì)算梯度 optimizer.step() # 5. 更新參數(shù) print(fepoch {epoch}, loss: {loss.item():.4f})這個(gè)循環(huán)看起來簡單到不像話但每個(gè)步驟都有其不可替代的作用。5.2 zero_grad 為什么要放在 backward 之前程序邏輯上optimizer.zero_grad()必須在backward()之前執(zhí)行。原因在于PyTorch 默認(rèn)會(huì)在每次 backward 時(shí)把梯度累加到.grad字段里而不是覆蓋。如果你不清空舊梯度那么第二輪迭代計(jì)算的梯度會(huì)加在第一輪的梯度上梯度值會(huì)越滾越大優(yōu)化過程極不穩(wěn)定。這種設(shè)計(jì)本身是為了一些特殊場景服務(wù)的比如梯度累積——有時(shí)候你顯卡內(nèi)存不夠一個(gè) batch 拆成多個(gè)小塊分別前向/反向計(jì)算但希望這些梯度和成一個(gè)梯度再更新這樣正好利用了累加機(jī)制。但絕大多數(shù)訓(xùn)練場景下你不需要這種累加所以老老實(shí)實(shí)每次迭代清空梯度。這三行代碼的執(zhí)行順序是訓(xùn)練循環(huán)里最重要的一件事我見過太多新手在loss 不下降的困惑里折騰很久最后發(fā)現(xiàn)就是zero_grad寫漏了。5.3 訓(xùn)練模式與驗(yàn)證模式的切換訓(xùn)練完一輪后要驗(yàn)證模型效果很多人直接拿到測試集上去跑然后發(fā)現(xiàn)結(jié)果忽高忽低難以復(fù)現(xiàn)。原因就是沒切eval()模式。model.eval()會(huì)把 Dropout 關(guān)閉、讓 BatchNorm 使用累計(jì)的均值方差這樣推理結(jié)果才穩(wěn)定。另外在驗(yàn)證階段還需要用torch.no_grad()包住代碼它的作用是關(guān)閉自動(dòng)求導(dǎo)的計(jì)算圖構(gòu)建顯著減少顯存占用和計(jì)算開銷。推理本來就不需要梯度開著requires_grad完全是浪費(fèi)。model.eval() total_correct 0 total_samples 0 with torch.no_grad(): for batch_x, batch_y in valid_loader: logits model(batch_x) pred logits.argmax(dim1) total_correct (pred batch_y).sum().item() total_samples batch_y.size(0) print(faccuracy: {total_correct / total_samples:.4f})一個(gè)很容易記混的點(diǎn)是model.eval()和torch.no_grad()是兩個(gè)不同層面的東西。model.eval()改變的是模型的內(nèi)部行為torch.no_grad()改變的而是張量運(yùn)算的求導(dǎo)行為兩者通常搭配著用但都不能替代對方。6. 數(shù)據(jù)加載的性能問題Dataset 與 DataLoader 的配合6.1 Dataset 只做一件事torch.utils.data.Dataset是一個(gè)描述數(shù)據(jù)在哪里、怎么取出來的接口。你只需要實(shí)現(xiàn)兩個(gè)方法__len__返回樣本總量__getitem__給定索引返回一組(輸入, 標(biāo)簽)。PyTorch 會(huì)在訓(xùn)練時(shí)按序號(hào)訪問你的數(shù)據(jù)。對于圖片、文本這些需要預(yù)處理的數(shù)據(jù)__getitem__里通常要做解碼、裁剪、轉(zhuǎn) tensor、歸一化這么一條流水線。這里有一個(gè)重要的經(jīng)驗(yàn)不要在__getitem__里做重計(jì)算。比如每個(gè)樣本都從磁盤重新解碼一遍大圖你的數(shù)據(jù)加載會(huì)直接成為訓(xùn)練瓶頸。最好的做法是先把數(shù)據(jù)預(yù)處理成輕量級(jí)格式存起來或者用更高效的解碼方式。數(shù)據(jù)加載變快后整輪訓(xùn)練時(shí)間會(huì)肉眼可見地下降。6.2 DataLoader 的 worker 經(jīng)驗(yàn)DataLoader負(fù)責(zé)把 Dataset 組織成可迭代的 batch。它提供了 batch_size、shuffle、num_workers、pin_memory 等參數(shù)。num_workers 是第一個(gè)需要被關(guān)注的參數(shù)它決定使用多少個(gè)子進(jìn)程來并行加載數(shù)據(jù)。把它從 0 調(diào)到 4通常訓(xùn)練速度會(huì)有明顯提升。但它也不是越大越好因?yàn)榫€程/進(jìn)程切換也是開銷而且每個(gè) worker 都會(huì)把數(shù)據(jù)復(fù)制到自己的內(nèi)存里設(shè)置過大會(huì)把內(nèi)存吃滿。另一個(gè)參數(shù)是pin_memoryTrue它會(huì)讓數(shù)據(jù)加載到鎖頁內(nèi)存從而在 GPU 訓(xùn)練時(shí)數(shù)據(jù)搬運(yùn)到顯存的速度更快。這個(gè)參數(shù)對性能的影響在數(shù)據(jù)量大時(shí)很明顯新手通常容易忽略。如果訓(xùn)練時(shí) GPU 利用率出現(xiàn)周期性斷崖多半是數(shù)據(jù)加載跟不上。優(yōu)先調(diào)整 num_workers 和 pin_memory 這兩個(gè)參數(shù)。6.3 數(shù)據(jù)增強(qiáng)的注意事項(xiàng)圖像任務(wù)的標(biāo)配是數(shù)據(jù)增強(qiáng)PyTorch 里一般用變換組合來實(shí)現(xiàn)。需要留意的幾個(gè)點(diǎn)增強(qiáng)只應(yīng)該在訓(xùn)練集上做驗(yàn)證集和測試集只做標(biāo)準(zhǔn)化即可否則會(huì)嚴(yán)重干擾評估指標(biāo)有些增強(qiáng)操作會(huì)改變目標(biāo)值比如旋轉(zhuǎn)、翻轉(zhuǎn)這類幾何變化要注意確保變換邏輯同時(shí)作用在 label 對應(yīng)的坐標(biāo)或 mask 上保持同步。隨機(jī)種子一致性也是數(shù)據(jù)加載一個(gè)很容易踩的坑。PyTorch、NumPy、Python 的 random 模塊分別維護(hù)各自的隨機(jī)狀態(tài)如果你不做全鏈路隨機(jī)種子固定即使模型訓(xùn)練代碼完全一樣結(jié)果也復(fù)現(xiàn)不了。要固定隨機(jī)性需要在腳本最前面統(tǒng)一設(shè)置同時(shí)注意可能存在數(shù)據(jù)加載順序上的隨機(jī)性。7. 從原型到部署模型導(dǎo)出踩過的那些考驗(yàn)7.1 模型保存的幾種姿勢訓(xùn)練好的模型要落地部署第一步是保存。最常用的方式是torch.save(model.state_dict(), model.pth)加載時(shí)先實(shí)例化模型再load_state_dict。但是要留一個(gè)坑如果有人只給了你一個(gè).pth文件而沒有給模型定義代碼偶爾會(huì)碰到版本更新后權(quán)重名對不上的問題這時(shí)權(quán)重結(jié)構(gòu)可能不匹配。我自己的習(xí)慣是除了保存權(quán)重還會(huì)把模型結(jié)構(gòu)定義文件、預(yù)處理邏輯一起歸檔免得三個(gè)月后自己都忘了當(dāng)時(shí)怎么構(gòu)造的輸入。如果要導(dǎo)出成一種與 Python 解耦的格式常用的是 TorchScript 和 ONNX。TorchScript 有兩種導(dǎo)出方式torch.jit.trace用一個(gè)示例輸入追蹤計(jì)算流程對動(dòng)態(tài)控制流支持有限torch.jit.script則直接以腳本方式解析模型代碼,約束更嚴(yán)格但對控制流支持更完整。7.2 ONNX 導(dǎo)出的動(dòng)態(tài)維度問題ONNX 是一種跨框架的模型表示格式很多部署框架都支持它。但在導(dǎo)出時(shí)新手最容易出問題的點(diǎn)是動(dòng)態(tài)維度。比如你訓(xùn)練時(shí)輸入的 batch size 是 32導(dǎo)出 ONNX 時(shí)默認(rèn)就把 batch 維度固定成 32 了上線后實(shí)際請求一次只來了 1 條樣本直接報(bào)維度不匹配。解決辦法是在導(dǎo)出時(shí)指定動(dòng)態(tài)軸import torch dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export( model, dummy_input, model.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}, output: {0: batch_size}}, )動(dòng)態(tài)軸的命名和數(shù)量需要提前規(guī)劃好因?yàn)橐坏┒撕罄m(xù)推理服務(wù)端的代碼也會(huì)依賴這個(gè)名字改起來麻煩。7.3 導(dǎo)出時(shí)遇到的控制流問題如果你的模型 forward 里有條件判斷或循環(huán)比如根據(jù)序列長度變化做不同處理torch.jit.trace可能會(huì)出錯(cuò)——它只追蹤樣本實(shí)際走的那條路徑其他分支根本沒有被捕捉。遇到這種情況要么改用torch.jit.script要么想辦法把控制流改成支持動(dòng)態(tài)計(jì)算的算子組合。作為一個(gè)長期做部署對接的人我的建議是如果你預(yù)知模型要導(dǎo)出一開始寫 forward 就盡量只寫標(biāo)準(zhǔn)的張量運(yùn)算別寫那些花哨的控制流否則后面返工的成本很高。8. 實(shí)戰(zhàn)中反復(fù)踩過的坑與最終建議8.1 設(shè)備不一致的經(jīng)典錯(cuò)誤Expected all tensors to be on the same device 可能是 PyTorch 里最常見的報(bào)錯(cuò)。核心原因很簡單模型的參數(shù)在 GPU 上但你喂進(jìn)去的輸入數(shù)據(jù)還在 CPU 上或者兩個(gè)張量一個(gè)在 GPU:0 一個(gè)在 GPU:1。排查思路要養(yǎng)成習(xí)慣拿到數(shù)據(jù)先to(device)模型初始化的同時(shí)to(device)損失函數(shù)一般不帶參數(shù)可不用管但里面某些模塊的緩沖區(qū)有時(shí)也在設(shè)備上有要求。寫到后期我基本是把 device 作為全局變量或者模型方法的一個(gè)參數(shù)傳避免寫死cuda這樣切到 CPU 調(diào)試時(shí)也方便。8.2.detach()、.item()和原地修改的混淆有時(shí)候你會(huì)需要拿出張量里的純數(shù)值。.item()只能用在單元素張量可以取出 Python 原生數(shù)值.detach()則是返回一個(gè)新的、不參與自動(dòng)求導(dǎo)的張量。兩者經(jīng)常弄混的場景是你想用某個(gè)中間變量的值來做 log 或繪制曲線如果直接打印張量控制臺(tái)里會(huì)顯示一個(gè)大對象而且如果這個(gè)張量還處于計(jì)算圖里后續(xù)某個(gè)操作可能還會(huì)改變它導(dǎo)致你打印的數(shù)值看起來莫名其妙。一個(gè)相關(guān)的坑是原地修改操作比如x 1、x.clamp_()。這類操作在某些情況下會(huì)被自動(dòng)求導(dǎo)機(jī)制攔下來或者導(dǎo)致計(jì)算圖異常因?yàn)樘荻鹊逆準(zhǔn)角髮?dǎo)假設(shè)張量值不再被修改。遇到梯度為 None這種詭異問題時(shí)建議把用了原地操作的位置都過一遍。8.3 訓(xùn)練過程異常的表象與本質(zhì)訓(xùn)練多次之后我發(fā)現(xiàn)模型訓(xùn)練出現(xiàn)問題時(shí)先去懷疑自己的數(shù)據(jù)管線再懷疑模型結(jié)構(gòu)。loss 不下降、準(zhǔn)確率不動(dòng)八成是因?yàn)閿?shù)據(jù)增強(qiáng)太強(qiáng)、標(biāo)簽錯(cuò)位、數(shù)據(jù)分布不平衡只有少數(shù)情況是梯度爆炸、學(xué)習(xí)率過大這類優(yōu)化問題?？梢园延?xùn)練過程想象成拼裝數(shù)據(jù)是原料模型是加工流水線優(yōu)化器是調(diào)節(jié)器任何一個(gè)環(huán)節(jié)出錯(cuò)最終產(chǎn)品都會(huì)出問題。而 debug 的順序一般也是數(shù)據(jù)能否被正確遍歷、模型 forward 輸出形狀是否匹配、損失函數(shù)計(jì)算是否正確、優(yōu)化器是否連接到模型參數(shù)、梯度是否正常。8.4 工具箱層面的老建議最后分享幾個(gè)多年用下來的小習(xí)慣。第一訓(xùn)練腳本從一開始就加上隨機(jī)種子固定和確定性設(shè)置這樣能讓你自己以后排查問題時(shí)有條件復(fù)現(xiàn)已經(jīng)不知道多少次幫我在同樣的代碼里對比修改前后的差異。第二每隔固定輪數(shù)保存一次檢查點(diǎn)比如 checkpoint-best.pt 和 checkpoint-last.pt 同時(shí)保存磁盤空間不值錢但一次中途崩潰讓你重跑三天的訓(xùn)練才是真正的損失。第三模型驗(yàn)證時(shí)用確定性較高的指標(biāo)比如分類準(zhǔn)確率、回歸的 MAE在驗(yàn)證集上固定樣本順序一旦指標(biāo)出現(xiàn)異常波動(dòng)先懷疑數(shù)據(jù)加載隨機(jī)性再懷疑模型本身。PyTorch 本身的設(shè)計(jì)哲學(xué)就是讓你能用最 Pythonic 的方式完成深度學(xué)習(xí)任務(wù)真正復(fù)雜的地方往往不在框架的 API而在于你如何處理數(shù)據(jù)、組織訓(xùn)練、保證復(fù)現(xiàn)性和應(yīng)對部署問題。這篇文章里的內(nèi)容基本是一條主線串下來的坑和經(jīng)驗(yàn)希望你讀完至少能少走幾次彎路。