從項(xiàng)目標(biāo)題來看這是一篇“技術(shù)復(fù)現(xiàn)型”的分享。只要?jiǎng)舆^PyTorch做圖像分類或文本分類的人應(yīng)該都經(jīng)歷過這種場景訓(xùn)練完模型打印出準(zhǔn)確率看到一個(gè)90%甚至95%的數(shù)字心里挺高興結(jié)果模型一上線發(fā)現(xiàn)某些類別幾乎全錯(cuò)。準(zhǔn)確率這個(gè)指標(biāo)太“宏觀”了它會掩蓋很多細(xì)節(jié)。所以我才堅(jiān)持每次跑完分類任務(wù)都要畫一張混淆矩陣出來看看。這篇文章就把我平時(shí)在PyTorch項(xiàng)目里畫混淆矩陣和做可視化的一套完整流程整理出來從最底層的矩陣計(jì)數(shù)原理到最終的出版級圖像導(dǎo)出盡量覆蓋到每一個(gè)坑。1. 為什么要畫混淆矩陣從準(zhǔn)確率說不清的問題說起1.1 準(zhǔn)確率看著挺高模型卻可能在“裝模作樣”先講個(gè)我自己踩過的案例。當(dāng)時(shí)做一個(gè)六分類的紋理識別任務(wù)訓(xùn)練集里樣本分布很不均衡其中一類占了總樣本的將近一半。訓(xùn)練結(jié)束后驗(yàn)證集準(zhǔn)確率到了92%看起來一切正常。結(jié)果把測試集結(jié)果按類別拆開一統(tǒng)計(jì)那個(gè)占了50%的類別準(zhǔn)確率接近99%而另外幾個(gè)稀少類別準(zhǔn)確率只有60%到70%。如果只看準(zhǔn)確率根本發(fā)現(xiàn)不了這個(gè)問題。混淆矩陣的價(jià)值就在這它不給你一個(gè)籠統(tǒng)的“好”或“壞”而是把“哪一類被認(rèn)對了、哪一類被認(rèn)成了哪一類”全部攤開。有些讀者可能會問精確率、召回率、F1值不是也能看類別的單獨(dú)表現(xiàn)嗎確實(shí)能。但混淆矩陣是最原始的“計(jì)數(shù)表”精確率和召回率其實(shí)是基于這個(gè)計(jì)數(shù)表二次計(jì)算出來的。有了混淆矩陣你可以自己計(jì)算任何想要的指標(biāo)還可以定位到具體的“錯(cuò)誤對”比如A類被錯(cuò)認(rèn)成B類到底是A類的特征太接近B類還是數(shù)據(jù)標(biāo)注本身就有問題。這是單獨(dú)一個(gè)F1值做不到的。1.2 混淆矩陣到底在告訴你什么對于一個(gè)N分類任務(wù)混淆矩陣是一個(gè)N乘N的方陣。行通常代表真實(shí)標(biāo)簽列代表預(yù)測標(biāo)簽。矩陣的第i行第j列的值表示“真實(shí)類別是i卻被模型預(yù)測成類別j”的樣本個(gè)數(shù)。對角線上的值越大說明這一類被正確識別的比例越高。對角線外的值就是錯(cuò)誤分布它們會清晰地告訴你錯(cuò)誤主要發(fā)生在哪些類別之間。舉個(gè)例子三分類問題假設(shè)有150個(gè)測試樣本每個(gè)類別各50個(gè)。如果矩陣長這樣真實(shí)\預(yù)測類別0類別1類別2類別04811類別15405類別22840對角線加起來是128所以準(zhǔn)確率是85.3%。但這張矩陣透露的信息更多類別0表現(xiàn)最好只有兩個(gè)樣本出錯(cuò)類別1有5個(gè)樣本被認(rèn)成類別05個(gè)被認(rèn)成類別2類別2則有8個(gè)樣本被認(rèn)成類別1。這告訴你類別1和類別2之間的混淆比較嚴(yán)重可能是特征相似也可能是訓(xùn)練樣本不足。1.3 什么時(shí)候必須畫混淆矩陣我個(gè)人的習(xí)慣是只要是分類任務(wù)無論是圖像分類、文本分類還是音頻分類跑了測試集之后都要畫一張混淆矩陣。不是說每個(gè)項(xiàng)目都要給客戶看而是你自己必須心里有數(shù)。尤其是以下幾種情況不畫混淆矩陣幾乎等于白跑測試第一類別不均衡時(shí)。就像前面舉的例子準(zhǔn)確率會被大類“帶節(jié)奏”。第二類別數(shù)量較多時(shí)比如幾十個(gè)類即使每個(gè)類別準(zhǔn)確率在大數(shù)上看起來差不多也可能存在個(gè)別類別之間系統(tǒng)性錯(cuò)認(rèn)只有矩陣才能暴露這種規(guī)律。第三迭代優(yōu)化過程中。每次調(diào)完參、加完數(shù)據(jù)畫一張矩陣對比兩次的錯(cuò)誤分布能直觀看出優(yōu)化是否真的有效而不是只看準(zhǔn)確率有沒有漲。第四需要向團(tuán)隊(duì)或客戶匯報(bào)時(shí)。一張帶顏色深淺的混淆矩陣圖比一堆數(shù)字直觀得多。2. 動(dòng)手前的準(zhǔn)備環(huán)境、模型輸出與數(shù)據(jù)格式2.1 最小可用環(huán)境清單畫混淆矩陣本身對硬件沒有任何要求CPU機(jī)器完全能跑。核心依賴就是PyTorch、scikit-learn、matplotlib如果想畫得更精致一點(diǎn)可以再加seaborn。我用過的幾個(gè)版本組合供參考依賴庫我常用的版本區(qū)間說明Python3.8 ~ 3.11老版本要注意scikit-learn兼容性PyTorch1.13 或 2.x分類模型推理scikit-learn1.0 ~ 1.3提供confusion_matrix等函數(shù)matplotlib3.5 ~ 3.8基礎(chǔ)繪圖seaborn0.12 ~ 0.13熱力圖可視化更省事安裝命令我就不多寫了pip install torch scikit-learn matplotlib seaborn一步到位。如果是在已有的訓(xùn)練環(huán)境里補(bǔ)裝注意不要隨意升級PyTorch版本避免影響之前訓(xùn)練好的模型權(quán)重加載。2.2 模型輸出到底長什么樣logits、概率和預(yù)測類別剛?cè)腴T的朋友最容易在這里搞混。PyTorch分類模型在全連接層之后通常輸出一個(gè)向量這個(gè)向量在進(jìn)入Softmax之前叫l(wèi)ogits維度是批量大小乘以類別數(shù)。舉例來說一個(gè)批次的輸入經(jīng)過模型后輸出形狀通常是[batch_size, num_classes]。對每個(gè)樣本來說這個(gè)向量里的值表示該樣本屬于各個(gè)類別的“原始得分”數(shù)值越大代表模型越傾向于這個(gè)類別。取最大值的索引就是預(yù)測類別。有一種常見操作是先把logits經(jīng)過Softmax轉(zhuǎn)成概率再取最大值索引。這兩者其實(shí)結(jié)果完全一致因?yàn)镾oftmax是單調(diào)遞增函數(shù)不會改變最大值的位置。所以如果你只是要取預(yù)測類別直接做pred torch.argmax(logits, dim1)就夠了不需要先算Softmax。但如果你想把概率值也記錄下來比如用于分析置信度那就需要先過Softmax了。2.3 拿到預(yù)測結(jié)果后先做這件事類別索引與名稱對應(yīng)關(guān)系檢查模型輸出的是索引比如數(shù)字0、1、2而不是字符串“貓”“狗”“鳥”。所以動(dòng)手畫圖前先確認(rèn)索引和類別名稱的對應(yīng)關(guān)系。我遇到過不止一次訓(xùn)練時(shí)數(shù)據(jù)集是用字典映射的類別名稱在數(shù)據(jù)集類的classes屬性里導(dǎo)出模型做推理時(shí)忘了保存映射關(guān)系結(jié)果畫出來的矩陣行列全是數(shù)字根本不知道哪一行對應(yīng)哪個(gè)類別。這里給一個(gè)最小驗(yàn)證片段確保測試集的類別是連續(xù)且完整的# 以 torchvision.datasets.ImageFolder 加載的數(shù)據(jù)為例 dataset_classes test_dataset.classes print(dataset_classes) # 例如 [cat, dog, bird]如果你的數(shù)據(jù)是自定義Dataset一定要檢查__getitem__返回的標(biāo)簽是從0開始的連續(xù)整數(shù)。如果標(biāo)簽不連續(xù)比如0、1、5、9混淆矩陣的行列就會錯(cuò)位。這一點(diǎn)后面還會詳細(xì)說。3. 零基礎(chǔ)到手寫實(shí)現(xiàn)混淆矩陣的兩種構(gòu)建方式3.1 方式一手寫計(jì)數(shù)徹底搞懂矩陣邏輯雖然現(xiàn)成庫一行就能搞定但我強(qiáng)烈建議新手先手寫一次。理解了矩陣填充邏輯后面用庫函數(shù)出現(xiàn)問題時(shí)你才有能力排查。首先準(zhǔn)備真實(shí)標(biāo)簽列表y_true和預(yù)測標(biāo)簽列表y_pred兩者必須是等長的Python列表、NumPy數(shù)組或PyTorch張量。假設(shè)有4個(gè)類別先初始化一個(gè)4乘4的全零矩陣然后遍歷每一對真實(shí)標(biāo)簽和預(yù)測標(biāo)簽把對應(yīng)位置加1import torch def build_confusion_matrix(y_true, y_pred, num_classes): matrix torch.zeros(num_classes, num_classes, dtypetorch.int64) for t, p in zip(y_true, y_pred): matrix[t, p] 1 return matrix # 示例數(shù)據(jù)5個(gè)樣本3個(gè)類別 y_true [0, 1, 2, 1, 0] y_pred [0, 2, 2, 1, 0] cm build_confusion_matrix(y_true, y_pred, num_classes3) print(cm)輸出tensor([[2, 0, 0], [0, 1, 1], [0, 0, 1]])解釋一下第一個(gè)樣本真實(shí)是0預(yù)測是0所以matrix[0,0]加1第二個(gè)樣本真實(shí)是1預(yù)測是2所以matrix[1,2]加1。這個(gè)邏輯非常簡單遍歷完所有樣本就得到了完整的計(jì)數(shù)矩陣。如果類別數(shù)很多用循環(huán)加法的效率不高但畫圖前統(tǒng)計(jì)測試集一般也就幾千個(gè)樣本性能完全不是問題。3.2 方式二使用適合快速統(tǒng)計(jì)的現(xiàn)成函數(shù)手寫矩陣只是教學(xué)手段實(shí)際項(xiàng)目里我一般直接用機(jī)器學(xué)習(xí)常用庫中現(xiàn)成的混淆矩陣統(tǒng)計(jì)函數(shù)。它省事、代碼少、不易出錯(cuò)from sklearn.metrics import confusion_matrix y_true [0, 1, 2, 1, 0] y_pred [0, 2, 2, 1, 0] cm confusion_matrix(y_true, y_pred, labels[0, 1, 2]) print(cm)重點(diǎn)是這個(gè)labels參數(shù)。它用來指定類別索引的完整列表順序就是矩陣行列的順序。如果你的測試集某個(gè)類別恰好一個(gè)樣本都沒出現(xiàn)不傳labels的話矩陣會缺少那一行一列導(dǎo)致維度對不上。我一般在多分類任務(wù)中都會顯式傳入labelslist(range(num_classes))強(qiáng)制讓矩陣維度固定。如果真實(shí)標(biāo)簽和預(yù)測標(biāo)簽是PyTorch張量先轉(zhuǎn)成Python列表或NumPy數(shù)組再傳入。# 從 GPU 張量轉(zhuǎn)到 CPU再轉(zhuǎn) numpy y_true_np y_true.cpu().numpy() y_pred_np y_pred.cpu().numpy() cm confusion_matrix(y_true_np, y_pred_np, labelslist(range(num_classes)))這里我解釋一下為什么要先轉(zhuǎn)cpu().numpy()。confusion_matrix函數(shù)接收的是類數(shù)組結(jié)構(gòu)PyTorch張量雖然也能在某些情況下被兼容但為避免type error或device對不上的問題統(tǒng)一轉(zhuǎn)成NumPy數(shù)組最省心。3.3 手工方式 vs 現(xiàn)成函數(shù)怎么選有人可能會覺得既然現(xiàn)成函數(shù)這么方便為什么還要學(xué)手寫因?yàn)楝F(xiàn)成函數(shù)幫我們省掉的是“計(jì)數(shù)”這一步但沒有幫我們理解“矩陣的含義”。在實(shí)際問題排查中你需要跟別人解釋為什么某個(gè)位置數(shù)值異常偏高這時(shí)候只有真正理解矩陣每一格的含義才能基于業(yè)務(wù)邏輯給出合理解釋。兩種方式建議這樣搭配學(xué)習(xí)和調(diào)試階段手寫理解透徹后正式代碼里用現(xiàn)成函數(shù)。還有一個(gè)細(xì)節(jié)手寫矩陣用for循環(huán)效率較低如果測試集很大比如幾萬甚至幾十萬樣本建議用torch.zeros和index_put_這類批量操作或者直接用NumPy的np.add.at。不過對常規(guī)項(xiàng)目來說這個(gè)復(fù)雜度根本遇不到。4. 畫出真正能用的混淆矩陣圖配色、歸一化與標(biāo)注4.1 基礎(chǔ)熱力圖讓數(shù)字變成顏色矩陣本身是數(shù)字表格直接看也能看但遠(yuǎn)不如熱力圖直觀。熱力圖的核心思想是用顏色深淺表示數(shù)值大小顏色越深數(shù)值越大。對角線越深說明分類效果越好。用seaborn畫熱力圖是我用得最多的方式因?yàn)樗膆eatmap函數(shù)幾乎為混淆矩陣量身定制import matplotlib.pyplot as plt import seaborn as sns import numpy as np from sklearn.metrics import confusion_matrix # 假設(shè)已經(jīng)得到 cm 和類別名稱 class_names plt.figure(figsize(8, 6)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabelsclass_names, yticklabelsclass_names, cbarFalse) plt.xlabel(Predicted label) plt.ylabel(True label) plt.title(Confusion Matrix) plt.tight_layout() plt.savefig(confusion_matrix.png, dpi300) plt.show()參數(shù)說明annotTrue在每個(gè)格子里顯示數(shù)字。fmtd因?yàn)榛煜仃囀钦麛?shù)計(jì)數(shù)用d表示十進(jìn)制整數(shù)格式。如果錯(cuò)用了fmt.2f或者不寫可能報(bào)錯(cuò)或者顯示成小數(shù)。cmapBlues藍(lán)色漸變顏色越深數(shù)值越大這是論文里最常見的配色。xticklabels和yticklabels傳入類別名稱列表讓坐標(biāo)軸顯示可讀的名稱而不是數(shù)字索引。cbarFalse我比較喜歡關(guān)掉右側(cè)的顏色條因?yàn)樗槐硎绢伾顪\對應(yīng)數(shù)值大小但每個(gè)格子已經(jīng)標(biāo)了數(shù)字顏色條的信息量有限還占空間。如果對顏色對比敏感可以保留。4.2 歸一化從計(jì)數(shù)到比例的轉(zhuǎn)換原始計(jì)數(shù)矩陣有個(gè)問題如果每個(gè)類別的樣本數(shù)不同深色的格子分布會失真。例如類別0有1000個(gè)測試樣本類別1只有100個(gè)即使兩者的識別率都是80%類別0對應(yīng)的對角線格子數(shù)值是800顏色會非常深類別1只有80看起來很淺給人造成“類別1表現(xiàn)很差”的錯(cuò)覺。解決方法是按行歸一化歸一化后每個(gè)格子的值表示“該行真實(shí)類別中有多少比例的樣本被預(yù)測到了這一列”。歸一化矩陣的計(jì)算方法把每一行的所有值除以該行的總和。在scikit-learn中可以直接指定normalizetruecm_normalized confusion_matrix(y_true, y_pred, labelslist(range(num_classes)), normalizetrue)在seaborn繪制時(shí)我通常這樣處理cm confusion_matrix(y_true, y_pred, labelslist(range(num_classes))) cm_norm cm.astype(float) / cm.sum(axis1, keepdimsTrue) sns.heatmap(cm_norm, annotTrue, fmt.2f, cmapBlues, xticklabelsclass_names, yticklabelsclass_names)注意歸一化后fmt要改成.2f顯示兩位小數(shù)。在最終展示時(shí)我更傾向于同時(shí)展示兩種形式一是原始計(jì)數(shù)矩陣用來精確知道樣本數(shù)量二是按行歸一化的比例矩陣用來比較不同類別之間的表現(xiàn)。可參考的展示方案是先打印原始計(jì)數(shù)矩陣再打印歸一化矩陣圖里選一種呈現(xiàn)。4.3 坐標(biāo)軸字體、標(biāo)題和圖像導(dǎo)出細(xì)節(jié)可視化不只是把圖畫出來還要考慮最終使用場景。如果圖是要放進(jìn)論文、技術(shù)報(bào)告或PPT里的要注意以下幾點(diǎn)。首先類別名稱如果比較長比如“background_with_noise”這種橫坐標(biāo)文字會重疊。解決方法是把坐標(biāo)軸文字旋轉(zhuǎn)一下plt.xticks(rotation45, haright) plt.yticks(rotation0)旋轉(zhuǎn)角度一般45度就夠haright讓文字右對齊避免和相鄰文字貼在一起。其次字體大小要適配圖片尺寸。默認(rèn)字號在8乘6英寸的圖里還行但如果類別很多比如30個(gè)類別格子很小數(shù)字會擠在一起。這時(shí)候要么調(diào)大figsize要么調(diào)小字體sns.set(font_scale1.2) # 全局放大字體 # 或者單獨(dú)控制 annot 字體大小 sns.heatmap(..., annot_kws{size: 10})最后是導(dǎo)出格式。我會優(yōu)先導(dǎo)出一個(gè)矢量圖加一個(gè)位圖。矢量圖用PDF或SVG用于論文或報(bào)告縮放不失真位圖用PNGdpi300以上用于網(wǎng)頁展示或微信群聊。示例代碼plt.savefig(confusion_matrix.pdf, formatpdf, bbox_inchestight) plt.savefig(confusion_matrix.png, formatpng, dpi300, bbox_inchestight)bbox_inchestight會自動(dòng)裁剪圖片邊緣空白保證整張圖緊湊這一步我?guī)缀趺看味紩印?. 驗(yàn)證集、測試集和全量推理數(shù)據(jù)到底用哪一份5.1 三份數(shù)據(jù)的分工不少初學(xué)者會把訓(xùn)練過程中打印的驗(yàn)證集準(zhǔn)確率對應(yīng)的混淆矩陣當(dāng)作最終結(jié)果這其實(shí)不太嚴(yán)謹(jǐn)。驗(yàn)證集的作用是調(diào)參和選模型它參與了你對超參數(shù)的選擇過程所以用它評估模型會略微偏樂觀。真正用于最終性能報(bào)告的應(yīng)該是測試集也就是訓(xùn)練過程中從未參與梯度更新和模型選擇的樣本。如果連測試集你也反復(fù)用來做決策它也會慢慢“污染”。所以我的習(xí)慣是訓(xùn)練過程中的混淆矩陣用驗(yàn)證集畫用于觀察每個(gè)epoch有沒有個(gè)別類別開始嚴(yán)重錯(cuò)認(rèn)最終匯報(bào)和論文里的混淆矩陣用測試集畫用于說明模型的真實(shí)泛化能力。5.2 推理時(shí)別用模型本身的Dropout和BatchNorm坑在PyTorch中如果模型處于訓(xùn)練模式model.train()Dropout和BatchNorm的行為與推理模式不同。畫混淆矩陣時(shí)必須把模型切換到評估模式model.eval() with torch.no_grad(): outputs model(batch_data) preds torch.argmax(outputs, dim1)如果不加torch.no_grad()推理過程會構(gòu)建計(jì)算圖不僅占用大量顯存速度也慢畫個(gè)混淆矩陣把顯卡顯存跑爆就尷尬了。model.eval()則能保證BatchNorm使用訓(xùn)練階段統(tǒng)計(jì)的均值和方差Dropout關(guān)閉這樣推理結(jié)果才穩(wěn)定可控。有一次我忘了加model.eval()連續(xù)跑兩次同一條測試數(shù)據(jù)得出的預(yù)測結(jié)果不一樣嚇了自己一跳最后排查發(fā)現(xiàn)是Dropout在作怪。5.3 數(shù)據(jù)順序打亂對矩陣沒有影響但對可視化有影響混淆矩陣本質(zhì)上是對所有樣本計(jì)數(shù)的匯總不關(guān)心樣本順序。所以DataLoader里是否shuffleTrue不影響矩陣結(jié)果。但要注意如果你同時(shí)還想輸出“哪些具體樣本被分錯(cuò)了”以便人工檢查錯(cuò)誤案例那就必須記錄樣本路徑或ID而不能只記預(yù)測結(jié)果。順序一旦打亂你只知道有幾個(gè)樣本被錯(cuò)認(rèn)卻不知道具體是哪幾張圖。我通常會在推理時(shí)把樣本的路徑和預(yù)測結(jié)果一起記錄下來便于后續(xù)人工核對。這步在圖像分類里特別重要因?yàn)榫仃囍荒芨嬖V你錯(cuò)誤數(shù)量不能告訴你錯(cuò)誤原因。6. 從矩陣到洞察進(jìn)階分析與實(shí)戰(zhàn)技巧6.1 發(fā)現(xiàn)系統(tǒng)性錯(cuò)誤相鄰類別的強(qiáng)烈混淆混淆矩陣一個(gè)特別有用的場景是發(fā)現(xiàn)“系統(tǒng)性錯(cuò)認(rèn)”。比如在植物葉片分類中兩種外觀極其相似的病害類型常?；ハ嗷煜仃?yán)飼吹絻蓚€(gè)對稱的非對角線位置數(shù)值都很高。這說明模型并沒有學(xué)會區(qū)分它們本質(zhì)上是特征表達(dá)不夠或者兩類樣本之間的差異確實(shí)微小。發(fā)現(xiàn)這種規(guī)律后我的處理步驟通常是這樣先統(tǒng)計(jì)這兩個(gè)類別的樣本量確認(rèn)是否不平衡然后檢查訓(xùn)練數(shù)據(jù)里這兩個(gè)類別的圖像是否采集條件差異很大比如光照、角度再考慮是否需要對這兩類做特征可視化比如用梯度加權(quán)類激活映射看模型關(guān)注區(qū)域是否有問題。6.2 類別不平衡如何讓矩陣“說謊”歸一化矩陣能解決一部分“比較”問題但解決不了根本問題樣本量太少的類別即使歸一化后準(zhǔn)確率看著還行實(shí)際可信度也不高。比如某個(gè)類別只有10個(gè)測試樣本哪怕只有1個(gè)被分錯(cuò)歸一化后準(zhǔn)確率就只有90%而另一個(gè)類別有1000個(gè)樣本50個(gè)分錯(cuò)準(zhǔn)確率是95%。單看這兩個(gè)數(shù)字好像后者更好但樣本量差異導(dǎo)致前者的置信區(qū)間大得多。這種情況下我建議在矩陣圖下方額外標(biāo)注每個(gè)類別的測試樣本數(shù)。代碼上可以準(zhǔn)備一個(gè)樣本數(shù)列表用plt.text在對應(yīng)的列下方標(biāo)注或者干脆在類別名稱里帶上樣本量比如“類別A (n100)”。6.3 結(jié)合分類報(bào)告一起打包輸出混淆矩陣是基礎(chǔ)但給別人看的時(shí)候通常不能只甩一張矩陣圖。我在項(xiàng)目匯報(bào)時(shí)一般會同時(shí)輸出一份分類報(bào)告包含每個(gè)類別的精確率、召回率、F1值和樣本數(shù)。這樣既能從矩陣看全局又能從指標(biāo)看單類表現(xiàn)論證更充分。from sklearn.metrics import classification_report report classification_report(y_true_np, y_pred_np, target_namesclass_names, digits3) print(report)這段代碼會輸出一個(gè)表格每個(gè)類一行最后一行為加權(quán)平均。配合矩陣圖放在結(jié)果部分信息量完全夠用。6.4 多標(biāo)簽任務(wù)不是這個(gè)畫法這里要特別提醒一句本文討論的是單標(biāo)簽多分類任務(wù)每個(gè)樣本只能屬于一個(gè)類別。如果你做的是多標(biāo)簽任務(wù)比如一張圖同時(shí)包含“貓”和“狗”那混淆矩陣的畫法就完全不同了需要按標(biāo)簽維度單獨(dú)畫或者使用多標(biāo)簽專用的評估指標(biāo)。矩陣的行列在這里就對應(yīng)不上不要混淆。7. 常見問題與排查思路實(shí)錄7.1 畫圖時(shí)報(bào)錯(cuò)“size mismatch”最常見的錯(cuò)誤之一。原因通常是類別數(shù)對不上比如模型輸出10類但labels列表只給了8個(gè)或者測試集里某些類別缺失。排查順序先打印model最后一層輸出維度再打印訓(xùn)練時(shí)保存的類別映射然后打印len(np.unique(y_true))逐項(xiàng)核對。7.2 歸一化矩陣?yán)锍霈F(xiàn)NaN這類問題一般發(fā)生在某個(gè)行和為0的情況下也就是某個(gè)類別一個(gè)測試樣本都沒有。因?yàn)榉帜笧?除法結(jié)果變成NaN。解決方法是先檢查類別分布確保每個(gè)類別都有測試樣本如果確實(shí)沒有這一行就不該出現(xiàn)在矩陣?yán)镄枰獜膌abels里去掉該類別或者在計(jì)算時(shí)加一個(gè)極小值防止除零。7.3 圖片上中文類別名稱顯示成方塊matplotlib默認(rèn)字體不支持中文直接寫中文標(biāo)簽會變成一個(gè)個(gè)方框。解決方法有兩個(gè)一是直接用英文類別名最省事二是給matplotlib設(shè)置中文字體。代碼片段plt.rcParams[font.sans-serif] [SimHei] # 或 [Microsoft YaHei] plt.rcParams[axes.unicode_minus] False需要注意Linux服務(wù)器上可能沒有SimHei可以改用DejaVu Sans配合英文標(biāo)簽。如果是長期做中文項(xiàng)目我建議從始至終統(tǒng)一使用英文類別名加一份映射字典避免字體問題的困擾。7.4 GPU顯存不足的坑推理整個(gè)測試集時(shí)如果一次性把全部數(shù)據(jù)丟給模型顯存很容易溢出。正確做法是使用DataLoader分批推理每次累積預(yù)測結(jié)果all_preds [] all_labels [] for images, labels in test_loader: images images.to(device) labels labels.to(device) with torch.no_grad(): outputs model(images) preds torch.argmax(outputs, dim1) all_preds.append(preds.cpu()) all_labels.append(labels.cpu()) all_preds torch.cat(all_preds).numpy() all_labels torch.cat(all_labels).numpy()這里我把預(yù)測結(jié)果先放到CPU再在最后合并。注意不要每步都torch.cat這會復(fù)制數(shù)據(jù)多次效率低應(yīng)該先收集列表最后一次性合并。7.5 分類報(bào)告和矩陣對不上這個(gè)問題的根源往往是y_true和y_pred的來源不一致。比如y_true來自測試集的原始標(biāo)簽而y_pred來自某個(gè)評測階段的輸出文件兩者順序沒有對齊。排查方法是對比前幾個(gè)樣本的路徑和預(yù)測結(jié)果確認(rèn)是否一一對應(yīng)。我自己的經(jīng)驗(yàn)是永遠(yuǎn)在同一個(gè)推理循環(huán)里同時(shí)收集真實(shí)標(biāo)簽和預(yù)測標(biāo)簽不要分開跑兩次再合并。8. 我常用的一個(gè)完整可交付模板最后分享一個(gè)我自己項(xiàng)目里常用的模板代碼整體打包可直接復(fù)制修改。它做了三件事推理并收集標(biāo)簽、計(jì)算原始和歸一化矩陣、繪制并導(dǎo)出圖片。import torch import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.metrics import confusion_matrix, classification_report def evaluate_and_plot(model, test_loader, class_names, device, save_path_prefixcm): model.eval() all_preds [] all_labels [] with torch.no_grad(): for images, labels in test_loader: images images.to(device) labels labels.to(device) outputs model(images) preds torch.argmax(outputs, dim1) all_preds.append(preds.cpu()) all_labels.append(labels.cpu()) y_pred torch.cat(all_preds).numpy() y_true torch.cat(all_labels).numpy() cm confusion_matrix(y_true, y_pred, labelslist(range(len(class_names)))) cm_norm cm.astype(float) / cm.sum(axis1, keepdimsTrue) print(Classification Report:) print(classification_report(y_true, y_pred, target_namesclass_names, digits3)) fig, axes plt.subplots(1, 2, figsize(16, 7)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabelsclass_names, yticklabelsclass_names, axaxes[0], cbarFalse) axes[0].set_title(Confusion Matrix (Counts)) axes[0].set_xlabel(Predicted label) axes[0].set_ylabel(True label) sns.heatmap(cm_norm, annotTrue, fmt.2f, cmapBlues, xticklabelsclass_names, yticklabelsclass_names, axaxes[1], cbarFalse) axes[1].set_title(Confusion Matrix (Row-Normalized)) axes[1].set_xlabel(Predicted label) axes[1].set_ylabel(True label) plt.tight_layout() plt.savefig(f{save_path_prefix}.pdf, formatpdf, bbox_inchestight) plt.savefig(f{save_path_prefix}.png, formatpng, dpi300, bbox_inchestight) plt.show() return cm, cm_norm, y_true, y_pred這個(gè)函數(shù)會把歸一化和原始計(jì)數(shù)矩陣并排畫在同一張圖里一次導(dǎo)出兩種視圖。傳給它的test_loader不需要shuffleclass_names從dataset.classes里提取。我自己做項(xiàng)目時(shí)會把保存的PDF圖直接放進(jìn)技術(shù)報(bào)告里PNG圖放到文檔中省去重新繪制的麻煩。用下來這么久我覺得混淆矩陣這個(gè)工具比想象中更“耐看”。每次訓(xùn)練完新模型我都會把它當(dāng)作一個(gè)標(biāo)準(zhǔn)動(dòng)作和打印準(zhǔn)確率一樣自然。有時(shí)候矩陣看起來結(jié)果不理想反而能逼著我去找數(shù)據(jù)里的問題這比模型調(diào)參本身更有價(jià)值。希望這套流程能幫你省掉一些自己摸索的時(shí)間。