據(jù)增強(qiáng)與混淆矩陣：圖像分類模型訓(xùn)練與評估實(shí)戰(zhàn))
最近在系統(tǒng)地重刷一門非常經(jīng)典的機(jī)器學(xué)習(xí)公開課正好整理到“數(shù)據(jù)增強(qiáng)”和“混淆矩陣”這兩個部分。說實(shí)話這兩個內(nèi)容在課程里往往都被一兩句話帶過實(shí)戰(zhàn)中卻幾乎是每個圖像任務(wù)都繞不開的硬骨頭。數(shù)據(jù)增強(qiáng)解決“數(shù)據(jù)不夠、模型學(xué)不進(jìn)去”的問題混淆矩陣解決“模型有沒有真的學(xué)會”的問題——一個管訓(xùn)練一個管評估兩者看似獨(dú)立放在一起用才最有意思。這篇文章我打算按自己的學(xué)習(xí)路徑來寫先講清楚數(shù)據(jù)增強(qiáng)到底在做什么、常用方法怎么選、如何用常見框架實(shí)現(xiàn)一套完整流水線再轉(zhuǎn)到混淆矩陣的概念推導(dǎo)、多分類展開和可視化實(shí)操最后用一個小實(shí)驗(yàn)把兩者串起來看看增強(qiáng)手段到底怎么影響評估指標(biāo)。適合正在學(xué)機(jī)器學(xué)習(xí)、做圖像分類或者準(zhǔn)備項(xiàng)目答辯的讀者至少能幫你少踩幾個我踩過的坑。1. 先聊清楚數(shù)據(jù)增強(qiáng)到底在解決什么問題1.1 小樣本與過擬合的惡性循環(huán)我第一次跑圖像分類任務(wù)的時候手里只有幾千張圖模型還偏深。訓(xùn)練集準(zhǔn)確率很快就飆到99%以上驗(yàn)證集卻一直卡在85%上下波動——這就是最典型的過擬合。模型不是在學(xué)“貓和狗的區(qū)別”而是在背訓(xùn)練集里每張圖的噪聲和背景。為什么會產(chǎn)生這種情況神經(jīng)網(wǎng)絡(luò)的參數(shù)量非常龐大尤其卷積網(wǎng)絡(luò)動輒幾百萬參數(shù)而幾千張圖片提供的有效約束遠(yuǎn)遠(yuǎn)不夠。模型可以找到無數(shù)種方式在訓(xùn)練集上“死記硬背”其中大多數(shù)方式對未見過的數(shù)據(jù)毫無泛化能力。這時候最直接的思路是增加訓(xùn)練數(shù)據(jù)但現(xiàn)實(shí)中標(biāo)注成本很高尤其醫(yī)學(xué)影像、工業(yè)缺陷檢測這類領(lǐng)域湊數(shù)據(jù)不是靠爬蟲就能解決的。數(shù)據(jù)增強(qiáng)就是在這種困境下被大量采用的手段。它的核心在于在不改變樣本語義的前提下對原始圖像做一系列“無害變換”讓模型看到同一個樣本的更多形態(tài)。貓水平翻轉(zhuǎn)之后還是貓亮度調(diào)暗一點(diǎn)也還是貓。模型從“記住一張圖”變成“理解一類模式”泛化能力自然更強(qiáng)。1.2 數(shù)據(jù)增強(qiáng)的本質(zhì)在保持語義不變的前提下擴(kuò)展樣本分布打個比方一個人認(rèn)貓只看過貓正面端坐的照片那他在現(xiàn)實(shí)中見到背對著他的貓可能就認(rèn)不出來了。但如果他從小見過貓的各個角度、各種光線、各種姿勢那“貓”這個概念在他腦子里就是一個豐富立體的分布而不是一張圖像。數(shù)據(jù)增強(qiáng)做的就是這件事——把訓(xùn)練集從一本“靜態(tài)相冊”變成一段“動態(tài)視頻”。水平翻轉(zhuǎn)、隨機(jī)裁剪、色彩抖動、添加噪聲本質(zhì)上都是在原始樣本周圍進(jìn)行合理插值擴(kuò)大模型對輸入分布的感受范圍。關(guān)鍵約束是“語義不變”你不能把一個6旋轉(zhuǎn)成9不能把一張人臉圖片旋轉(zhuǎn)180度后還指望模型學(xué)到正確的面部特征也不能把“停車標(biāo)志”的顏色隨意篡改。增強(qiáng)過度等于給數(shù)據(jù)加了錯誤標(biāo)簽反而會把模型帶偏。1.3 什么時候不能用數(shù)據(jù)增強(qiáng)關(guān)鍵禁忌很多教程只講“增強(qiáng)很好”但很少講“增強(qiáng)不能亂用”。以下是我實(shí)際踩過坑的幾類場景第一方向敏感任務(wù)。文字識別、車牌識別、交通標(biāo)志識別這類方向性很強(qiáng)的任務(wù)不適合大角度旋轉(zhuǎn)。一張“STOP”標(biāo)志旋轉(zhuǎn)180度語義直接變成了另一回事。水平翻轉(zhuǎn)對數(shù)字6和9、字母b和d同樣會造成標(biāo)簽混淆。第二尺度敏感任務(wù)。醫(yī)學(xué)圖像中病灶大小往往和病理等級直接相關(guān)無節(jié)制縮放會破壞這種尺度信息。工業(yè)質(zhì)檢里一個劃痕被隨機(jī)裁剪放大后可能看起來像另一個缺陷類別。第三驗(yàn)證集和測試集不能做相同的增強(qiáng)。很多人圖省事把數(shù)據(jù)增強(qiáng)流水線整套套在驗(yàn)證集上。這會導(dǎo)致驗(yàn)證集和訓(xùn)練集的分布被人為拉近評估結(jié)果虛高部署后真實(shí)性能反而掉下去。正確的做法是訓(xùn)練集做增強(qiáng)驗(yàn)證集和測試集只做縮放、歸一化這類確定性預(yù)處理。注意數(shù)據(jù)增強(qiáng)是訓(xùn)練策略不是數(shù)據(jù)預(yù)處理策略?？梢园阉斫鉃榻o模型“加難度”的輔助輪真正的路況評估還是要在原圖分布上進(jìn)行。2. 常用數(shù)據(jù)增強(qiáng)方法盤點(diǎn)與效果解讀2.1 幾何變換翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、裁剪幾何變換是效果最直觀的一類增強(qiáng)。水平翻轉(zhuǎn)幾乎是圖像分類任務(wù)的標(biāo)配實(shí)現(xiàn)簡單、風(fēng)險低尤其對自然場景圖片幾乎總是安全的。隨機(jī)裁剪則有兩種用法一種是裁剪到固定大小并縮放相當(dāng)于讓模型看到物體的局部特征另一種是按一定比例裁剪后再resize到原始尺寸相當(dāng)于同時做了輕微縮放。旋轉(zhuǎn)通常在±10度到±30度之間選擇角度太大會讓物體邊緣大量出畫等于變相裁剪掉關(guān)鍵信息?？s放的范圍一般在0.8到1.2之間配合隨機(jī)裁剪使用。平移則可以通過填充常數(shù)或反射填充來實(shí)現(xiàn)注意填充值最好和數(shù)據(jù)集均值一致否則圖上會出現(xiàn)明顯的邊框痕跡。這些幾何變換本質(zhì)上是讓模型對“位置、姿態(tài)、尺度”不敏感。如果你在卷積網(wǎng)絡(luò)里已經(jīng)用了較好的全局池化和多尺度訓(xùn)練這些增強(qiáng)的作用會被進(jìn)一步放大。2.2 顏色與紋理擾動亮度、對比度、飽和度、噪聲顏色類增強(qiáng)的作用容易被低估。同一類物體在不同光照條件下拍攝顏色分布差異可以非常大。讓模型在訓(xùn)練時看到多種亮度、對比度、色相和飽和度會讓它在白天、夜晚、陰天場景下都保持穩(wěn)定。具體參數(shù)上亮度調(diào)整范圍一般在±0.2左右乘性因子0.8~1.2對比度和飽和度類似。色相偏移要特別小心它會把顏色的類別信息改變——比如紅色和橙色在某些任務(wù)中本身就是區(qū)分類別的關(guān)鍵線索。通常色相偏移不超過±0.1。高斯噪聲也是一種有效的增強(qiáng)它讓模型忽略傳感器噪聲和高頻紋理細(xì)節(jié)從而更關(guān)注物體的結(jié)構(gòu)特征。加噪聲的幅度不宜過大否則圖像變得模糊正常內(nèi)容反而被淹沒。我一般傾向于把噪聲作為最后手段當(dāng)幾何和顏色增強(qiáng)都不見效時再考慮。2.3 更聰明的組合式增強(qiáng)Mixup、Cutout、AutoAugment除了單張圖像的變換還有一些更高級的增強(qiáng)策略。Mixup的思路很巧妙把兩張訓(xùn)練圖按比例線性疊加同時把標(biāo)簽也按同樣的比例混合。比如一張貓和一張狗各取0.7和0.3的權(quán)重合成新圖標(biāo)簽就是0.7的貓和0.3的狗。這相當(dāng)于在樣本之間制造連續(xù)的過渡樣本迫使模型學(xué)會“平滑”的決策邊界而不是在邊界處過擬合。這個方法可以顯著減少訓(xùn)練中的震蕩但也會增加收斂時間。Cutout隨機(jī)擦除是另一種思路在圖像中隨機(jī)選一個矩形區(qū)域把里面的像素置為零或隨機(jī)噪聲。模型被迫學(xué)會利用物體的局部特征而不是依賴某個“關(guān)鍵部位”。對遮擋場景很有效比如行人被汽車擋住一半的情況。AutoAugment這類自動搜索方法則是把增強(qiáng)策略的選擇本身交給算法。它在子策略空間里搜索哪種變換組合、參數(shù)范圍對當(dāng)前數(shù)據(jù)集最有效。思想很好搜索成本也高不是所有項(xiàng)目都有必要上。如果只是做一個小分類任務(wù)手動選3到4種增強(qiáng)就夠用了。2.4 增強(qiáng)策略選擇參考表不同任務(wù)適合的增強(qiáng)手段差異很大我把自己常用的一些判斷列成表格供參考任務(wù)類型推薦的增強(qiáng)手段謹(jǐn)慎使用或避免的增強(qiáng)自然圖像分類水平翻轉(zhuǎn)、隨機(jī)裁剪、輕度旋轉(zhuǎn)、顏色抖動大角度旋轉(zhuǎn)、色相大幅偏移細(xì)粒度識別隨機(jī)裁剪、縮放、Cutout過度顏色擾動、水平翻轉(zhuǎn)某些紋理不對稱醫(yī)學(xué)影像輕度平移、縮放、仿射變換、對比度調(diào)整水平翻轉(zhuǎn)視部位而定、大范圍擦除文字/OCR輕微透視變換、對比度調(diào)整、模糊旋轉(zhuǎn)接近90度、水平翻轉(zhuǎn)工業(yè)缺陷檢測旋轉(zhuǎn)90度步進(jìn)、翻轉(zhuǎn)、顏色擾動過度模糊、隨機(jī)擦除面積過大表格里的內(nèi)容不是絕對標(biāo)準(zhǔn)但可以作為起步配置。核心判斷依據(jù)只有一條增強(qiáng)之后人還能不能一眼認(rèn)出這是什么如果連人都認(rèn)不出模型大概率也學(xué)不到什么正面的東西。3. 用框架實(shí)現(xiàn)標(biāo)準(zhǔn)增強(qiáng)流水線實(shí)操3.1 環(huán)境準(zhǔn)備與數(shù)據(jù)準(zhǔn)備我用的是深度學(xué)習(xí)中比較常見的PyTorch生態(tài)配合 torchvision 提供的 transforms 模塊可以非常方便地把多種增強(qiáng)組合成一條流水線。先導(dǎo)入基礎(chǔ)庫import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, Dataset from torchvision import datasets, transforms from PIL import Image數(shù)據(jù)準(zhǔn)備階段以簡單的圖像二分類為例目錄結(jié)構(gòu)可以這樣組織data/ ├── train/ │ ├── class_a/ │ ├── class_b/ └── val/ ├── class_a/ └── class_b/使用datasets.ImageFolder可以直接按目錄結(jié)構(gòu)讀取數(shù)據(jù)不需要手寫 Dataset。對于不熟悉這個接口的讀者它本質(zhì)上就是在做兩件事遍歷文件夾把每個子目錄名映射成整數(shù)標(biāo)簽。3.2 訓(xùn)練集增強(qiáng)與驗(yàn)證集預(yù)處理的正確寫法這里需要非常明確地分成兩套變換流程一個用于訓(xùn)練集一個用于驗(yàn)證集。train_transform transforms.Compose([ transforms.RandomResizedCrop(size224, scale(0.8, 1.0)), transforms.RandomHorizontalFlip(p0.5), transforms.RandomRotation(degrees15), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2, hue0.05), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])訓(xùn)練集流水線里RandomResizedCrop會在隨機(jī)位置裁剪一塊區(qū)域再縮放到224x224同時實(shí)現(xiàn)了裁剪和縮放兩種增強(qiáng)RandomHorizontalFlip以50%概率翻轉(zhuǎn)RandomRotation在±15度內(nèi)旋轉(zhuǎn)ColorJitter調(diào)整顏色屬性。驗(yàn)證集流水線則只做確定性操作先Resize到256再CenterCrop取中間224x224區(qū)域——這樣做是為了讓評估結(jié)果穩(wěn)定可復(fù)現(xiàn)不會因?yàn)殡S機(jī)增強(qiáng)導(dǎo)致每次驗(yàn)證結(jié)果波動。需要特別留意的是ToTensor和Normalize的順序ToTensor會把PIL圖像轉(zhuǎn)換為張量并把像素值從0~255縮放到0~1Normalize再按通道均值和標(biāo)準(zhǔn)差做標(biāo)準(zhǔn)化。這里使用的三個均值0.485、0.456、0.406和標(biāo)準(zhǔn)差0.229、0.224、0.225是經(jīng)典模型在ImageNet上統(tǒng)計出來的值對大多數(shù)自然圖像任務(wù)都是通用且合理的。如果數(shù)據(jù)分布非常特殊可以自己統(tǒng)計均值標(biāo)準(zhǔn)差替代。訓(xùn)練循環(huán)里每次迭代都會重新執(zhí)行隨機(jī)變換也就是說每一個epoch里模型看到的訓(xùn)練樣本都是不完全一樣的這就讓模型每一步都面臨輕微不同的輸入分布提高泛化能力。3.3 實(shí)際運(yùn)行與結(jié)果對比增強(qiáng)前后訓(xùn)練曲線差異我自己跑過一個對比實(shí)驗(yàn)用的是同一個數(shù)據(jù)集、同一個模型結(jié)構(gòu)只改變是否啟用數(shù)據(jù)增強(qiáng)。結(jié)果非常有代表性不啟用增強(qiáng)時訓(xùn)練準(zhǔn)確率在第12個epoch就超過了98%驗(yàn)證準(zhǔn)確率卻停在83%左右隨后訓(xùn)練準(zhǔn)確率繼續(xù)上升驗(yàn)證準(zhǔn)確率反而小幅下降過擬合的曲線形態(tài)非常清晰。啟用增強(qiáng)后訓(xùn)練準(zhǔn)確率上升速度變慢大約到第25個epoch才接近94%但驗(yàn)證準(zhǔn)確率反而穩(wěn)步爬到了89%以上。雖然訓(xùn)練準(zhǔn)確率低于不增強(qiáng)的路但訓(xùn)練和驗(yàn)證之間的差距小了很多這說明模型的泛化能力確實(shí)更強(qiáng)。這個現(xiàn)象背后有個容易誤解的點(diǎn)很多人看到訓(xùn)練準(zhǔn)確率下降會慌以為增強(qiáng)把模型“帶弱了”。其實(shí)訓(xùn)練準(zhǔn)確率微降恰恰說明增強(qiáng)在發(fā)揮作用——模型不再背誦訓(xùn)練集而是學(xué)習(xí)更泛化的特征。判斷增強(qiáng)是否有效不能只看訓(xùn)練集要用“訓(xùn)練集和驗(yàn)證集的差距”來衡量。差距越小模型越穩(wěn)健。4. 混淆矩陣機(jī)器學(xué)習(xí)最容易忽略的評估工具4.1 二分類混淆矩陣的四個格子里到底放的什么準(zhǔn)確率是絕大多數(shù)人習(xí)慣看的第一個指標(biāo)但它會騙人。用一個醫(yī)療篩查的例子假設(shè)疾病陽性率只有5%一個模型把所有樣本都預(yù)測為陰性準(zhǔn)確率是95%看起來非常漂亮但這個模型一個病人都沒找出來。這時候混淆矩陣就能看清真相。二分類混淆矩陣是一個2x2的表格行通常代表真實(shí)類別列代表預(yù)測類別。四個格子分別是TPTrue Positive真實(shí)為正預(yù)測也為正真陽性FNFalse Negative真實(shí)為正預(yù)測為負(fù)假陰性FPFalse Positive真實(shí)為負(fù)預(yù)測為正假陽性TNTrue Negative真實(shí)為負(fù)預(yù)測也為負(fù)真陰性這里的命名看似繞其實(shí)只要抓住一個規(guī)則第一個詞表示“預(yù)測對不對”第二個詞表示“預(yù)測成了什么”。True/False描述預(yù)測與真實(shí)是否一致Positive/Negative描述預(yù)測結(jié)果。TP就是預(yù)測對了且預(yù)測結(jié)果為正FN是預(yù)測錯了且預(yù)測結(jié)果為負(fù)。實(shí)際項(xiàng)目中我見過很多初學(xué)者混淆TP和FN的含義導(dǎo)致手算指標(biāo)完全錯誤。建議拿起筆隨便編一組樣本把每個樣本按真實(shí)標(biāo)簽和預(yù)測結(jié)果填入四個格子反復(fù)寫兩遍比背十遍定義都有效。4.2 從混淆矩陣到核心評估指標(biāo)混淆矩陣最大的價值在于它可以把一堆指標(biāo)講清楚。假設(shè)我們有一個二分類任務(wù)的混淆矩陣預(yù)測為正預(yù)測為負(fù)真實(shí)為正TPFN真實(shí)為負(fù)FPTN從這四個數(shù)出發(fā)可以計算以下指標(biāo)準(zhǔn)確率Accuracy等于所有預(yù)測正確的樣本占總樣本的比例(TPTN) / (TPTNFPFN)。在不平衡數(shù)據(jù)集上這個值會偏向多數(shù)類。精確率Precision等于預(yù)測為正的樣本中真實(shí)為正的比例TP / (TPFP)。它回答的問題是“模型說是正例有多可信”。召回率Recall等于真實(shí)為正的樣本中被成功找出來的比例TP / (TPFN)。它回答的問題是“所有正例里模型找回了多少”。F1分?jǐn)?shù)是精確率和召回率的調(diào)和平均2 × Precision × Recall / (Precision Recall)。它同時兼顧兩者適合作為單一評價指標(biāo)。特異度Specificity等于真實(shí)為負(fù)的樣本中被正確判為負(fù)的比例TN / (TNFP)。在某些場景下如垃圾郵件過濾、安全風(fēng)控這個指標(biāo)和召回率一樣重要。這幾個指標(biāo)不是孤立的。精確率和召回率存在天然的此消彼長關(guān)系當(dāng)你把判定閾值調(diào)低模型更容易預(yù)測為正召回率上升的同時精確率通常下降。F1分?jǐn)?shù)就是把這種關(guān)系壓縮成一個數(shù)值方便比較。4.3 多分類問題里混淆矩陣的展開方式多分類的混淆矩陣從2x2擴(kuò)展成KxKK是類別數(shù)。比如10分類就是10x10行代表真實(shí)類別列代表預(yù)測類別。對角線上的值就是每個類別預(yù)測正確的數(shù)量非對角線的值則展示了“哪兩類之間最容易被混淆”。從多分類矩陣可以計算每類的精確率和召回率但需要定義什么叫“正例”。通常的做法是計算第i類的指標(biāo)時把第i類當(dāng)作正例其他所有類別都當(dāng)作負(fù)例。這樣每個類別都能得到一組Precision和Recall。匯總所有類別的指標(biāo)有兩種方式。宏平均Macro先算出每個類別的Precision、Recall和F1再對所有類別取算術(shù)平均。它平等對待每個類別適合類別不均衡且每個類別都很重要的場景。微平均Micro則是把所有類別的TP、FP、FN合并起來統(tǒng)一計算最后得到的結(jié)果更偏向樣本量大的類別。注意微平均和按整體計算的準(zhǔn)確率在數(shù)值上是等價的。選擇哪種平均方式取決于項(xiàng)目目標(biāo)。如果業(yè)務(wù)上要求“每個類都要差不多好用”選宏平均如果追求“整體效果最優(yōu)、大類不能出錯”選微平均。5. 綜合案例圖像分類實(shí)驗(yàn)中數(shù)據(jù)增強(qiáng)對混淆矩陣指標(biāo)的影響5.1 實(shí)驗(yàn)設(shè)計為了說清楚這兩個話題怎么配合使用我設(shè)計了一個簡單的小實(shí)驗(yàn)。用一個小規(guī)模的花卉數(shù)據(jù)集共5個類別每類300張圖。用同一個輕量卷積網(wǎng)絡(luò)分別訓(xùn)練兩次一次完全不使用增強(qiáng)一次使用第3節(jié)中的增強(qiáng)流水線。訓(xùn)練完成后在驗(yàn)證集上分別繪制混淆矩陣并對比宏平均F1、精確率、召回率這些指標(biāo)。實(shí)驗(yàn)代碼的關(guān)鍵部分大致如下def evaluate(model, dataloader, device): model.eval() all_preds [] all_labels [] with torch.no_grad(): for inputs, labels in dataloader: inputs, labels inputs.to(device), labels.to(device) outputs model(inputs) _, preds torch.max(outputs, 1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.cpu().numpy()) return all_labels, all_preds拿到預(yù)測結(jié)果和真實(shí)標(biāo)簽后用 sklearn 計算混淆矩陣和各項(xiàng)指標(biāo)無法更簡單from sklearn.metrics import confusion_matrix, precision_recall_fscore_support, classification_report cm confusion_matrix(all_labels, all_preds) report precision_recall_fscore_support(all_labels, all_preds, averagemacro)5.2 實(shí)驗(yàn)結(jié)果解讀指標(biāo)變化與分類錯誤模式兩組實(shí)驗(yàn)跑完之后區(qū)別非常明顯。不看混淆矩陣的話兩組實(shí)驗(yàn)的整體準(zhǔn)確率差距可能只有3到4個百分點(diǎn)看數(shù)字會覺得“增強(qiáng)也就那樣”。但看混淆矩陣會發(fā)現(xiàn)完全不同的故事不使用增強(qiáng)的模型有大量樣本被錯誤歸類到“外觀最相似”的那一類混淆集中分布在幾個固定的格子使用增強(qiáng)的模型錯誤分布更分散而且對角線的值普遍更高。這說明什么數(shù)據(jù)增強(qiáng)雖然沒有讓整體準(zhǔn)確率突飛猛進(jìn)但它讓模型對“容易混淆的類別邊界”理解得更扎實(shí)。比如兩個花瓣顏色相近的類別不增強(qiáng)時模型總把他們搞混增強(qiáng)后顏色變化讓模型開始關(guān)注形狀和紋理特征混淆程度明顯下降。如果只看宏平均F1增強(qiáng)模型的優(yōu)勢會更突出。因?yàn)楹昶骄鶎γ總€類別一視同仁少數(shù)類的提升不會被多數(shù)類掩蓋。5.3 為什么有時增強(qiáng)后準(zhǔn)確率沒變但F1提升了這是一個非常有意思的現(xiàn)象。我拿這個實(shí)驗(yàn)的中間結(jié)果展示過某次訓(xùn)練后增強(qiáng)模型的整體準(zhǔn)確率只比無增強(qiáng)模型高了1%但宏平均F1提升了6%。原因在于準(zhǔn)確率本身受多數(shù)類主導(dǎo)如果數(shù)據(jù)里有一些類別樣本量明顯偏大多數(shù)類的提升會被少數(shù)類的下降抵消整體準(zhǔn)確率看不出什么變化。而宏平均F1會把每個類別單獨(dú)看少數(shù)類如果從“完全被忽略”變成“能認(rèn)出大部分”這個提升就非常顯著。所以如果你的項(xiàng)目品類很多、樣本不均衡強(qiáng)烈建議不要只白準(zhǔn)率。把混淆矩陣畫出來配合宏平均指標(biāo)一起看才能真正定位模型的薄弱類別。反過來如果混淆矩陣?yán)锬硞€類別的召回率特別低首先懷疑的是數(shù)據(jù)量不足而不是模型結(jié)構(gòu)問題這時候優(yōu)先補(bǔ)充該類別的數(shù)據(jù)或者增加針對性的增強(qiáng)策略而不是盲目加深網(wǎng)絡(luò)。6. 實(shí)操避坑指南與個人經(jīng)驗(yàn)6.1 實(shí)戰(zhàn)中反復(fù)踩過的5個坑第一個坑是增強(qiáng)過度導(dǎo)致標(biāo)簽崩壞。我剛開始做旋轉(zhuǎn)增強(qiáng)時設(shè)了±45度人眼看圖都費(fèi)勁結(jié)果訓(xùn)練loss居高不下驗(yàn)證曲線像過山車一樣抖動。后來把旋轉(zhuǎn)角度降到±15度問題立刻緩解。增強(qiáng)強(qiáng)度不是越大越好它有一個隱性上限過了這個上限模型學(xué)到的特征就開始失真。第二個坑是忘記對驗(yàn)證集做同樣的Normalize。訓(xùn)練集做了標(biāo)準(zhǔn)化驗(yàn)證集如果忘了做輸入分布直接不匹配模型的表現(xiàn)會斷崖式下降。這不是模型的問題是數(shù)據(jù)預(yù)處理流程不統(tǒng)一的問題。凡是訓(xùn)練流程里用了Normalize驗(yàn)證和測試階段必須用完全相同的Normalize參數(shù)。第三個坑是在驗(yàn)證集上用了隨機(jī)增強(qiáng)。有一次為了“增加驗(yàn)證集多樣性”我在驗(yàn)證集上加了RandomHorizontalFlip結(jié)果指標(biāo)忽高忽低無法復(fù)現(xiàn)。驗(yàn)證集的作用是穩(wěn)定反映模型狀態(tài)不能有隨機(jī)性。如果需要測試時增強(qiáng)Test-Time Augmentation那也應(yīng)該專門跑多次取平均而不是把隨機(jī)增強(qiáng)混進(jìn)常規(guī)驗(yàn)證流程。第四個坑是混淆矩陣用數(shù)值顯示而非比例顯示。當(dāng)各類別樣本數(shù)量差異大時矩陣?yán)锏拇髷?shù)字全部集中在樣本多的類別上一眼看去全是亮的根本看不出類別間的錯誤比例。正確做法是使用歸一化的混淆矩陣把每一行的值除以該行真實(shí)樣本總數(shù)這樣每個格子的值表示“該類別的樣本有多大比例被預(yù)測成了目標(biāo)類別”行和為1才方便比較。第五個坑是只看混淆矩陣本身不看錯誤樣本的內(nèi)容。矩陣只是一個統(tǒng)計濃縮真正的錯誤原因往往需要回到具體圖像上才能定位。矩陣上某兩類混淆嚴(yán)重要把這些錯誤樣本逐個看一遍是標(biāo)注問題是遮擋角度特殊還是兩類本來就長得像這一步雖然耗時但往往能發(fā)現(xiàn)數(shù)據(jù)集本身的bug。6.2 項(xiàng)目復(fù)盤經(jīng)驗(yàn)分享我之前參與過一個模擬項(xiàng)目做的是工業(yè)零件表面的瑕疵分類。數(shù)據(jù)集特別不平衡正常樣本占90%瑕疵樣本總共只有10%還分成了劃痕、凹坑、臟污三個小類。剛開始模型在正常類上的準(zhǔn)確率接近100%但瑕疵類基本全被漏掉混淆矩陣一眼看過去除了第一行其他地方幾乎是空的。后來做了三件事第一給三類瑕疵單獨(dú)做針對性的增強(qiáng)——劃痕類用旋轉(zhuǎn)和亮度擾動凹坑類用縮放和位置偏移臟污類用對比度和顏色擾動第二調(diào)整訓(xùn)練時的類別權(quán)重讓少數(shù)類在loss中的貢獻(xiàn)更大第三用歸一化混淆矩陣做每周復(fù)盤每類瑕疵的漏檢率、誤檢率都列成表持續(xù)跟蹤。三輪迭代之后瑕疵類別的宏平均召回率從30%左右提升到了80%以上。這段經(jīng)歷給我的最大啟發(fā)是數(shù)據(jù)增強(qiáng)不是套模板而是要根據(jù)錯誤模式做定制?；煜仃嚽∏∈前l(fā)現(xiàn)錯誤模式的最佳工具。兩個知識點(diǎn)在項(xiàng)目里是互相協(xié)作的先用混淆矩陣找出“哪類弱”再針對這些類別設(shè)計增強(qiáng)策略。6.3 經(jīng)驗(yàn)速查表以下是我在實(shí)際項(xiàng)目中沉淀下來的速查表平時做分類任務(wù)基本都會參照它情況推薦做法訓(xùn)練集樣本很少優(yōu)先使用幾何增強(qiáng)顏色增強(qiáng)必要時上Mixup類別分布不均衡使用歸一化混淆矩陣查看各類別召回率針對性補(bǔ)充數(shù)據(jù)或增強(qiáng)驗(yàn)證集指標(biāo)波動大檢查驗(yàn)證集是否混入了隨機(jī)增強(qiáng)訓(xùn)練集準(zhǔn)確率高但驗(yàn)證集低過擬合增加增強(qiáng)強(qiáng)度或引入Dropout混淆矩陣中某兩類頻繁互混檢查標(biāo)注質(zhì)量收集更多兩類邊界樣本減少會導(dǎo)致語義混淆的增強(qiáng)業(yè)務(wù)更關(guān)注少數(shù)類表現(xiàn)使用宏平均F1作為主要評估指標(biāo)這個表格不是標(biāo)準(zhǔn)答案但它覆蓋了我在實(shí)際項(xiàng)目里修復(fù)過的大部分問題。每個條目的背后基本都有一次真實(shí)的踩坑過程。關(guān)于數(shù)據(jù)增強(qiáng)和混淆矩陣我個人最大的體會是它們都不是“高級技巧”而是基本功。數(shù)據(jù)增強(qiáng)考驗(yàn)的是對任務(wù)語義的理解能力混淆矩陣考驗(yàn)的是對模型行為的洞察力。把這兩樣基本功打扎實(shí)比盲目堆模型結(jié)構(gòu)、追求SOTA指標(biāo)要重要得多。希望這篇整理也對你有用。 數(shù)據(jù)增強(qiáng)與混淆矩陣：圖像分類模型訓(xùn)練與評估實(shí)戰(zhàn)
最近在系統(tǒng)地重刷一門非常經(jīng)典的機(jī)器學(xué)習(xí)公開課正好整理到“數(shù)據(jù)增強(qiáng)”和“混淆矩陣”這兩個部分。說實(shí)話這兩個內(nèi)容在課程里往往都被一兩句話帶過實(shí)戰(zhàn)中卻幾乎是每個圖像任務(wù)都繞不開的硬骨頭。數(shù)據(jù)增強(qiáng)解決“數(shù)據(jù)不夠、模型學(xué)不進(jìn)去”的問題混淆矩陣解決“模型有沒有真的學(xué)會”的問題——一個管訓(xùn)練一個管評估兩者看似獨(dú)立放在一起用才最有意思。這篇文章我打算按自己的學(xué)習(xí)路徑來寫先講清楚數(shù)據(jù)增強(qiáng)到底在做什么、常用方法怎么選、如何用常見框架實(shí)現(xiàn)一套完整流水線再轉(zhuǎn)到混淆矩陣的概念推導(dǎo)、多分類展開和可視化實(shí)操最后用一個小實(shí)驗(yàn)把兩者串起來看看增強(qiáng)手段到底怎么影響評估指標(biāo)。適合正在學(xué)機(jī)器學(xué)習(xí)、做圖像分類或者準(zhǔn)備項(xiàng)目答辯的讀者至少能幫你少踩幾個我踩過的坑。1. 先聊清楚數(shù)據(jù)增強(qiáng)到底在解決什么問題1.1 小樣本與過擬合的惡性循環(huán)我第一次跑圖像分類任務(wù)的時候手里只有幾千張圖模型還偏深。訓(xùn)練集準(zhǔn)確率很快就飆到99%以上驗(yàn)證集卻一直卡在85%上下波動——這就是最典型的過擬合。模型不是在學(xué)“貓和狗的區(qū)別”而是在背訓(xùn)練集里每張圖的噪聲和背景。為什么會產(chǎn)生這種情況神經(jīng)網(wǎng)絡(luò)的參數(shù)量非常龐大尤其卷積網(wǎng)絡(luò)動輒幾百萬參數(shù)而幾千張圖片提供的有效約束遠(yuǎn)遠(yuǎn)不夠。模型可以找到無數(shù)種方式在訓(xùn)練集上“死記硬背”其中大多數(shù)方式對未見過的數(shù)據(jù)毫無泛化能力。這時候最直接的思路是增加訓(xùn)練數(shù)據(jù)但現(xiàn)實(shí)中標(biāo)注成本很高尤其醫(yī)學(xué)影像、工業(yè)缺陷檢測這類領(lǐng)域湊數(shù)據(jù)不是靠爬蟲就能解決的。數(shù)據(jù)增強(qiáng)就是在這種困境下被大量采用的手段。它的核心在于在不改變樣本語義的前提下對原始圖像做一系列“無害變換”讓模型看到同一個樣本的更多形態(tài)。貓水平翻轉(zhuǎn)之后還是貓亮度調(diào)暗一點(diǎn)也還是貓。模型從“記住一張圖”變成“理解一類模式”泛化能力自然更強(qiáng)。1.2 數(shù)據(jù)增強(qiáng)的本質(zhì)在保持語義不變的前提下擴(kuò)展樣本分布打個比方一個人認(rèn)貓只看過貓正面端坐的照片那他在現(xiàn)實(shí)中見到背對著他的貓可能就認(rèn)不出來了。但如果他從小見過貓的各個角度、各種光線、各種姿勢那“貓”這個概念在他腦子里就是一個豐富立體的分布而不是一張圖像。數(shù)據(jù)增強(qiáng)做的就是這件事——把訓(xùn)練集從一本“靜態(tài)相冊”變成一段“動態(tài)視頻”。水平翻轉(zhuǎn)、隨機(jī)裁剪、色彩抖動、添加噪聲本質(zhì)上都是在原始樣本周圍進(jìn)行合理插值擴(kuò)大模型對輸入分布的感受范圍。關(guān)鍵約束是“語義不變”你不能把一個6旋轉(zhuǎn)成9不能把一張人臉圖片旋轉(zhuǎn)180度后還指望模型學(xué)到正確的面部特征也不能把“停車標(biāo)志”的顏色隨意篡改。增強(qiáng)過度等于給數(shù)據(jù)加了錯誤標(biāo)簽反而會把模型帶偏。1.3 什么時候不能用數(shù)據(jù)增強(qiáng)關(guān)鍵禁忌很多教程只講“增強(qiáng)很好”但很少講“增強(qiáng)不能亂用”。以下是我實(shí)際踩過坑的幾類場景第一方向敏感任務(wù)。文字識別、車牌識別、交通標(biāo)志識別這類方向性很強(qiáng)的任務(wù)不適合大角度旋轉(zhuǎn)。一張“STOP”標(biāo)志旋轉(zhuǎn)180度語義直接變成了另一回事。水平翻轉(zhuǎn)對數(shù)字6和9、字母b和d同樣會造成標(biāo)簽混淆。第二尺度敏感任務(wù)。醫(yī)學(xué)圖像中病灶大小往往和病理等級直接相關(guān)無節(jié)制縮放會破壞這種尺度信息。工業(yè)質(zhì)檢里一個劃痕被隨機(jī)裁剪放大后可能看起來像另一個缺陷類別。第三驗(yàn)證集和測試集不能做相同的增強(qiáng)。很多人圖省事把數(shù)據(jù)增強(qiáng)流水線整套套在驗(yàn)證集上。這會導(dǎo)致驗(yàn)證集和訓(xùn)練集的分布被人為拉近評估結(jié)果虛高部署后真實(shí)性能反而掉下去。正確的做法是訓(xùn)練集做增強(qiáng)驗(yàn)證集和測試集只做縮放、歸一化這類確定性預(yù)處理。注意數(shù)據(jù)增強(qiáng)是訓(xùn)練策略不是數(shù)據(jù)預(yù)處理策略?？梢园阉斫鉃榻o模型“加難度”的輔助輪真正的路況評估還是要在原圖分布上進(jìn)行。2. 常用數(shù)據(jù)增強(qiáng)方法盤點(diǎn)與效果解讀2.1 幾何變換翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、裁剪幾何變換是效果最直觀的一類增強(qiáng)。水平翻轉(zhuǎn)幾乎是圖像分類任務(wù)的標(biāo)配實(shí)現(xiàn)簡單、風(fēng)險低尤其對自然場景圖片幾乎總是安全的。隨機(jī)裁剪則有兩種用法一種是裁剪到固定大小并縮放相當(dāng)于讓模型看到物體的局部特征另一種是按一定比例裁剪后再resize到原始尺寸相當(dāng)于同時做了輕微縮放。旋轉(zhuǎn)通常在±10度到±30度之間選擇角度太大會讓物體邊緣大量出畫等于變相裁剪掉關(guān)鍵信息?？s放的范圍一般在0.8到1.2之間配合隨機(jī)裁剪使用。平移則可以通過填充常數(shù)或反射填充來實(shí)現(xiàn)注意填充值最好和數(shù)據(jù)集均值一致否則圖上會出現(xiàn)明顯的邊框痕跡。這些幾何變換本質(zhì)上是讓模型對“位置、姿態(tài)、尺度”不敏感。如果你在卷積網(wǎng)絡(luò)里已經(jīng)用了較好的全局池化和多尺度訓(xùn)練這些增強(qiáng)的作用會被進(jìn)一步放大。2.2 顏色與紋理擾動亮度、對比度、飽和度、噪聲顏色類增強(qiáng)的作用容易被低估。同一類物體在不同光照條件下拍攝顏色分布差異可以非常大。讓模型在訓(xùn)練時看到多種亮度、對比度、色相和飽和度會讓它在白天、夜晚、陰天場景下都保持穩(wěn)定。具體參數(shù)上亮度調(diào)整范圍一般在±0.2左右乘性因子0.8~1.2對比度和飽和度類似。色相偏移要特別小心它會把顏色的類別信息改變——比如紅色和橙色在某些任務(wù)中本身就是區(qū)分類別的關(guān)鍵線索。通常色相偏移不超過±0.1。高斯噪聲也是一種有效的增強(qiáng)它讓模型忽略傳感器噪聲和高頻紋理細(xì)節(jié)從而更關(guān)注物體的結(jié)構(gòu)特征。加噪聲的幅度不宜過大否則圖像變得模糊正常內(nèi)容反而被淹沒。我一般傾向于把噪聲作為最后手段當(dāng)幾何和顏色增強(qiáng)都不見效時再考慮。2.3 更聰明的組合式增強(qiáng)Mixup、Cutout、AutoAugment除了單張圖像的變換還有一些更高級的增強(qiáng)策略。Mixup的思路很巧妙把兩張訓(xùn)練圖按比例線性疊加同時把標(biāo)簽也按同樣的比例混合。比如一張貓和一張狗各取0.7和0.3的權(quán)重合成新圖標(biāo)簽就是0.7的貓和0.3的狗。這相當(dāng)于在樣本之間制造連續(xù)的過渡樣本迫使模型學(xué)會“平滑”的決策邊界而不是在邊界處過擬合。這個方法可以顯著減少訓(xùn)練中的震蕩但也會增加收斂時間。Cutout隨機(jī)擦除是另一種思路在圖像中隨機(jī)選一個矩形區(qū)域把里面的像素置為零或隨機(jī)噪聲。模型被迫學(xué)會利用物體的局部特征而不是依賴某個“關(guān)鍵部位”。對遮擋場景很有效比如行人被汽車擋住一半的情況。AutoAugment這類自動搜索方法則是把增強(qiáng)策略的選擇本身交給算法。它在子策略空間里搜索哪種變換組合、參數(shù)范圍對當(dāng)前數(shù)據(jù)集最有效。思想很好搜索成本也高不是所有項(xiàng)目都有必要上。如果只是做一個小分類任務(wù)手動選3到4種增強(qiáng)就夠用了。2.4 增強(qiáng)策略選擇參考表不同任務(wù)適合的增強(qiáng)手段差異很大我把自己常用的一些判斷列成表格供參考任務(wù)類型推薦的增強(qiáng)手段謹(jǐn)慎使用或避免的增強(qiáng)自然圖像分類水平翻轉(zhuǎn)、隨機(jī)裁剪、輕度旋轉(zhuǎn)、顏色抖動大角度旋轉(zhuǎn)、色相大幅偏移細(xì)粒度識別隨機(jī)裁剪、縮放、Cutout過度顏色擾動、水平翻轉(zhuǎn)某些紋理不對稱醫(yī)學(xué)影像輕度平移、縮放、仿射變換、對比度調(diào)整水平翻轉(zhuǎn)視部位而定、大范圍擦除文字/OCR輕微透視變換、對比度調(diào)整、模糊旋轉(zhuǎn)接近90度、水平翻轉(zhuǎn)工業(yè)缺陷檢測旋轉(zhuǎn)90度步進(jìn)、翻轉(zhuǎn)、顏色擾動過度模糊、隨機(jī)擦除面積過大表格里的內(nèi)容不是絕對標(biāo)準(zhǔn)但可以作為起步配置。核心判斷依據(jù)只有一條增強(qiáng)之后人還能不能一眼認(rèn)出這是什么如果連人都認(rèn)不出模型大概率也學(xué)不到什么正面的東西。3. 用框架實(shí)現(xiàn)標(biāo)準(zhǔn)增強(qiáng)流水線實(shí)操3.1 環(huán)境準(zhǔn)備與數(shù)據(jù)準(zhǔn)備我用的是深度學(xué)習(xí)中比較常見的PyTorch生態(tài)配合 torchvision 提供的 transforms 模塊可以非常方便地把多種增強(qiáng)組合成一條流水線。先導(dǎo)入基礎(chǔ)庫import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, Dataset from torchvision import datasets, transforms from PIL import Image數(shù)據(jù)準(zhǔn)備階段以簡單的圖像二分類為例目錄結(jié)構(gòu)可以這樣組織data/ ├── train/ │ ├── class_a/ │ ├── class_b/ └── val/ ├── class_a/ └── class_b/使用datasets.ImageFolder可以直接按目錄結(jié)構(gòu)讀取數(shù)據(jù)不需要手寫 Dataset。對于不熟悉這個接口的讀者它本質(zhì)上就是在做兩件事遍歷文件夾把每個子目錄名映射成整數(shù)標(biāo)簽。3.2 訓(xùn)練集增強(qiáng)與驗(yàn)證集預(yù)處理的正確寫法這里需要非常明確地分成兩套變換流程一個用于訓(xùn)練集一個用于驗(yàn)證集。train_transform transforms.Compose([ transforms.RandomResizedCrop(size224, scale(0.8, 1.0)), transforms.RandomHorizontalFlip(p0.5), transforms.RandomRotation(degrees15), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2, hue0.05), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])訓(xùn)練集流水線里RandomResizedCrop會在隨機(jī)位置裁剪一塊區(qū)域再縮放到224x224同時實(shí)現(xiàn)了裁剪和縮放兩種增強(qiáng)RandomHorizontalFlip以50%概率翻轉(zhuǎn)RandomRotation在±15度內(nèi)旋轉(zhuǎn)ColorJitter調(diào)整顏色屬性。驗(yàn)證集流水線則只做確定性操作先Resize到256再CenterCrop取中間224x224區(qū)域——這樣做是為了讓評估結(jié)果穩(wěn)定可復(fù)現(xiàn)不會因?yàn)殡S機(jī)增強(qiáng)導(dǎo)致每次驗(yàn)證結(jié)果波動。需要特別留意的是ToTensor和Normalize的順序ToTensor會把PIL圖像轉(zhuǎn)換為張量并把像素值從0~255縮放到0~1Normalize再按通道均值和標(biāo)準(zhǔn)差做標(biāo)準(zhǔn)化。這里使用的三個均值0.485、0.456、0.406和標(biāo)準(zhǔn)差0.229、0.224、0.225是經(jīng)典模型在ImageNet上統(tǒng)計出來的值對大多數(shù)自然圖像任務(wù)都是通用且合理的。如果數(shù)據(jù)分布非常特殊可以自己統(tǒng)計均值標(biāo)準(zhǔn)差替代。訓(xùn)練循環(huán)里每次迭代都會重新執(zhí)行隨機(jī)變換也就是說每一個epoch里模型看到的訓(xùn)練樣本都是不完全一樣的這就讓模型每一步都面臨輕微不同的輸入分布提高泛化能力。3.3 實(shí)際運(yùn)行與結(jié)果對比增強(qiáng)前后訓(xùn)練曲線差異我自己跑過一個對比實(shí)驗(yàn)用的是同一個數(shù)據(jù)集、同一個模型結(jié)構(gòu)只改變是否啟用數(shù)據(jù)增強(qiáng)。結(jié)果非常有代表性不啟用增強(qiáng)時訓(xùn)練準(zhǔn)確率在第12個epoch就超過了98%驗(yàn)證準(zhǔn)確率卻停在83%左右隨后訓(xùn)練準(zhǔn)確率繼續(xù)上升驗(yàn)證準(zhǔn)確率反而小幅下降過擬合的曲線形態(tài)非常清晰。啟用增強(qiáng)后訓(xùn)練準(zhǔn)確率上升速度變慢大約到第25個epoch才接近94%但驗(yàn)證準(zhǔn)確率反而穩(wěn)步爬到了89%以上。雖然訓(xùn)練準(zhǔn)確率低于不增強(qiáng)的路但訓(xùn)練和驗(yàn)證之間的差距小了很多這說明模型的泛化能力確實(shí)更強(qiáng)。這個現(xiàn)象背后有個容易誤解的點(diǎn)很多人看到訓(xùn)練準(zhǔn)確率下降會慌以為增強(qiáng)把模型“帶弱了”。其實(shí)訓(xùn)練準(zhǔn)確率微降恰恰說明增強(qiáng)在發(fā)揮作用——模型不再背誦訓(xùn)練集而是學(xué)習(xí)更泛化的特征。判斷增強(qiáng)是否有效不能只看訓(xùn)練集要用“訓(xùn)練集和驗(yàn)證集的差距”來衡量。差距越小模型越穩(wěn)健。4. 混淆矩陣機(jī)器學(xué)習(xí)最容易忽略的評估工具4.1 二分類混淆矩陣的四個格子里到底放的什么準(zhǔn)確率是絕大多數(shù)人習(xí)慣看的第一個指標(biāo)但它會騙人。用一個醫(yī)療篩查的例子假設(shè)疾病陽性率只有5%一個模型把所有樣本都預(yù)測為陰性準(zhǔn)確率是95%看起來非常漂亮但這個模型一個病人都沒找出來。這時候混淆矩陣就能看清真相。二分類混淆矩陣是一個2x2的表格行通常代表真實(shí)類別列代表預(yù)測類別。四個格子分別是TPTrue Positive真實(shí)為正預(yù)測也為正真陽性FNFalse Negative真實(shí)為正預(yù)測為負(fù)假陰性FPFalse Positive真實(shí)為負(fù)預(yù)測為正假陽性TNTrue Negative真實(shí)為負(fù)預(yù)測也為負(fù)真陰性這里的命名看似繞其實(shí)只要抓住一個規(guī)則第一個詞表示“預(yù)測對不對”第二個詞表示“預(yù)測成了什么”。True/False描述預(yù)測與真實(shí)是否一致Positive/Negative描述預(yù)測結(jié)果。TP就是預(yù)測對了且預(yù)測結(jié)果為正FN是預(yù)測錯了且預(yù)測結(jié)果為負(fù)。實(shí)際項(xiàng)目中我見過很多初學(xué)者混淆TP和FN的含義導(dǎo)致手算指標(biāo)完全錯誤。建議拿起筆隨便編一組樣本把每個樣本按真實(shí)標(biāo)簽和預(yù)測結(jié)果填入四個格子反復(fù)寫兩遍比背十遍定義都有效。4.2 從混淆矩陣到核心評估指標(biāo)混淆矩陣最大的價值在于它可以把一堆指標(biāo)講清楚。假設(shè)我們有一個二分類任務(wù)的混淆矩陣預(yù)測為正預(yù)測為負(fù)真實(shí)為正TPFN真實(shí)為負(fù)FPTN從這四個數(shù)出發(fā)可以計算以下指標(biāo)準(zhǔn)確率Accuracy等于所有預(yù)測正確的樣本占總樣本的比例(TPTN) / (TPTNFPFN)。在不平衡數(shù)據(jù)集上這個值會偏向多數(shù)類。精確率Precision等于預(yù)測為正的樣本中真實(shí)為正的比例TP / (TPFP)。它回答的問題是“模型說是正例有多可信”。召回率Recall等于真實(shí)為正的樣本中被成功找出來的比例TP / (TPFN)。它回答的問題是“所有正例里模型找回了多少”。F1分?jǐn)?shù)是精確率和召回率的調(diào)和平均2 × Precision × Recall / (Precision Recall)。它同時兼顧兩者適合作為單一評價指標(biāo)。特異度Specificity等于真實(shí)為負(fù)的樣本中被正確判為負(fù)的比例TN / (TNFP)。在某些場景下如垃圾郵件過濾、安全風(fēng)控這個指標(biāo)和召回率一樣重要。這幾個指標(biāo)不是孤立的。精確率和召回率存在天然的此消彼長關(guān)系當(dāng)你把判定閾值調(diào)低模型更容易預(yù)測為正召回率上升的同時精確率通常下降。F1分?jǐn)?shù)就是把這種關(guān)系壓縮成一個數(shù)值方便比較。4.3 多分類問題里混淆矩陣的展開方式多分類的混淆矩陣從2x2擴(kuò)展成KxKK是類別數(shù)。比如10分類就是10x10行代表真實(shí)類別列代表預(yù)測類別。對角線上的值就是每個類別預(yù)測正確的數(shù)量非對角線的值則展示了“哪兩類之間最容易被混淆”。從多分類矩陣可以計算每類的精確率和召回率但需要定義什么叫“正例”。通常的做法是計算第i類的指標(biāo)時把第i類當(dāng)作正例其他所有類別都當(dāng)作負(fù)例。這樣每個類別都能得到一組Precision和Recall。匯總所有類別的指標(biāo)有兩種方式。宏平均Macro先算出每個類別的Precision、Recall和F1再對所有類別取算術(shù)平均。它平等對待每個類別適合類別不均衡且每個類別都很重要的場景。微平均Micro則是把所有類別的TP、FP、FN合并起來統(tǒng)一計算最后得到的結(jié)果更偏向樣本量大的類別。注意微平均和按整體計算的準(zhǔn)確率在數(shù)值上是等價的。選擇哪種平均方式取決于項(xiàng)目目標(biāo)。如果業(yè)務(wù)上要求“每個類都要差不多好用”選宏平均如果追求“整體效果最優(yōu)、大類不能出錯”選微平均。5. 綜合案例圖像分類實(shí)驗(yàn)中數(shù)據(jù)增強(qiáng)對混淆矩陣指標(biāo)的影響5.1 實(shí)驗(yàn)設(shè)計為了說清楚這兩個話題怎么配合使用我設(shè)計了一個簡單的小實(shí)驗(yàn)。用一個小規(guī)模的花卉數(shù)據(jù)集共5個類別每類300張圖。用同一個輕量卷積網(wǎng)絡(luò)分別訓(xùn)練兩次一次完全不使用增強(qiáng)一次使用第3節(jié)中的增強(qiáng)流水線。訓(xùn)練完成后在驗(yàn)證集上分別繪制混淆矩陣并對比宏平均F1、精確率、召回率這些指標(biāo)。實(shí)驗(yàn)代碼的關(guān)鍵部分大致如下def evaluate(model, dataloader, device): model.eval() all_preds [] all_labels [] with torch.no_grad(): for inputs, labels in dataloader: inputs, labels inputs.to(device), labels.to(device) outputs model(inputs) _, preds torch.max(outputs, 1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.cpu().numpy()) return all_labels, all_preds拿到預(yù)測結(jié)果和真實(shí)標(biāo)簽后用 sklearn 計算混淆矩陣和各項(xiàng)指標(biāo)無法更簡單from sklearn.metrics import confusion_matrix, precision_recall_fscore_support, classification_report cm confusion_matrix(all_labels, all_preds) report precision_recall_fscore_support(all_labels, all_preds, averagemacro)5.2 實(shí)驗(yàn)結(jié)果解讀指標(biāo)變化與分類錯誤模式兩組實(shí)驗(yàn)跑完之后區(qū)別非常明顯。不看混淆矩陣的話兩組實(shí)驗(yàn)的整體準(zhǔn)確率差距可能只有3到4個百分點(diǎn)看數(shù)字會覺得“增強(qiáng)也就那樣”。但看混淆矩陣會發(fā)現(xiàn)完全不同的故事不使用增強(qiáng)的模型有大量樣本被錯誤歸類到“外觀最相似”的那一類混淆集中分布在幾個固定的格子使用增強(qiáng)的模型錯誤分布更分散而且對角線的值普遍更高。這說明什么數(shù)據(jù)增強(qiáng)雖然沒有讓整體準(zhǔn)確率突飛猛進(jìn)但它讓模型對“容易混淆的類別邊界”理解得更扎實(shí)。比如兩個花瓣顏色相近的類別不增強(qiáng)時模型總把他們搞混增強(qiáng)后顏色變化讓模型開始關(guān)注形狀和紋理特征混淆程度明顯下降。如果只看宏平均F1增強(qiáng)模型的優(yōu)勢會更突出。因?yàn)楹昶骄鶎γ總€類別一視同仁少數(shù)類的提升不會被多數(shù)類掩蓋。5.3 為什么有時增強(qiáng)后準(zhǔn)確率沒變但F1提升了這是一個非常有意思的現(xiàn)象。我拿這個實(shí)驗(yàn)的中間結(jié)果展示過某次訓(xùn)練后增強(qiáng)模型的整體準(zhǔn)確率只比無增強(qiáng)模型高了1%但宏平均F1提升了6%。原因在于準(zhǔn)確率本身受多數(shù)類主導(dǎo)如果數(shù)據(jù)里有一些類別樣本量明顯偏大多數(shù)類的提升會被少數(shù)類的下降抵消整體準(zhǔn)確率看不出什么變化。而宏平均F1會把每個類別單獨(dú)看少數(shù)類如果從“完全被忽略”變成“能認(rèn)出大部分”這個提升就非常顯著。所以如果你的項(xiàng)目品類很多、樣本不均衡強(qiáng)烈建議不要只白準(zhǔn)率。把混淆矩陣畫出來配合宏平均指標(biāo)一起看才能真正定位模型的薄弱類別。反過來如果混淆矩陣?yán)锬硞€類別的召回率特別低首先懷疑的是數(shù)據(jù)量不足而不是模型結(jié)構(gòu)問題這時候優(yōu)先補(bǔ)充該類別的數(shù)據(jù)或者增加針對性的增強(qiáng)策略而不是盲目加深網(wǎng)絡(luò)。6. 實(shí)操避坑指南與個人經(jīng)驗(yàn)6.1 實(shí)戰(zhàn)中反復(fù)踩過的5個坑第一個坑是增強(qiáng)過度導(dǎo)致標(biāo)簽崩壞。我剛開始做旋轉(zhuǎn)增強(qiáng)時設(shè)了±45度人眼看圖都費(fèi)勁結(jié)果訓(xùn)練loss居高不下驗(yàn)證曲線像過山車一樣抖動。后來把旋轉(zhuǎn)角度降到±15度問題立刻緩解。增強(qiáng)強(qiáng)度不是越大越好它有一個隱性上限過了這個上限模型學(xué)到的特征就開始失真。第二個坑是忘記對驗(yàn)證集做同樣的Normalize。訓(xùn)練集做了標(biāo)準(zhǔn)化驗(yàn)證集如果忘了做輸入分布直接不匹配模型的表現(xiàn)會斷崖式下降。這不是模型的問題是數(shù)據(jù)預(yù)處理流程不統(tǒng)一的問題。凡是訓(xùn)練流程里用了Normalize驗(yàn)證和測試階段必須用完全相同的Normalize參數(shù)。第三個坑是在驗(yàn)證集上用了隨機(jī)增強(qiáng)。有一次為了“增加驗(yàn)證集多樣性”我在驗(yàn)證集上加了RandomHorizontalFlip結(jié)果指標(biāo)忽高忽低無法復(fù)現(xiàn)。驗(yàn)證集的作用是穩(wěn)定反映模型狀態(tài)不能有隨機(jī)性。如果需要測試時增強(qiáng)Test-Time Augmentation那也應(yīng)該專門跑多次取平均而不是把隨機(jī)增強(qiáng)混進(jìn)常規(guī)驗(yàn)證流程。第四個坑是混淆矩陣用數(shù)值顯示而非比例顯示。當(dāng)各類別樣本數(shù)量差異大時矩陣?yán)锏拇髷?shù)字全部集中在樣本多的類別上一眼看去全是亮的根本看不出類別間的錯誤比例。正確做法是使用歸一化的混淆矩陣把每一行的值除以該行真實(shí)樣本總數(shù)這樣每個格子的值表示“該類別的樣本有多大比例被預(yù)測成了目標(biāo)類別”行和為1才方便比較。第五個坑是只看混淆矩陣本身不看錯誤樣本的內(nèi)容。矩陣只是一個統(tǒng)計濃縮真正的錯誤原因往往需要回到具體圖像上才能定位。矩陣上某兩類混淆嚴(yán)重要把這些錯誤樣本逐個看一遍是標(biāo)注問題是遮擋角度特殊還是兩類本來就長得像這一步雖然耗時但往往能發(fā)現(xiàn)數(shù)據(jù)集本身的bug。6.2 項(xiàng)目復(fù)盤經(jīng)驗(yàn)分享我之前參與過一個模擬項(xiàng)目做的是工業(yè)零件表面的瑕疵分類。數(shù)據(jù)集特別不平衡正常樣本占90%瑕疵樣本總共只有10%還分成了劃痕、凹坑、臟污三個小類。剛開始模型在正常類上的準(zhǔn)確率接近100%但瑕疵類基本全被漏掉混淆矩陣一眼看過去除了第一行其他地方幾乎是空的。后來做了三件事第一給三類瑕疵單獨(dú)做針對性的增強(qiáng)——劃痕類用旋轉(zhuǎn)和亮度擾動凹坑類用縮放和位置偏移臟污類用對比度和顏色擾動第二調(diào)整訓(xùn)練時的類別權(quán)重讓少數(shù)類在loss中的貢獻(xiàn)更大第三用歸一化混淆矩陣做每周復(fù)盤每類瑕疵的漏檢率、誤檢率都列成表持續(xù)跟蹤。三輪迭代之后瑕疵類別的宏平均召回率從30%左右提升到了80%以上。這段經(jīng)歷給我的最大啟發(fā)是數(shù)據(jù)增強(qiáng)不是套模板而是要根據(jù)錯誤模式做定制?；煜仃嚽∏∈前l(fā)現(xiàn)錯誤模式的最佳工具。兩個知識點(diǎn)在項(xiàng)目里是互相協(xié)作的先用混淆矩陣找出“哪類弱”再針對這些類別設(shè)計增強(qiáng)策略。6.3 經(jīng)驗(yàn)速查表以下是我在實(shí)際項(xiàng)目中沉淀下來的速查表平時做分類任務(wù)基本都會參照它情況推薦做法訓(xùn)練集樣本很少優(yōu)先使用幾何增強(qiáng)顏色增強(qiáng)必要時上Mixup類別分布不均衡使用歸一化混淆矩陣查看各類別召回率針對性補(bǔ)充數(shù)據(jù)或增強(qiáng)驗(yàn)證集指標(biāo)波動大檢查驗(yàn)證集是否混入了隨機(jī)增強(qiáng)訓(xùn)練集準(zhǔn)確率高但驗(yàn)證集低過擬合增加增強(qiáng)強(qiáng)度或引入Dropout混淆矩陣中某兩類頻繁互混檢查標(biāo)注質(zhì)量收集更多兩類邊界樣本減少會導(dǎo)致語義混淆的增強(qiáng)業(yè)務(wù)更關(guān)注少數(shù)類表現(xiàn)使用宏平均F1作為主要評估指標(biāo)這個表格不是標(biāo)準(zhǔn)答案但它覆蓋了我在實(shí)際項(xiàng)目里修復(fù)過的大部分問題。每個條目的背后基本都有一次真實(shí)的踩坑過程。關(guān)于數(shù)據(jù)增強(qiáng)和混淆矩陣我個人最大的體會是它們都不是“高級技巧”而是基本功。數(shù)據(jù)增強(qiáng)考驗(yàn)的是對任務(wù)語義的理解能力混淆矩陣考驗(yàn)的是對模型行為的洞察力。把這兩樣基本功打扎實(shí)比盲目堆模型結(jié)構(gòu)、追求SOTA指標(biāo)要重要得多。希望這篇整理也對你有用。