第一次用YOLO系列模型跑自己的數(shù)據(jù)集我最初的體驗是這樣的loss曲線慢吞吞往下走看著像在收斂可驗證集mAP六個epoch都紋絲不動穩(wěn)定停在8%左右。我以為是網(wǎng)絡(luò)不夠強換了更大的骨干網(wǎng)絡(luò)結(jié)果顯存直接爆掉。那段時間我翻遍了網(wǎng)上關(guān)于訓(xùn)不收斂的討論得到的答案翻來覆去就兩句——調(diào)小學(xué)習(xí)率、換更強模型——對新手來說等于什么都沒說。前前后后折騰了快兩個月反復(fù)試錯總算把模型調(diào)到了mAP 92%。復(fù)盤時我數(shù)了一下整個過程中踩過的坑正好十個而且絕大多數(shù)都不是模型結(jié)構(gòu)的問題而是配置、數(shù)據(jù)和評估方式里的細(xì)節(jié)。這篇就把它們一個個拆開講清楚每個坑都給癥狀、定位方法和修復(fù)動作。標(biāo)題說90%的新手會中招以我?guī)н^的人來看這數(shù)字還保守了。如果你正準(zhǔn)備用YOLO訓(xùn)練自己的數(shù)據(jù)集建議先收藏踩到哪個坑直接跳到對應(yīng)小節(jié)對照。1. 先把答卷亮出來mAP 92%背后的配置與十大坑速覽1.1 我手里的任務(wù)和最終成績單復(fù)盤之前先把我當(dāng)時的任務(wù)環(huán)境和最終結(jié)果交代清楚后面講坑的時候你才知道我踩在什么基線上。任務(wù)本身不算復(fù)雜一個工業(yè)場景的目標(biāo)檢測需要檢測10個類別的目標(biāo)訓(xùn)練集2萬多張圖驗證集2000張。比較棘手的是目標(biāo)尺度差異非常大既有占畫面5%的大件也有只有30x30像素的小件這直接影響了后面坑7和坑8的走向。機器是單卡顯存比較緊張這一點在坑8里也起了關(guān)鍵作用。模型用的是YOLO系列主流開源實現(xiàn)初始輸入分辨率就按最常見的640。第一次訓(xùn)練跑完300個epoch成績慘不忍睹指標(biāo)初版結(jié)果修坑后結(jié)果mAP0.56.8%92.3%mAP0.5:0.95約2.1%68.7%訓(xùn)練最終loss3.2附近震蕩明顯0.8附近穩(wěn)定收斂收斂狀態(tài)勉強算降但驗證集完全不漲穩(wěn)定收斂驗證集同步提升這組數(shù)字說明一個事實同樣的模型結(jié)構(gòu)同樣的數(shù)據(jù)量結(jié)果天差地別差距全在十個看似很小的坑里。我全程沒有換更大模型也沒有增加任何額外數(shù)據(jù)純粹是修數(shù)據(jù)和調(diào)參修出來的。1.2 十個坑的速覽癥狀與解法一句話版先把十個坑做成一張速查表后面每章展開細(xì)講。這張表我自己在調(diào)參過程中反復(fù)看遇到問題先對癥狀再翻對應(yīng)章節(jié)?？犹柨用湫桶Y狀解決思路一句話坑1初始學(xué)習(xí)率亂設(shè)loss震蕩、訓(xùn)不收斂用經(jīng)驗法則隨batch縮放lr先用小步實驗摸底坑2動量和學(xué)習(xí)率脫節(jié)收斂極慢、調(diào)參越調(diào)越亂一次只改一個變量動量保持常見默認(rèn)值坑3損壞圖片混入訓(xùn)練集loss突然變nan、訓(xùn)練中斷訓(xùn)練前全量校驗圖像可解碼性和尺寸坑4標(biāo)注坐標(biāo)格式算錯loss下降但mAP極低、框全歪格式轉(zhuǎn)換后必須抽樣可視化還原坑5類別ID不連續(xù)訓(xùn)練無報錯但類別錯位掃描全部標(biāo)簽ID重映射成0到C-1坑6驗證集劃分隨意val虛高或劇烈波動、上線崩盤按采集批次/時間段分層劃分杜絕幀重疊坑7anchor沿用默認(rèn)值小目標(biāo)漏檢、召回率卡住對GT寬高做k-means聚類用IoU距離坑8batch size與分辨率打架OOM或精度莫名下降由最小目標(biāo)尺寸反推分辨率再用梯度累積坑9數(shù)據(jù)增強一刀切要么過擬合要么訓(xùn)不動分階段引入強增強mosaic概率別拉滿坑10評估閾值沒固定mAP數(shù)值忽高忽低、不可復(fù)現(xiàn)統(tǒng)一conf0.001、NMS IoU0.6的口徑排錯順序我建議這樣走先看第2章的訓(xùn)不收斂排查因為模型不收斂的時候調(diào)anchor和增強都是白費力氣收斂之后再按第3章檢查數(shù)據(jù)、第4章做精度優(yōu)化最后按第5章統(tǒng)一評估口徑保證你看到的92%是真實的不是自己騙自己。這個順序本身也是我踩完坑之后回頭看才總結(jié)出來的最佳路徑。2. 訓(xùn)不收斂的元兇排查從loss震蕩到nan我按這個順序定位2.1 坑1初始學(xué)習(xí)率靠感覺拍板loss曲線直接起飛這個坑我第一次訓(xùn)練就踩了。初始學(xué)習(xí)率我完全是照抄默認(rèn)配置里的0.01但忽略了那套參數(shù)是按batch size16調(diào)的。我把batch size調(diào)到64想加快訓(xùn)練顯存也裝得下可學(xué)習(xí)率沒同步放大。結(jié)果第一個epoch的loss就開始跳前幾步直接沖到幾十后面再怎么調(diào)也沒能回到正常軌道說白了就是訓(xùn)不收斂。原理上其實很好理解。SGD類優(yōu)化器每一步的更新幅度大致正比于學(xué)習(xí)率乘以梯度而梯度是累加了一個batch的樣本得到的。batch變大一倍等效于梯度累計的樣本數(shù)翻倍更新步長在數(shù)學(xué)上也會成倍放大。所以有個經(jīng)典經(jīng)驗法則batch size翻倍學(xué)習(xí)率大致也要翻倍batch size減半學(xué)習(xí)率也要減半。這只是起步參考精確值還是要看loss曲線的實際形態(tài)。我的做法是先做小步實驗摸底拿幾百張圖跑十幾個step分別用1e-2、3e-3、1e-3、1e-4試一輪看哪個學(xué)習(xí)率下loss前幾十步能穩(wěn)定下降。最后選中的初始lr是2e-2配合前3個epoch的warmup慢慢爬上去loss立刻就變得平滑。warmup的作用是讓優(yōu)化器在前幾步熟悉數(shù)據(jù)分布避免一開始就走偏但它不是用來掩蓋lr錯誤的——如果你lr本身設(shè)得離譜warmup拖再久也救不回來。2.2 坑2動量和學(xué)習(xí)率脫節(jié)收斂慢得像蝸牛第二個坑其實和第一個是配套的。我把lr調(diào)小之后發(fā)現(xiàn)loss下降變得非常慢500步只降了0.1一度懷疑是網(wǎng)絡(luò)結(jié)構(gòu)壞了。后來才意識到是我動得太亂了那一次同時改了學(xué)習(xí)率、動量和weight decay三個東西變量互相抵消根本定位不到是誰導(dǎo)致的。動量momentum這個參數(shù)的作用是累積前幾步的更新方向讓梯度的方向更平滑減少震蕩。YOLO系常用的配置是0.937配合余弦退火使用這套組合在大量數(shù)據(jù)集上都被驗證過對新手來說是最穩(wěn)的起點。我當(dāng)時自作聰明把momentum從0.937改成0.5以為能更穩(wěn)定結(jié)果反而讓優(yōu)化器失去了歷史梯度方向的平滑作用訓(xùn)練過程變得拖沓又遲鈍。這里最值得說的不是動量本身怎么調(diào)而是調(diào)參的基本紀(jì)律一次只動一個變量。我后來每次實驗只改一個超參數(shù)并且記錄改了什么、結(jié)果變了多少很快就定位到了問題。如果你同時改了三四個東西漲了不知道怎么漲的跌了也不知道是誰拖后腿后面所有優(yōu)化都建立在糊涂賬上。2.3 坑3loss變nan先查圖像再查標(biāo)簽第三個坑是loss在第40輪左右突然變成nan訓(xùn)練直接中斷。剛開始我以為是lr太大調(diào)小之后重跑結(jié)果第30輪又nan。這次我老老實實開始排查把訓(xùn)練數(shù)據(jù)逐張過了一遍圖像解碼和標(biāo)簽讀取最后發(fā)現(xiàn)訓(xùn)練集里有幾十張損壞的圖片——文件擴展名是.jpg但解碼出來是空的或者只有幾行數(shù)據(jù)。這種圖片在訓(xùn)練時產(chǎn)生異常特征梯度直接爆炸。排查腳本核心邏輯并不復(fù)雜from PIL import Image import os bad_images [] for f in all_images: try: img Image.open(f) img.verify() # 校驗文件完整性 img Image.open(f) img.load() # 加載像素數(shù)據(jù) except Exception as e: bad_images.append((f, str(e)))還有一個很容易被忽略的分支即使圖像能正常解碼部分增強操作在圖片尺寸異常時也可能產(chǎn)生nan比如mosaic拼接遇到空圖像。所以校驗時順便把每張圖的尺寸分布打印出來把極端尺寸的樣本一并清掉能省掉后續(xù)大量排查時間。損壞樣本剔除以后nan問題再沒出現(xiàn)過。2.4 訓(xùn)不收斂的完整排查鏈路把前面三步串成一套可復(fù)現(xiàn)的排查順序基本能覆蓋90%的訓(xùn)不收斂場景先看loss曲線的形態(tài)。如果是突然變nan直接跳到數(shù)據(jù)校驗不要動學(xué)習(xí)率如果是震蕩幅度大、整體不降查學(xué)習(xí)率和batch縮放關(guān)系如果是一直橫盤或降得極慢查動量和退火策略。數(shù)據(jù)校驗優(yōu)先于超參調(diào)整。圖像解碼失敗、標(biāo)簽坐標(biāo)越界、類別ID越界這些錯誤會被模型學(xué)進(jìn)去表面上看起來像超參問題實際換什么lr都沒用。超參調(diào)整堅持一次只動一個并且每次修改都記錄基線值。這一步最重要它能保證你所有結(jié)論都是可追溯的。這個順序千萬不要反。我見過太多人在loss nan的時候先去調(diào)lr調(diào)了一整天發(fā)現(xiàn)還是nan最后才發(fā)現(xiàn)是數(shù)據(jù)里有幾張壞圖白白浪費十幾個小時的訓(xùn)練時間。3. 數(shù)據(jù)和標(biāo)注的暗坑比模型結(jié)構(gòu)更致命3.1 坑4標(biāo)注坐標(biāo)格式算錯模型學(xué)得越快越離譜訓(xùn)不收斂解決之后模型終于能跑了但mAP一直上不去徘徊在30%左右。我開始懷疑是標(biāo)注有問題于是做了一次標(biāo)簽可視化——把txt里的歸一化坐標(biāo)乘回圖像寬高畫框出來和原圖對照。結(jié)果發(fā)現(xiàn)框全都偏了有些往上跑有些往右飛。最后檢查轉(zhuǎn)換腳本發(fā)現(xiàn)我把中心點x的歸一化寫成了x_center除以圖像高度中心點y寫成了y_center除以圖像寬度寬高歸一化也搞混了。這類錯誤在手工寫格式轉(zhuǎn)換代碼的時候非常常見尤其是從其他標(biāo)注格式往YOLO格式轉(zhuǎn)的時候。為什么模型還能訓(xùn)練因為loss照常在下降模型確實學(xué)到了一些統(tǒng)計模式但坐標(biāo)本身就是錯的學(xué)得再多也學(xué)不對驗證集上預(yù)測框的位置總是歪的mAP自然上不去而且越是擬合得好錯誤越被放大。從那次以后我定下一條規(guī)矩任何標(biāo)注格式轉(zhuǎn)換腳本轉(zhuǎn)換完成后必須抽樣可視化還原絕對不要信任一次性腳本。具體做法是取幾十張圖像把轉(zhuǎn)換后的txt坐標(biāo)乘回圖像寬高畫出框和原標(biāo)注疊加對比肉眼確認(rèn)位置、大小、類別都對得上再進(jìn)訓(xùn)練流程。這個習(xí)慣幫我躲過了后面好幾次數(shù)據(jù)遷移的大坑。3.2 坑5類別ID不連續(xù)訓(xùn)練沒報錯但mAP崩了另一個數(shù)據(jù)暗坑是類別ID不連續(xù)。我手里的數(shù)據(jù)是從老系統(tǒng)導(dǎo)出的類別列表里帶著一個無效的背景占位導(dǎo)出時沒有過濾導(dǎo)致有效類別ID從0、1、3、4這樣跳著走中間缺了2。模型配置的類別數(shù)是10但部分標(biāo)簽里出現(xiàn)了越界ID訓(xùn)練過程中框架沒有直接報錯模型靜默地把這些樣本學(xué)成了錯位類別預(yù)測結(jié)果里類別混淆嚴(yán)重。這種問題是最陰間的因為loss曲線完全正常mAP也有一點但按類別看單個AP就會發(fā)現(xiàn)某些類別特別低或者混亂。排查方式是在訓(xùn)練前掃描全部標(biāo)簽文件的類別IDfrom collections import Counter label_ids [] for f in all_labels: with open(f) as fp: for line in fp: label_ids.append(int(line.split()[0])) stats Counter(label_ids) print(sorted(stats.items())) print(min:, min(label_ids), max:, max(label_ids))只要發(fā)現(xiàn)min、max和配置文件里的類別數(shù)對不上或者set集合里有空缺就要立刻重映射成0到C-1的連續(xù)序列。我第一次跑這個腳本就看到ID跳號修正之后mAP直接漲了一截類別混淆問題也消失了。這個腳本后來被我固化成標(biāo)準(zhǔn)流程每接手一個新數(shù)據(jù)集都先跑一遍成本一分鐘能躲掉幾天的瞎調(diào)試。3.3 坑6驗證集劃分隨意mAP高不代表你有實力驗證集劃分的問題最容易被忽視因為它不報錯、不崩loss只會讓你的評估結(jié)果失真。我的數(shù)據(jù)集是從幾段監(jiān)控視頻抽幀得到的最初我按隨機打亂劃分訓(xùn)練集和驗證集結(jié)果驗證mAP虛高到85%換一批沒見過的視頻測試直接跌到40%。原因就是隨機劃分把同一段視頻的連續(xù)幀同時放進(jìn)了訓(xùn)練集和驗證集模型記住了幾乎重復(fù)的幀而不是學(xué)到了泛化能力。正確做法是按采集批次、時間段或場景做分層劃分保證驗證集里的樣本和訓(xùn)練集完全沒有重疊。比如抽幀數(shù)據(jù)按時間順序切分前90%的視頻幀做訓(xùn)練后10%做驗證兩者來自不同的時間段互不影響。這樣得到的mAP才勉強算可信。另外還要注意驗證集本身的體量。如果驗證集只有幾十張圖mAP波動會非常劇烈改動一個隨機種子結(jié)果就相差好幾個點你根本判斷不了調(diào)參是有效還是撞了大運。我的經(jīng)驗是驗證集每個類別至少要有50到100個標(biāo)注框太少就只能換分層劃分策略或者增加驗證集規(guī)模。4. anchor、batch size與數(shù)據(jù)增強把精度從70%磨到92%4.1 坑7anchor沿用默認(rèn)值小目標(biāo)被系統(tǒng)性漏檢數(shù)據(jù)問題和收斂問題都解決之后mAP到了60%左右的平臺期怎么調(diào)都上不去。此時我開始懷疑anchor配置。YOLO系列默認(rèn)的anchor是在COCO數(shù)據(jù)集上聚類出來的COCO場景以自然物體、行人和車輛為主而我的工業(yè)場景目標(biāo)長寬比有明顯差異默認(rèn)的好幾組anchor和我數(shù)據(jù)里的GT完全匹配不上導(dǎo)致正樣本匹配數(shù)量偏少小目標(biāo)特別容易被忽略。做法其實不復(fù)雜對訓(xùn)練集所有GT框的寬高做k-means聚類聚類數(shù)按模型結(jié)構(gòu)來常見的就是9個分3組給3個不同尺度的檢測層。關(guān)鍵點是聚類距離一定要用IoU距離不要用歐氏距離。因為不同尺度的目標(biāo)寬高差異大歐氏距離會把相似像素尺寸但長寬比不同的框混在一起得不到有區(qū)分度的候選尺寸。聚類完成后把9組anchor按面積從小到大排序填入配置文件。怎么驗證anchor是不是合適觀察訓(xùn)練日志里的正樣本匹配數(shù)量和召回率。聚類后的配置如果明顯優(yōu)于默認(rèn)配置能直觀看到這兩個指標(biāo)在漲。這一步做完后我的mAP從60%跳到了78%小目標(biāo)漏檢也明顯改善。4.2 坑8batch size與分辨率相互拖后腿batch size和輸入分辨率是互相牽扯的。當(dāng)時顯存有限想跑640分辨率又想開64的batch直接OOM。為了保住batch我把分辨率降到416顯存是夠用了但小目標(biāo)檢測效果肉眼可見地下降。原因很簡單原圖上30x30像素的小目標(biāo)縮到416分辨率后變成了約20x20特征信息流失嚴(yán)重降分辨率等效于把小目標(biāo)往更小的方向推anchor匹配更難小目標(biāo)幾乎學(xué)不到判別特征。我的處理順序是先從小目標(biāo)標(biāo)注框的尺寸分布反推最小可接受分辨率。經(jīng)驗值是最小目標(biāo)在訓(xùn)練圖像上不要小于10x10像素否則在特征圖層面只剩一兩個像素網(wǎng)絡(luò)學(xué)不到有效信息。確定分辨率之后再看顯存能裝多大的batch。如果batch不夠大用梯度累積gradient accumulation來湊等效batch size。比如實際batch8累積4次等效于batch32雖然BN層統(tǒng)計還是按實際的來但優(yōu)化器更新步長更穩(wěn)。還有一個隱藏點batch size太小會讓BN層的統(tǒng)計量嚴(yán)重漂移。實測batch4和batch16相比精度能差好幾個點而且越訓(xùn)越不穩(wěn)定。所以不要把batch壓到8以下除非你用的是沒有BN的模型。4.3 坑9數(shù)據(jù)增強一刀切要么過擬合要么訓(xùn)不動數(shù)據(jù)增強這個坑我踩了兩輪。第一次用最強增強配置——mosaic、mixup、旋轉(zhuǎn)、色彩抖動全部打開小模型根本扛不住loss始終下不到低位。原因是增強強度太大模型剛學(xué)到一部分特征下一輪數(shù)據(jù)語義又變了學(xué)不動。第二次我把增強全部關(guān)掉訓(xùn)練loss很快降下去但驗證集mAP到80%就再也上不去了典型的過擬合。正確姿勢是分階段、控制強度。訓(xùn)練初期用基礎(chǔ)增強翻轉(zhuǎn)、輕微縮放、色彩擾動讓網(wǎng)絡(luò)先穩(wěn)定收斂等loss掉到低位、模型框架穩(wěn)定了再逐