開篇導讀 很多人會用 YOLOv5 訓練命令但指標一掉就只會加epoch、改lr、換增強。結果是參數(shù)改了一堆卻說不清到底哪一步真正生效也無法復現(xiàn)實驗收益。 這篇文章不講玄學調參。我會按源碼執(zhí)行路徑把 YOLOv5 從參數(shù)讀取、權重加載、數(shù)據(jù)管線、損失計算到 best.pt 保存的關鍵機制講透并給出可直接照做的優(yōu)化與排錯方法。 你將獲得三樣東西 1一張訓練主鏈路圖知道問題該去哪里查 2一份高杠桿改點清單知道優(yōu)先改什么 3一套單變量實驗順序知道怎么證明改動有效。 YOLOv5訓練源碼精講萬字詳細版 一、本文目標與閱讀說明 ---------------------- 這篇文章的目標非常明確幫你從會用 YOLOv5 訓練命令升級到能獨立診斷問題、能系統(tǒng)性優(yōu)化效果、能自信解釋每一改動的原因。 很多人遇到效果不達標時第一反應是調參數(shù)——加大 batch、改學習率、換增強策略結果改了一圈說不清哪個有效指標升了不知道為什么升降了不知道為什么降。這是因為沒有建立訓練鏈路視角沒有把 YOLOv5 訓練系統(tǒng)當作一個整體來理解。 本文按 YOLOv5 源碼的真實執(zhí)行順序組織內容從訓練入口開始依次覆蓋參數(shù)來源、預訓練權重加載機制、凍結訓練策略、輸入尺寸約束、優(yōu)化器與學習率、訓練數(shù)據(jù)管線含增強與 cache、損失函數(shù)設計與調優(yōu)、驗證與模型保存邏輯最后給出排錯清單和推薦實驗順序。 每個核心章節(jié)都會講清楚機制是什么what、為什么這樣設計why、什么情況下該改when以及怎么改、改了會怎樣how。讀完這篇你不僅能理解每個模塊在訓練鏈路中的位置還能獨立完成一次有對照的優(yōu)化實驗。 二、訓練主鏈路全解析先建全局地圖再深入細節(jié) -------------------------------------------- 在深入每個模塊之前先把整條鏈路看清楚。YOLOv5 訓練流程可以濃縮為以下十個關鍵節(jié)點 節(jié)點1參數(shù)解析。命令行參數(shù) 配置文件hyp.yaml合并產生最終生效的 opt 對象。這一步決定了一切后續(xù)行為的起點。 節(jié)點2模型構建。依據(jù) cfg 文件yaml 格式的網絡結構描述構建模型實例。如果提供了預訓練權重則進入節(jié)點3。 節(jié)點3預訓練權重加載。嘗試加載 checkpoint按鍵名匹配 shape 匹配的交集邏輯賦值參數(shù)。匹配部分繼承預訓練權重未匹配部分隨機初始化。 節(jié)點4凍結層處理。如果指定了 freeze 參數(shù)則將對應層的 requires_grad 設為 False使這些參數(shù)在反向傳播時不更新。 節(jié)點5優(yōu)化器與調度器初始化。包括 optimizerSGD / Adam / AdamW、lr_scheduler余弦退火或階梯衰減、EMA指數(shù)滑動平均、AMP混合精度等可選組件。 節(jié)點6Dataset / Dataloader 構建。Dataset 負責加載圖片、讀取標簽、執(zhí)行在線數(shù)據(jù)增強Dataloader 負責多 worker 并行讀取、打亂順序、collate_fn 拼 batch。 節(jié)點7每輪訓練epoch loop。前向傳播得到預測張量 → build_targets 為 GT 分配正負樣本 → compute_loss 計算 box/obj/cls 三類損失 → 反向傳播更新參數(shù) → EMA 更新影子權重。 節(jié)點8驗證。每隔 N 個 epoch或每個 epoch跑一次 val將模型通常是 EMA 權重切換到 eval 模式跑推理并統(tǒng)計 P/R/mAP。 節(jié)點9模型保存。按 fitness 指標判斷是否更新 best.pt同時保存 last.pt 供斷點續(xù)訓。 節(jié)點10斷點續(xù)訓resume。下次啟動時從 last.pt 恢復 epoch 進度、optimizer 狀態(tài)、scheduler 狀態(tài)、EMA 影子權重。 理解這張圖的價值在于任何訓練異常loss 不降、指標抖動、發(fā)散等都可以先定位到具體節(jié)點再在該節(jié)點內部排查。例如 loss 發(fā)散 → 可能是 lr 過高或增強過強 → 對應節(jié)點5或節(jié)點6。建立了這張地圖才能系統(tǒng)性地排錯而不是盲目試參。 三、訓練入口參數(shù)來源的完整梳理 -------------------------------- YOLOv5 訓練入口的行為本質上是多來源參數(shù)合并 環(huán)境檢查的過程。很多我改了參數(shù)但好像沒生效的問題都出在這一步的理解不夠清晰。 參數(shù)來源一共有三個層次按優(yōu)先級從高到低排列 第一層命令行參數(shù)Command Line Arguments。用戶在執(zhí)行 python train.py 時傳入的參數(shù)比如 --batch 16、--img 640、--epochs 300、--data coco128.yaml 等。這些參數(shù)會被解析到 opt 字典中。 第二層配置文件hyp.yaml。位于 data/hyps/hyp.scratch-low.yaml 或 hyp.detection.yaml 等路徑。包含數(shù)據(jù)增強概率flip、mosaic、mixup、hsv、損失權重box、cls、obj、優(yōu)化器參數(shù)lr0、lrf、momentum、weight_decay等。 第三層resume 快照opt.yaml。當使用 --resume 參數(shù)恢復訓練時run/expN/opt.yaml 文件中保存的歷史參數(shù)快照會覆蓋當前命令行參數(shù)。這是很多人最容易踩的坑。 舉一個典型場景你想在續(xù)訓時把 batch 從 16 改成 32命令寫成 python train.py --resume runs/exp12/weights/last.pt --batch 32。但你可能發(fā)現(xiàn)最終生效的 batch 仍然是 16。這是因為 resume 時opt.yaml 中的 batch 參數(shù)優(yōu)先級更高會把你的 --batch 32 覆蓋掉。 正確的做法有兩個 方法一完全新開一個 run不使用 resume 參數(shù)只改 batch 參數(shù)。 方法二先手動編輯 opt.yaml 中的 batch 參數(shù)再執(zhí)行 resume。 實戰(zhàn)建議每次啟動訓練時在訓練日志開頭打印 opt 的關鍵字段batch、imgsz、lr0、weight_decay、epochs確認這些值和你預期的一致。養(yǎng)成這個習慣可以避免 70% 的參數(shù)不生效類問題。 環(huán)境檢查部分也會執(zhí)行一些輔助操作git diff 查看代碼是否有未提交修改、依賴版本檢查如 torch 版本、AMP 可用性檢測cuDNN 是否支持 fp16等。如果你的環(huán)境比較干凈且確定沒問題這些檢查在調試階段可以臨時注釋掉以加快啟動速度但生產環(huán)境建議保留。 四、預訓練權重加載交集加載機制的深度理解 ------------------------------------------ 這是 YOLOv5 遷移學習能力的核心也是最容易被誤用的模塊。很多結構改動后的訓練失敗根因都在預訓練權重加載這一步。 YOLOv5 的預訓練權重加載機制本質上是一個集合交集操作。加載過程分三步 第一步加載 checkpoint。用 torch.load() 將 .pt 文件反序列化為字典。checkpoint 中通常包含model模型狀態(tài)字典、optimizer優(yōu)化器狀態(tài)、training_results訓練歷史、epoch當前輪次等。 第二步構建當前模型。用 cfg 文件yaml 格式的模型結構描述實例化一個全新的模型。這個新模型有自己的參數(shù)字典state_dict keys和參數(shù)形狀。 第三步取交集加載。遍歷 checkpoint 中的每個參數(shù)鍵值對檢查兩個條件條件A鍵名在當前模型中是否存在條件B形狀shape是否完全一致。只有兩個條件同時滿足才執(zhí)行賦值。如果鍵名不存在或者 shape 不匹配該參數(shù)就被跳過以當前模型的初始化權重替代。 舉個例子假設你在 YOLOv5m 的預訓練權重基礎上改了檢測頭的通道數(shù)比如把 3 個 anchor 改成 5 個。新模型中對應的 head 層參數(shù) shape 發(fā)生了變化checkpoint 中的對應鍵雖然名字相同但 shape 不一致所以這些層不會被加載而是使用新初始化。匹配的層如 backbone 的大部分參數(shù)則完全繼承了預訓練權重。 這一機制的設計非常優(yōu)雅它允許你在預訓練權重的基礎上做結構改動而不需要每次都從零訓練。具體來說 如果你只改了檢測頭層head layer而 backbone 不變那么 backbone 的權重基本可以完全繼承匹配率很高訓練收斂會很快。 如果你改動了 backbone 的中間層匹配率會下降但只要改得不多預訓練收益仍然可觀。 如果你用 YOLOv5m 的權重去初始化 YOLOv5s 規(guī)模的模型匹配率會非常低因為通道數(shù)不一致幾乎等同于從零訓練。 實戰(zhàn)操作中加載完成后你應該關注日志中的輸出。YOLOv5 會在加載完成后打印類似這樣的信息 Transfering params [%d/%d] (%.1f%%) ... loaded 這里的百分比就是交集加載的匹配率。如果匹配率低于 80%建議重新評估結構改動是否過大或者考慮使用更接近目標結構的預訓練權重。 另外還有一個細節(jié)加載權重時YOLOv5 通常會先將 checkpoint 加載到 CPU再用 .to(device) 移到目標設備。這種兩步策略比直接加載到 GPU 更穩(wěn)定可以避免某些設備上因為 GPU 初始化順序導致的問題。如果你在自定義推理代碼中遇到權重加載報錯可以檢查是否遵循了這個CPU 反序列化 → 再遷移的原則。 五、凍結訓練策略從原理到分階段解凍實戰(zhàn) ---------------------------------------- 凍結訓練Freeze Training是遷移學習中最穩(wěn)定、最常用的技巧之一。它的核心原理很簡單通過將指定層的 requires_grad 設為 False使這些參數(shù)在反向傳播時不被更新。 freeze 策略的價值在于三個方面 第一小數(shù)據(jù)集場景下直接全量訓練容易過擬合凍結 backbone 可以減少需要學習的參數(shù)規(guī)模降低過擬合風險。 第二大數(shù)據(jù)集跨任務遷移時backbone 提取的特征通常已經有通用性邊緣、紋理、局部形狀等不需要大幅調整凍結可以加快收斂。 第三顯存優(yōu)化凍結層的梯度不需要保存可以顯著減少顯存占用在顯存受限時可以跑更大的 batch。 YOLOv5 中 freeze 參數(shù)的指定方式是通過命令行傳入層索引或層名。例如 --freeze 0 10 表示凍結第 0 層到第 10 層具體對應 backbone 的前 11 層。凍結實現(xiàn)的核心代碼邏輯類似于 for k, v in model.named_parameters(): if int(k.split(.)[1]) freeze_epochs: # 按層索引判斷 v.requires_grad False 注意凍結和 BatchNorm 的關系需要額外關注。凍結層的 BatchNorm 統(tǒng)計量均值和方差是固定的來源于預訓練階段。如果你凍結了 backbone 但 BN 仍在訓練模式下更新統(tǒng)計量可能會造成不一致。YOLOv5 中凍結操作通常也包含了對應 BN 層的 eval() 模式切換。 常見的 freeze 策略有以下幾種適用場景各不相同 策略一全凍結full freeze。所有層都凍結只訓練 head 層。適用場景數(shù)據(jù)集極小幾百張、領域差異極大比如用 ImageNet 預訓練權重去訓一個醫(yī)學影像檢測。優(yōu)點是收斂極快缺點是頭部能力受限。 策略二部分凍結partial freeze。凍結 backbone 前 N 層解凍后 N 層和 head。例如凍結 0-9 層backbone 的前10層解凍 10 層以后和 head。適用場景小到中等數(shù)據(jù)集、領域有一定差異。這是 YOLOv5 的默認做法對大多數(shù)場景都比較穩(wěn)妥。 策略三分階段解凍gradual unfreezing。第一階段凍結 backbone 只訓 head第二階段解凍 backbone 后幾層較低學習率微調第三階段全量解凍整體微調。適用場景中等規(guī)模數(shù)據(jù)集、想最大化預訓練收益。這個策略被多個論文驗證優(yōu)于一次性全量訓練但需要手動控制階段切換。 策略四解凍后低學習率low-lr fine-tuning。不解凍全部層只以極低學習率通常是預訓練 lr 的 1/10 到 1/100微調 backbone 后幾層和 head。適用場景大數(shù)據(jù)集、領域接近的場景如用 COCO 預訓練權重去訓同類別的產品檢測。 判斷何時該解凍的經驗法則 觀察 head losscls/obj是否進入平臺期連續(xù) 5 個 epoch 變化小于 1%同時訓練集 loss 仍有下降空間。如果兩者同時滿足可以嘗試解凍。 解凍時建議將學習率降低為原來的 1/10同時打開 warmup 避免參數(shù)大幅震蕩。 六、輸入尺寸為什么必須是32的倍數(shù) ---------------------------------- 這是 YOLOv5 的高頻面試題也是影響訓練穩(wěn)定性和推理一致性的真實工程約束。 先從下采樣鏈路說起。YOLOv5 的 backbone 包含 5 次下采樣操作每次 stride2 的卷積或池化操作都會將特征圖尺寸減半。所以從輸入圖像到最終特征圖經歷了 2^5 32 倍的下采樣。 對應三個檢測頭80x80、40x40、20x20 80x80 特征圖對應輸入圖像中每個格子覆蓋 8x8 像素區(qū)域640/808 40x40 特征圖對應輸入圖像中每個格子覆蓋 16x16 像素區(qū)域640/4016 20x20 特征圖對應輸入圖像中每個格子覆蓋 32x32 像素區(qū)域640/2032 這三個格子尺寸分別對應小目標、中目標、大目標的檢測。 如果輸入尺寸不是 32 的倍數(shù)會怎樣假設你輸入 608x608608/3219可以整除沒問題但如果你輸入 640x500500/3215.625不能整除代碼通常會做兩種處理 處理方式一自動 padding。將短邊 pad 到最近的 32 倍數(shù)比如 500 pad 到 512變?yōu)?640x512。但這改變了圖像內容的寬高比可能導致目標形變降低檢測精度。 處理方式二報錯或警告。有些配置下會要求嚴格對齊直接報錯。 多尺度訓練的場景下這個問題更復雜。YOLOv5 支持在訓練時隨機選擇多個尺度比如 320-640 之間但每個采樣的尺寸仍然要求是 stride 的倍數(shù)。如果選了一個 544544/3217可以但選了一個 576576/3218也可以這兩個尺度產生的特征圖網格不同分別是 18x18 和 17x17 在 stride32 下網絡要能正確處理這種變化。 建議的工程實踐 在數(shù)據(jù)預處理階段將所有圖像 resize 到統(tǒng)一的 32 倍數(shù)尺寸比如 640x640 或 416x416避免訓練和推理時的隱式 padding 行為。 如果你需要處理任意長寬比的圖像優(yōu)先使用 letterbox 方式保持寬高比灰色填充到 32 倍數(shù)而不是簡單的拉伸 resize。 七、優(yōu)化器、學習率、EMA、AMP決定訓練能不能穩(wěn)住 ------------------------------------------------ 這四個組件共同決定了訓練過程的穩(wěn)定性和最終模型的泛化能力。下面逐一講解每個模塊的設計原理和調優(yōu)思路。 7.1 優(yōu)化器選擇與 weight decay 的正確理解 YOLOv5 支持 SGD、Adam 和 AdamW 三種優(yōu)化器默認使用 SGDmomentum0.937。為什么默認是 SGD 因為在大 batch 訓練場景下SGD 的泛化性能通常優(yōu)于 Adam。SGD 通過動量momentum累積歷史梯度方向形成一個更穩(wěn)定的更新方向適合大規(guī)模目標檢測這種需要強泛化能力的任務。 Adam 和 AdamW 的優(yōu)勢在于自適應學習率每個參數(shù)有自己的 lr收斂更快但泛化能力有時不如 SGD。適合小 batch8-16、短訓練周期幾十個 epoch、或者數(shù)據(jù)量較小的場景。 weight decay簡稱 wd也叫 L2 正則化是優(yōu)化器中一個容易被誤用的參數(shù)。很多人直接照抄網上的 weight_decay0.0005卻不理解這個數(shù)值在不同 batch 下代表什么意義。 weight decay 的實際正則強度和 batch size 以及有效 batch 數(shù)nbsnominal batch size有關。在 YOLOv5 中effective batch size batch × accumulation_steps而 weight decay 的影響會被這個有效 batch 縮放 effective_wd wd × (effective_batch / nbs) 例如如果你把 batch 從 16 改到 64擴大 4 倍其他參數(shù)不變那么有效正則強度就增強了約 4 倍。如果你的模型在 batch64 時出現(xiàn)過擬合可以適當降低 wd而不是改 lr。 7.2 學習率調度warmup 和余弦衰減 warmup預熱是訓練初期的一個關鍵階段。在前 N 個 epoch 內學習率從極低值通常是 lr0 的 1/1000逐步上升到 lr0。這個設計的目的是 訓練初期模型參數(shù)是隨機初始化的或者從預訓練權重繼承的此時梯度方向很不穩(wěn)定。如果直接用大學習率參數(shù)更新幅度過大可能直接跳到 Loss 的一個很差的位置甚至導致發(fā)散。warmup 讓參數(shù)在初期用小步試探逐步建立穩(wěn)定的梯度方向。 warmup 之后通常接余弦退火cosine annealing或者階梯衰減step LR。余弦退火的優(yōu)點是 lr 曲線平滑從 warmup 結束時的 lr0 緩慢下降到接近零讓模型在訓練末期有充足時間在 Loss 谷底找到最優(yōu)解。階梯衰減則是在特定 epoch 將 lr 降低一個比例比如降低到原來的 1/10適合你想精確控制訓練曲線的場景。 調優(yōu)建議如果你發(fā)現(xiàn)訓練初期 loss 波動很大發(fā)散或者震蕩可以增加 warmup epoch 數(shù)默認是 3 個。如果你發(fā)現(xiàn)訓練后期 loss 平臺后無法再下降可以嘗試余弦退火替代階梯衰減。 7.3 EMA穩(wěn)定驗證指標的利器 EMAExponential Moving Average指數(shù)滑動平均維護一套模型參數(shù)的影子副本。更新公式是 theta_ema decay × theta_ema (1 - decay) × theta_current 其中 decay 通常取 0.9999非常接近1。這意味著 EMA 權重在每次更新時只吸收當前權重 0.01% 的變化因此變化非常緩慢。 為什么 EMA 通常帶來更好的泛化因為 EMA 本質上是一個時間平均操作。訓練末期的參數(shù)往往在一個最優(yōu)解附近波動直接取最后一個 checkpoint 可能恰好取到了波峰。EMA 通過平滑抵消了這種高頻波動取到的是歷史上多次更新的平均位置通常更接近真實的最優(yōu)解。 在 YOLOv5 中驗證時默認使用 EMA 權重進行推理。保存 best.pt 時也是 EMA 權重參與 fitness 計算。所以你最終拿到的 best.pt 實際上是 EMA 影子權重而非訓練末期的即時權重。 7.4 AMP省顯存提吞吐的正確姿勢 AMPAutomatic Mixed Precision自動混合精度的核心是前向傳播用 FP16 計算節(jié)省顯存和加速梯度更新用 FP32保證精度不損失。 CUDA 的 tensor core 對 FP16 矩陣運算做了硬件加速FP16 的矩陣乘法比 FP32 快將近 8 倍取決于具體硬件。同時 FP16 的顯存占用是 FP32 的一半可以跑更大的 batch。 YOLOv5 中的 AMP 通過 torch.cuda.amp.autocast 和 GradScaler 實現(xiàn)。autocast 自動決定哪些操作用 FP16、哪些用 FP32通常卷積用 FP16loss 計算和梯度更新用 FP32。GradScaler 負責在 loss scaling 階段防止 FP16 下的下溢問題梯度值太小超出 FP16 表示范圍。 需要注意的風險某些硬件配置老顯卡、驅動版本過舊下 AMP 可能不穩(wěn)定。如果你在訓練中遇到 NaN loss先關閉 AMP 試試--half False。 八、數(shù)據(jù)管線從 Dataset 到 batch 的完整數(shù)據(jù)流 ----------------------------------------------- 訓練數(shù)據(jù)管線是70%的玄學問題所在。理解這一部分的價值不僅在于排查問題更在于知道如何通過調整數(shù)據(jù)策略來提升模型效果。 8.1 Dataset 的職責 YOLOv5 的 Dataset 類通常在 utils/datasets.py 中負責以下職責 第一文件索引。遍歷 images 目錄建立圖片路徑列表。同時在 labels 目錄下查找對應名稱的 .txt 標簽文件YOLO 格式class_id cx cy w h全部歸一化到 0-1。 第二標簽解析。讀取 .txt 文件每行代表一個 GT 框。解析后存儲為 [class_id, cx, cy, w, h] 的列表。 第三圖像加載與預處理。讀取圖片文件做 resizeletterbox 或簡單拉伸、通道順序轉換BGR→RGB、歸一化/255.0。 第四在線數(shù)據(jù)增強。增強操作在這一步執(zhí)行具體包括 Mosaic、MixUp、幾何變換旋轉、平移、縮放、翻轉、顏色域增強HSV 調整、亮度、對比度等。 8.2 文件命名的常見坑 YOLO 數(shù)據(jù)集有一個隱式約定images/ 和 labels/ 目錄下的文件名必須完全對應擴展名不同。如果文件名出現(xiàn)以下問題會導致找不到標簽或找不到圖片的報錯 坑1文件名含有多余空格或隱藏字符。比如 img .jpgimg 和 .之間有空格或者文件名校驗時看起來正常但實際含有多余字符。 坑2文件名含有多余點號。比如 img..jpg兩個點某些路徑解析邏輯會截取錯誤。 坑3大小寫不匹配。Windows 系統(tǒng)文件名大小寫不敏感但 Linux 服務器訓練環(huán)境通常大小寫敏感。images/ 下是 cat.jpglabels/ 下是 Cat.txt在服務器上就會找不到。 坑4圖片和標簽擴展名不統(tǒng)一。比如圖片用 .JPG大寫標簽用 .txt小寫解析邏輯可能無法匹配。 建議的工程實踐寫一個數(shù)據(jù)校驗腳本在訓練前檢查所有圖片和標簽是否一一對應文件名是否符合規(guī)范。這比訓練到一半才發(fā)現(xiàn)數(shù)據(jù)問題要高效得多。 8.3 cache 機制加速加載的雙刃劍 YOLOv5 支持標簽 cache 功能。當?shù)谝淮渭虞d數(shù)據(jù)集時程序會解析所有標簽并將結果緩存到磁盤.cache 文件類似 labels_cache.cache.pkl。后續(xù)訓練啟動時直接從 cache 文件讀取標簽不再重新解析每個 .txt 文件可以大幅加速 Dataset 初始化。 這個機制的坑在于如果你修改了標簽文件改坐標、改類別、新增標注但 cache 文件沒有刪除程序會繼續(xù)讀取舊的 cache導致你改了標注但指標沒變化。 正確的做法是每次修改標簽后手動刪除對應的 .cache 文件?；蛘咴?YOLOv5 中使用 --cache-images disk 參數(shù)將圖片也緩存到內存或磁盤這樣標簽修改也必須同步更新 cache。 8.4 collate_fn 與 image index對齊 batch 的關鍵機制 Dataset 返回的是單張圖片及其 GT 標簽列表。collate_fn 的作用是把 N 個樣本通常 N batch size合并成一個 batch 張量。 這個過程中最關鍵的一個細節(jié)是 image index圖像索引。GT 標簽在拼 batch 時會在每條 GT 記錄前插入一個 image index表示該 GT 屬于 batch 中的哪一張圖片。 為什么要這樣做因為 loss 計算時batch 內的 N 張圖片是一起前向傳播的輸出是 N 張圖合并的預測結果。計算 loss 時必須知道某條 GT 該和 batch 中哪一張圖的預測結果進行匹配。如果缺少這個 image indexGT 和預測會錯位導致 loss 計算完全錯誤。 這個細節(jié)非常適合作為面試表達素材我不僅知道 YOLO 標簽格式是 class_id cx cy w h還知道 batch 拼接時為什么要加 image index 來做 GT 與預測的對齊。 九、數(shù)據(jù)增強從原理到實驗順序的全鏈路講解 ------------------------------------------ 數(shù)據(jù)增強是 YOLOv5 訓練中最強大也最容易被誤用的模塊。很多人一味疊加增強手段卻不清楚每個增強的作用邊界和疊加效果最終導致離線指標好看但上線效果差。 9.1 為什么增強不是越多越好 數(shù)據(jù)增強的核心目標是讓模型在訓練時見過的分布盡可能接近它在現(xiàn)場推理時會遇到的分布。 真實數(shù)據(jù)集有三個常見局限樣本有限采集成本高、場景單一白天多、夜晚少、目標形態(tài)單一正面多、側面少。增強是用低成本的圖像變換模擬高成本的真實場景多樣性。 但如果增強過度反而會讓訓練分布偏離真實分布。例如把 mosaic 概率設到 1.0每張圖都是4張合成同時把 mixup 也開啟每張圖都是多張圖的混合。這會讓模型長期處于一種過度人工的分布中訓練學到的特征不夠貼近真實單一目標最終泛化到真實場景時效果反而下降。 所以增強的原則是寧缺毋濫寧可少用有效的也不要濫用全部。 9.2 YOLOv5 增強的執(zhí)行順序非常重要 YOLOv5 中增強的執(zhí)行順序不是隨意排列的理解這個順序對調試和設計增強策略非常關鍵。以默認配置為例mosaic 啟用 第一步Mosaic 拼接。將 4 張圖片及其標簽按九宮格方式拼接成 1 張。這張合成圖通常覆蓋了更大的上下文區(qū)域模擬了多目標場景。 Mosaic 增強的關閉方式有兩種方法一是在 hyp.yaml 中將 mosaic 參數(shù)設為 0方法二是在代碼中將相關布爾變量置 False。 第二步MixUp 混合。在 mosaic 之后隨機以一定概率將當前圖和另一張圖做加權混合像素級 blend。對應參數(shù) mixup默認 0.0不啟用。當你的數(shù)據(jù)集較小、目標重疊較多時開啟 mixup 有助于增加多樣性。 第三步幾何變換。包括隨機旋轉-5°到5°、隨機平移、隨機縮放。這些變換會同時作用于圖像和對應的 GT 框坐標。關鍵要求是幾何變換必須同步變換標簽坐標否則 GT 和圖像就錯位了。 第四步顏色域增強。包括 HSV 空間調整色調H、飽和度S、亮度V的隨機偏移、亮度調整、對比度調整。顏色增強只改變像素值不改變坐標因此不需要同步更新標簽。 第五步翻轉。水平翻轉vertical flip是 YOLO 中最常用的翻轉方式。翻轉概率在 hyp.yaml 中由 fliplr 參數(shù)控制默認 0.5。注意YOLO 通常不做垂直翻轉因為大多數(shù)拍攝場景中目標不會有上下翻轉做垂直翻轉反而會引入錯誤的分布。 9.3 常見增強手段及其適用場景 翻轉Flip適合對稱目標車輛、行人、商品。不適合不對稱目標手勢識別中的左右手不能互換。 旋轉Rotation小角度旋轉±15°適合模擬攝像頭輕微傾斜。過大的旋轉角度如 180°只有在攝像頭可能倒裝的場景下才啟用。旋轉后的黑邊處理會引入干擾區(qū)域需要額外處理。 Mosaic4圖拼接大幅增加 batch 內多樣性適合多目標檢測?？梢酝瑫r模擬背景多樣性和多目標共現(xiàn)。但 mosaic 會讓每張子圖變小對小目標的檢測難度實際是增加的。 MixUp兩圖混合像素級 blend適合類別之間邊界模糊的場景。但會模糊目標的輪廓對定位精度有一定負面影響。 HSV 調整模擬不同光照條件白天/陰天/室內/室外。幾乎所有場景都建議保留屬于低成本高收益的增強。 馬賽克Mosaic9 / 九宮格YOLOv5 源碼中有 Mosaic9 的實現(xiàn)入口。9張圖拼接上下文信息更豐富但標簽處理更復雜對超密集目標場景有一定幫助對大多數(shù)場景收益不明顯。 Albumentations 擴展增強如果需要更多增強手段如雨霧模擬、運動模糊、色彩空間變換可以接入 Albumentations 庫。需要注意區(qū)分顏色域增強模糊、壓縮、噪聲只改像素不需改坐標幾何增強旋轉、透視、縮放必須同步更新 GT 框坐標。 9.4 增強實驗的正確順序 建議按以下順序做增強實驗每次只開一個觀察 3-5 個 epoch 的趨勢 第一步關閉所有復雜增強mosaic0、mixup0用最基礎的增強HSV、翻轉跑基線。記錄基線的 P/R/mAP。 第二步打開 mosaicmixup 保持關閉觀察指標變化。mosaic 通常能帶來明顯收益因為增加了目標多樣性和背景多樣性。如果收益明顯可以保留。 第三步如果數(shù)據(jù)集較小或類別較多打開 mixupmosaic 保持開觀察收益。mixup 通常對分類有幫助對定位幫助有限。 第四步調整 HSV 參數(shù)范圍色調偏移量 H、飽和度偏移量 S、亮度偏移量 V。如果你現(xiàn)場的光照變化劇烈可以擴大 HSV 偏移范圍。 第五步調整翻轉概率。如果你的場景中目標左右不對稱如手勢、面部表情降低 fliplr。 十、損失函數(shù)設計box/obj/cls 三路平衡實戰(zhàn) ------------------------------------------ 損失函數(shù)是 YOLOv5 訓練中最重要的部分也是最值得深入調優(yōu)的區(qū)域。YOLOv5 的總損失由三類損失加權求和得到 Total Loss box_loss × λ_box obj_loss × λ_obj cls_loss × λ_cls 其中 λ_box、λ_obj、λ_cls 是由 hyp.yaml 中的 box、cls、obj 參數(shù)控制的權重項。理解這三路損失的機制是做有效優(yōu)化的前提。 10.1 box_loss定位質量的衡量 box_loss 負責衡量預測框和 GT 框之間的定位誤差。YOLOv5 從 v5.0 開始使用 CIoUComplete IoU作為 box_loss 的核心度量。 回顧一下 IoU 家族的演進邏輯 IoU Loss -log(IoU)。直接用兩個框的重疊程度做損失。當兩框完全不重疊時 IoU0無法反映分離程度梯度消失。 GIoUGeneralized IoU在 IoU 基礎上加入了外接框的懲罰項GIoU IoU - (外接框面積 - 并集面積) / 外接框面積。即使兩框完全分離GIoU 也能反映它們的距離遠近。 DIoUDistance IoU在 GIoU 基礎上進一步加入了中心點距離約束DIoU IoU - (中心點距離2 / 外接框對角線2)。這讓收斂更快尤其是框大小接近但中心點錯開的情況。 CIoUComplete IoU在 DIoU 基礎上再加入寬高比約束CIoU IoU - (中心點距離項) - (寬高比項)。同時優(yōu)化重疊面積、中心點距離、寬高比是目前 YOLO 系列最常用的 box_loss。 理解這個演進邏輯你就知道為什么改 IoU 變體可能帶來收益不同 IoU 損失對框的什么方面不夠好的敏感度不同。如果你的檢測框總是中心點準確但寬高比不對CIoU 比 DIoU 更適合如果框總是和 GT 重疊夠但中心點偏得遠DIoU 是更好的選擇。 10.2 obj_loss目標性判斷的置信度學習 obj_loss 衡量這個位置有沒有目標的判斷能力。這是一個二分類問題本格子是否包含 GT 目標的中心點。 正樣本分配規(guī)則GT 框中心點落在哪個 Grid Cell哪個 Grid Cell 對應的 Anchor Box 就是正樣本置信度 target 1。此外如果同一個 GT 和多個 Anchor 匹配通常取 IoU 最高的那個 Anchor 為正樣本。 負樣本分配規(guī)則不是正樣本但與 GT 的 IoU 超過某個閾值的格子為忽略樣本通常 target -1不參與 loss 計算。其余格子為負樣本target 0置信度應該接近0。 obj_loss 使用 BCE二元交叉熵或者 Focal BCE 計算。如果啟用 Focal Loss通過 hyp.yaml 中的 cls_pw 參數(shù)控制則用 Focal BCE 替代標準 BCE以降低易分類負樣本的影響。 10.3 cls_loss類別判斷的分類學習 cls_loss 衡量如果有目標它屬于哪個類別的分類能力。使用 CE交叉熵或 Focal CE 計算。 類別不平衡時可以通過 class weights類別權重處理稀有類賦予更高的權重防止被頭部類別主導。YOLOv5 的 hyp.yaml 中通常不直接配置 class weights需要在 compute_loss 代碼中啟用通常是一個可選項。 10.4 多尺度頭損失平衡 YOLOv5 有三個檢測頭P3/P4/P5分別對應小目標80x80、中目標40x40、大目標20x20。這三個頭分別負責不同尺度的目標大小差異很大直接用同一權重可能導致某類目標訓練不充分。 多尺度頭損失平衡的調節(jié)方式在 compute_loss 時給不同檢測頭的損失乘以不同的系數(shù)。YOLOv5 源碼中默認的平衡系數(shù)是 [4.0, 1.0, 0.4]分別對應小目標頭、中目標頭、大目標頭。 如果你發(fā)現(xiàn)小目標漏檢嚴重可以嘗試提高 P3 頭的權重比如從 4.0 改到 6.0 或 8.0。 如果你發(fā)現(xiàn)大目標檢測不穩(wěn)定可以適當提高 P5 頭的權重。 10.5 Focal Loss 的作用與拆分策略 Focal Loss 的設計目標是解決難易樣本不平衡問題。在 YOLO 中正樣本目標區(qū)域遠少于負樣本背景區(qū)域且大量負樣本是簡單背景模型已經很容易判斷這里沒有目標。如果用標準 BCE這些簡單負樣本貢獻的損失累積起來會淹沒正樣本的梯度。 Focal Loss 的公式FL(p_t) -α_t × (1 - p_t)^γ × log(p_t) 其中 (1-p_t)^γ 是調制因子。當樣本容易分類時p_t 接近 1調制因子趨近于 0大幅降低易樣本的損失貢獻當樣本難以分類時p_t 接近 0調制因子接近 1損失基本不變讓模型繼續(xù)聚焦于難樣本。 工程上有一個非常有價值的拆分策略先關注 obj目標檢出再關注 cls類別分類。具體做法是 第一階段obj_loss 用 Focal BCEcls_loss 用普通 BCE。優(yōu)先保證能檢出來分類交給第二階段。 第二階段在基線穩(wěn)定后將 cls_loss 也切換為 Focal CE強化分類能力。 這種拆分策略適合漏檢代價高、誤分類代價相對低的業(yè)務場景如安監(jiān)、質檢。 10.6 IoU 變體替換的實驗方法 替換 IoU 變體CIoU→DIoU→SIoU→EIoU 等是 YOLOv5 調優(yōu)中一個經常被提到的手段但很多人替換后沒有觀察到收益原因是實驗方法不對。 正確的做法是單因素替換 有對照。每次只替換 IoU 變體固定其他所有參數(shù)lr、batch、增強、權重初始化跑至少 20-30 個 epoch記錄完整曲線。不同 IoU 變體的收斂速度不同短期內可能看不出差異但長期訓練后可能有顯著差異。 SIoUSCYLLA-IoU是近年來提出的新變體引入了Angle cost和Distance cost的重新設計在某些數(shù)據(jù)集上比 CIoU 收斂更快。EIoU 則進一步拆分了寬高比損失項在目標形狀多樣的數(shù)據(jù)集上可能更有效。 十一、驗證與 best.pt 保存機制 ------------------------------ 很多人把 best.pt 等同于某個指標最高的 epoch這是一個常見的誤解。理解 best.pt 的保存機制對正確評估模型效果和制定保存策略至關重要。 11.1 fitness 綜合評分機制 YOLOv5 的 best.pt 不是按單個指標保存的而是按 fitness適應度綜合評分決定。fitness 是一個加權組合典型的計算方式是 fitness 0.1 × P 0.9 × mAP0.5:0.95 或者更復雜的變體 fitness w1 × P w2 × R w3 × mAP0.5 w4 × mAP0.5:0.95 其中 w1、w2、w3、w4 是權重參數(shù)可以在源碼中修改。權重的設計反映了什么對你更重要 如果你更看重查全率Recall可以提高 R 的權重防止模型為了追求高精度而漏檢。 如果你更看重高精度Precision可以適當降低 Recall 的權重。 如果你在 COCO 格式數(shù)據(jù)集上評測mAP0.5:0.95 是最重要的指標建議給它最高權重。 這就解釋了為什么最高 Recall 未必是 bestRecall 最高的那一輪可能 Precision 很低導致綜合 fitness 并不是最高的。 11.2 業(yè)務目標映射到 fitness 權重 不同的業(yè)務場景對 P/R 的偏好不同 場景一醫(yī)療影像輔助診斷。漏檢假陰性可能導致重大風險此時應該降低 fitness 中 Recall 的權重閾值或者單獨設置Recall 優(yōu)先的保存規(guī)則。寧可多報一些可疑區(qū)域Precision 降低也不要漏掉真正的病灶。 場景二商品識別計數(shù)。需要精準計數(shù)誤檢假陽性會直接導致計數(shù)錯誤此時應該更看重 Precision?？梢赃m當犧牲一些 Recall。 場景三通用目標檢測監(jiān)控、安防。沒有明顯的 P/R 偏好使用默認的 fitness 權重組合通常就是最優(yōu)選擇。 11.3 驗證閾值對指標觀感的影響 YOLOv5 驗證時會使用 conf_thres 和 iou_thres 兩個閾值 conf_thres置信度閾值只保留置信度高于此值的預測。設得越高Precision 越高但 Recall 越低。 iou_thresNMS 閾值NMS 時 IoU 超過此值的框會被抑制。設得越低重復框越少但可能誤刪重疊目標。 這兩個閾值的選擇直接影響驗證指標。實戰(zhàn)建議做橫向對比實驗時所有模型的驗證閾值必須完全一致包括 conf_thres 和 iou_thres否則對比結論不可靠。 通常 mAP0.5 是最魯棒的指標因為它只評估 IoU0.5 下的 P/R 曲線下面積對閾值選擇的敏感性低于 mAP0.5:0.95它評估 IoU 從 0.5 到 0.95 的平均值。 十二、排錯清單從現(xiàn)象到根因的系統(tǒng)定位 ------------------------------------- 本節(jié)整理了 YOLOv5 訓練中最常見的四類問題及其完整排查路徑。 12.1 問題一參數(shù)改了但指標沒變化 排查步驟 第一步檢查啟動日志中的最終生效參數(shù)。在訓練開始時會打印 opt 字典確認關鍵參數(shù)batch、imgsz、lr、weight_decay、增強開關是否和預期一致。 第二步如果使用了 resume檢查 opt.yaml 是否覆蓋了你的修改。打開 run/expN/opt.yaml對比其中的參數(shù)和你的預期。 第三步如果修改的是 hyp.yaml增強參數(shù)確認訓練時是否真的讀取了這個文件?？梢栽?hyp.yaml 中加一個唯一的注釋比如加一行 # DEBUG_TEST_001然后確認訓練日志中是否出現(xiàn)了這個注釋。 第四步如果以上都沒問題檢查代碼緩存如果有 .pyc 文件或 __pycache__ 目錄可能運行的是舊代碼。執(zhí)行 rm -rf __pycache__ 清理后再試。 12.2 問題二改了標簽但指標不變 排查步驟 第一步檢查 .cache 文件是否仍然存在。如果存在刪除它并重新啟動訓練。 第二步抽樣可視化。用 YOLOv5 自帶的 plot_val_results.py 或者手動寫一個腳本來可視化 GT 框確認標簽是否正確讀取。 第三步檢查圖片和標簽的對應關系。確認 images/ 下的圖片文件名和 labels/ 下的標簽文件名完全一致注意擴展名。 第四步確認 Dataset 的 cache 參數(shù)設置。如果使用了 --cache-images確保圖片和標簽的 cache 都刷新了。 12.3 問題三自寫推理結果和官方推理差距大 排查步驟 第一步預處理一致性排查。這是差距最大的來源。檢查顏色通道順序YOLO 用 RGBOpenCV 默認 BGR、歸一化系數(shù)/255.0 還是 /255 還是 /1、resize 方式letterbox 保持寬高比 vs 直接拉伸、padding 顏色BGR 還是 RGB值是多少。 第二步后處理一致性排查。檢查 conf_thres 和 iou_thres 是否一致。檢查 NMS 實現(xiàn)是否和 YOLOv5 的 torchvision.ops.nms 等價注意 YOLOv5 的 NMS 做了多類別處理不是直接調用單類別 nms。 第三步模型加載確認。檢查加載 best.pt 時是否正確切換到 eval 模式model.eval()。檢查是否漏了 .float() 或 .half()如果官方用 FP16你用 FP32數(shù)值精度差異可能累積。 第四步輸出張量解析。YOLOv5 的輸出是 [batch, 3, 85, H, W]不是 [batch, 85, H, W, 3]確認你解析輸出張量的 reshape 順序是否正確。 12.4 問題四訓練 loss 發(fā)散或劇烈抖動 排查步驟 第一步梯度爆炸檢測。在訓練循環(huán)中加入梯度范數(shù)打印torch.nn.utils.clip_grad_norm_。如果 grad_norm 超過 100通常說明梯度爆炸。處理方法調低學習率lr0 降低 5-10 倍或者打開梯度裁剪YOLOv5 中可用 --gr 等參數(shù)控制。 第二步學習率是否過高。觀察第一個 epoch 的 loss 曲線。如果第一個 epoch loss 就非常高比如超過 10說明 lr 過高。YOLOv5 默認 lr00.01SGD對于小 batch 或小模型來說可能過高可以嘗試 0.001。 第三步增強是否過強。關閉 mosaic 和 mixup只用基礎的 HSV 和翻轉看 loss 曲線是否恢復正常。如果恢復正常說明增強強度超過了模型當前能力的接受范圍。 第四步batch size 與 weight decay 的配合。減小 batch 后如果訓練變得不穩(wěn)定檢查 weight_decay 是否需要同比降低參考 effective_wd 的計算公式。 十三、推薦實驗順序一次只改一個核心因素 ------------------------------------- 做 YOLOv5 優(yōu)化時最大的浪費是同時改了很多東西然后說不清哪個有效。下面的實驗順序是經過驗證的高效優(yōu)化路徑每次只改一個核心因素確保你能準確定位每個改動的收益。 第一階段數(shù)據(jù)正確性驗證基石。在開始任何優(yōu)化之前必須確認數(shù)據(jù)本身沒問題。操作跑 1-2 個 epoch 的訓練然后可視化 10-20 張樣本的 GT 框用 YOLOv5 自帶的 plot_labels 或手寫腳本。檢查GT 框是否畫在正確位置、類別標簽是否和圖片內容一致、圖片讀取是否正常。如果數(shù)據(jù)有問題優(yōu)化一切都白搭。 第二階段可信基線建立。這一步的目的是在最干凈的條件下獲得一個基準指標用于后續(xù)對照。操作關閉 mosaic、關閉 mixup、增強只保留基礎的 HSV 和水平翻轉跑完一個完整的訓練周期通常 300 epochs記錄 best.fitness 和對應 epoch。增強越少離線指標通常越好看因為訓練難度降低了但泛化能力未必最好。所以基線的意義在于基準而不是最優(yōu)。 第三階段增強逐項恢復。每隔 3-5 個 epoch 開啟一個新的增強手段記錄每個增強單獨帶來的變化。比如 baseline只有 HSV flip → mosaic → mixup → augment 的其他選項 通過這個過程你會知道每個增強在你的數(shù)據(jù)集上帶來的真實收益是正還是負。 第四階段損失權重調優(yōu)。觀察哪個尺度小/中/大目標的 AP 最低針對性地調高對應檢測頭的損失權重。比如 P3 (80x80) 的 AP 明顯低于其他兩個就將對應權重從 4.0 改到 6.0 再到 8.0觀察 5 個 epoch 的趨勢。 第五階段IoU 變體和 Focal 策略。如果基礎優(yōu)化都已做完、指標仍有提升空間可以嘗試替換 IoU 損失CIoU→DIoU→SIoU→EIoU和 Focal Loss 的拆分策略。每次替換后跑 20-30 個 epoch 觀察長期趨勢。 第六階段fitness 規(guī)則校準。根據(jù)業(yè)務目標重新設定 fitness 權重組合確保 best.pt 的保存邏輯和驗收標準一致。比如業(yè)務更關心 Recall就把 fitness 中 Recall 的權重調高。 第六步之后你就有了一個完整對照的實驗記錄可以寫報告、寫論文、或者做下一步優(yōu)化規(guī)劃。 十四、面試與匯報的表達升級從會調參到會優(yōu)化 ----------------------------------------------- 能清晰表達 YOLOv5 訓練鏈路和優(yōu)化思路是區(qū)分調參工程師和算法工程師的重要標志。下面給出幾套可直接使用的表達模板。 模板一適用于面試算法崗 我做過 YOLOv5 的系統(tǒng)性優(yōu)化核心思路是鏈路診斷 單變量實驗。具體來說我會在訓練初期先固定數(shù)據(jù)正確性標簽、cache、增強然后關閉復雜增強建立基線再逐項恢復增強觀察單變量收益。在損失優(yōu)化階段我會先分析多尺度頭的 AP 分布針對性調整頭部損失權重。IoU 變體替換和 Focal 策略則放在最后做長期對照實驗。 模板二適用于晉升答辯或項目匯報 本次 YOLOv5 訓練的優(yōu)化工作分為三個層面數(shù)據(jù)層面通過增強逐項恢復實驗確定 mosaicHSV 是對我們數(shù)據(jù)集收益最高的組合損失層面通過頭部損失平衡調整將小目標 AP 提升了 X%工程層面通過 fitness 規(guī)則重設確保 best.pt 保存邏輯與業(yè)務驗收標準一致。 模板三適用于描述具體問題的診斷過程 當發(fā)現(xiàn)訓練 loss 抖動后我依次排查了梯度范數(shù)排除爆炸、學習率從 0.01 降到 0.001、增強強度關閉 mosaic 后恢復穩(wěn)定、weight decay 縮放batch 從 16 改到 64 后降低了 wd。最終通過梯度裁剪和降低 wd 的組合解決了問題并驗證了在更大 batch 下模型收斂更穩(wěn)定mAP 提升了約 X%。 這類表達的核心是說清楚現(xiàn)象→排查→假設→實驗→結論的完整過程而不是只給我改了什么參數(shù)、結果變好了。 十五、最終總結 ------------ YOLOv5 訓練源碼學習的真正價值不在于背函數(shù)名而在于建立三個能力 第一個能力鏈路視角。能說出參數(shù)從哪來到哪去能定位任何訓練異常到具體模塊能解釋為什么這個參數(shù)這樣設置。 第二個能力系統(tǒng)優(yōu)化。不是調一個參數(shù)等結果而是有計劃地建立基線、逐項實驗、記錄對照最終用數(shù)據(jù)說服自己和他人這個改動有效。 第三個能力工程閉環(huán)。能從訓練到推理全鏈路保持一致性預處理/后處理/閾值能設計符合業(yè)務目標的 fitness 規(guī)則能用排錯清單快速定位問題根因。 當你同時具備這三個能力你就已經不是會跑 YOLO了而是會優(yōu)化 YOLO。這才是技術深水區(qū)的核心競爭力。 完