1. 為什么我選擇從零手寫一遍YOLO檢測(cè)頭先說結(jié)論如果你已經(jīng)能熟練調(diào)用現(xiàn)成的檢測(cè)框架跑通推理卻說不清一張 640×640 的圖進(jìn)去之后為什么輸出是 8400 個(gè)候選框、為什么正樣本只有寥寥幾個(gè)、為什么 loss 里有一項(xiàng)幾乎不下降——那這篇內(nèi)容就是寫給你的。我打算把一次完整的實(shí)驗(yàn)過程攤開講用 PyTorch 把一個(gè) YOLO 風(fēng)格的單階段目標(biāo)檢測(cè)模型從數(shù)據(jù)管道、骨干網(wǎng)絡(luò)、檢測(cè)頭、標(biāo)簽分配、損失函數(shù)一路搭到訓(xùn)練收斂和推理可視化。這里說的“YOLO”不是指某個(gè)具體版本的官方實(shí)現(xiàn)而是指單階段、Anchor-based、輸出為網(wǎng)格化預(yù)測(cè)張量這一整類檢測(cè)范式的核心骨架。選它做實(shí)驗(yàn)的理由很實(shí)在相比兩階段方法它沒有區(qū)域建議網(wǎng)絡(luò)那一層整條鏈路是端到端可微的任何一個(gè)環(huán)節(jié)寫錯(cuò)都會(huì)立刻體現(xiàn)在 loss 曲線上調(diào)試反饋非常直接相比純分類任務(wù)它又多出了坐標(biāo)回歸、正負(fù)樣本分配、NMS 后處理這幾塊真正的“工程難點(diǎn)”正好是檢驗(yàn)自己是否真的理解檢測(cè)模型的分水嶺。適合誰(shuí)看有 PyTorch 基礎(chǔ)、寫過 Dataset 和訓(xùn)練循環(huán)、能看懂卷積和矩陣運(yùn)算但對(duì)“檢測(cè)模型到底怎么訓(xùn)起來”還停留在調(diào)包階段的同學(xué)。全文的代碼都是可運(yùn)行的片段級(jí)實(shí)現(xiàn)我刻意避開了過度封裝參數(shù)含義全部寫進(jìn)注釋你可以直接抄進(jìn)自己的實(shí)驗(yàn)倉(cāng)庫(kù)。至于我為什么堅(jiān)持手寫而不是直接改開源倉(cāng)庫(kù)——因?yàn)楦膭e人的代碼時(shí)你永遠(yuǎn)在猜作者為什么這么寫自己寫一遍錯(cuò)一次就永遠(yuǎn)記住了。2. 先想清楚輸入輸出約定再動(dòng)手寫第一行代碼動(dòng)手搭網(wǎng)絡(luò)之前我強(qiáng)制自己先在紙上寫清楚三件事輸入張量的形狀、輸出張量的形狀、以及兩者之間的語(yǔ)義映射。這一步偷懶后面 80% 的 bug 都源于此。很多人一上來就抄 backbone結(jié)果訓(xùn)了兩天發(fā)現(xiàn) loss 不降回頭一查是 anchor 順序和輸出通道的排布對(duì)不上。這種錯(cuò)誤不會(huì)報(bào)異常只會(huì)安靜地浪費(fèi)你的時(shí)間。2.1 網(wǎng)格化預(yù)測(cè)張量的形狀為什么是 S×S×(B×(5C))先定義清楚符號(hào)。把輸入圖像統(tǒng)一縮放到 640×640網(wǎng)絡(luò)以 32 倍下采樣輸出特征圖于是得到 20×20 的網(wǎng)格。每個(gè)網(wǎng)格單元負(fù)責(zé)預(yù)測(cè) B 個(gè)邊界框每個(gè)框帶 5 個(gè)量中心點(diǎn)相對(duì)網(wǎng)格的偏移 x、y寬高 w、h以及一個(gè) objectness 置信度。再加 C 個(gè)類別的條件概率通道數(shù)就是 B×(5C)。以單尺度、B3、C80 的配置為例輸出張量形狀是 1×20×20×3×85。但我更推薦把三個(gè)尺度拼起來看stride 8 得到 80×80stride 16 得到 40×40stride 32 得到 20×20把它們?nèi)空蛊讲淳W(wǎng)格順序拼接總數(shù)是 80×80×3 40×40×3 20×20×3 19200 4800 1200 25200 個(gè)預(yù)測(cè)。這個(gè)數(shù)字很重要它就是你后面標(biāo)簽分配時(shí)要處理的候選總量也是你評(píng)估顯存占用的依據(jù)。補(bǔ)充說明一個(gè)容易混淆的點(diǎn)不同實(shí)現(xiàn)里“(5C)”和“(C5)”的排布順序不一樣有的是[x, y, w, h, obj, cls...]有的是[obj, cls..., x, y, w, h]。這純粹是工程約定但一旦定了就必須全鏈路統(tǒng)一從標(biāo)簽編碼、損失計(jì)算到解碼推理任何一處反了都會(huì)導(dǎo)致模型學(xué)到一個(gè)完全錯(cuò)位的映射。我的習(xí)慣是把它寫成常量并只在一處引用# 每個(gè) anchor 的預(yù)測(cè)向量長(zhǎng)度4 個(gè)坐標(biāo) 1 個(gè) objectness C 個(gè)類別 NUM_CLASSES 80 NOOBJ 4 1 NUM_CLASSES # 85 # 通道索引約定全局唯一定義禁止在別處硬編碼數(shù)字 IDX_XYWH slice(0, 4) IDX_OBJ 4 IDX_CLS slice(5, 5 NUM_CLASSES)這套 slice 常量看起來啰嗦但我在排查一次“類別分?jǐn)?shù)全部趨同”的問題時(shí)就是靠全局替換 slice 才確認(rèn)不是索引錯(cuò)位導(dǎo)致的省了至少半天。2.2 坐標(biāo)為什么要預(yù)測(cè)偏移量而不是絕對(duì)值這是我在第一次實(shí)驗(yàn)里踩得最深的坑。如果直接讓網(wǎng)絡(luò)回歸框中心的絕對(duì)像素坐標(biāo)訓(xùn)到中期 loss 會(huì)卡在一個(gè)較高的平臺(tái)反復(fù)震蕩。原因是絕對(duì)坐標(biāo)的取值范圍是 0~640而卷積輸出的數(shù)值分布天然集中在較小的區(qū)間網(wǎng)絡(luò)為了輸出大數(shù)值必須把權(quán)重推到很大的量級(jí)梯度尺度失衡。正解是讓網(wǎng)絡(luò)只預(yù)測(cè)相對(duì)網(wǎng)格左上角的偏移量并用 sigmoid 壓到 0~1解碼時(shí)再加回網(wǎng)格坐標(biāo)寬高則預(yù)測(cè)相對(duì)于 anchor 尺度的對(duì)數(shù)縮放比。這樣每個(gè)輸出單元的回歸目標(biāo)都落在 0~1 或接近 0 的小范圍內(nèi)數(shù)值穩(wěn)定得多。解碼公式我固定成下面這樣寫在decode函數(shù)里訓(xùn)練和推理共用同一份def decode(pred, anchors, stride, grid_size): # pred: [B, A, H, W, 5C]A 為該尺度 anchor 數(shù) device pred.device gy, gx torch.meshgrid( torch.arange(grid_size, devicedevice), torch.arange(grid_size, devicedevice), indexingij) grid torch.stack((gx, gy), dim-1).float() # [H, W, 2] xy (torch.sigmoid(pred[..., 0:2]) grid) * stride # 解碼到輸入尺度 wh torch.exp(pred[..., 2:4]) * anchors.view(1, -1, 1, 1, 2) obj torch.sigmoid(pred[..., 4:5]) cls torch.sigmoid(pred[..., 5:]) return torch.cat([xy, wh, obj, cls], dim-1)注意meshgrid的indexing參數(shù)必須顯式寫成ij否則在較新版本的 PyTorch 里會(huì)產(chǎn)生警告而且在寬高不相等的特征圖上會(huì)靜默給出轉(zhuǎn)置后的網(wǎng)格坐標(biāo)全錯(cuò)卻不會(huì)報(bào)錯(cuò)。我因?yàn)檫@個(gè)排查過一整晚。寬高用exp而不是 sigmoid是因?yàn)槌叨瓤s放比理論上無(wú)上界用指數(shù)映射可以覆蓋任意大小目標(biāo)同時(shí)讓梯度形式保持簡(jiǎn)潔。3. 數(shù)據(jù)管道比模型更容易出錯(cuò)的地方我現(xiàn)在的經(jīng)驗(yàn)是檢測(cè)任務(wù)的調(diào)試時(shí)間大概七成花在數(shù)據(jù)和標(biāo)簽上。模型結(jié)構(gòu)寫錯(cuò)了頂多 shape 報(bào)錯(cuò)數(shù)據(jù)寫錯(cuò)了是“能跑、loss 也降、但 mAP 上不去”最難定位。所以這一節(jié)我把數(shù)據(jù)管道拆得細(xì)一些。3.1 圖像與框的同步增強(qiáng)最容易寫錯(cuò)的是翻轉(zhuǎn)后的 x 坐標(biāo)檢測(cè)的增強(qiáng)和分類最大的區(qū)別所有幾何變換必須同時(shí)作用于圖像和標(biāo)注框而且框的表示形式在變換前后要來回轉(zhuǎn)換。我采用內(nèi)部統(tǒng)一的中間格式(cx, cy, w, h)歸一化到 0~1因?yàn)榭s放、翻轉(zhuǎn)在這個(gè)格式下計(jì)算最簡(jiǎn)潔只在最終編碼時(shí)才轉(zhuǎn)成像素單位。水平翻轉(zhuǎn)的坑在于框中心 x 變換后應(yīng)該是1 - cx但寬不變。而如果你順手把 x1、x2 也做了1 - x再重排結(jié)果雖然等價(jià)代碼里卻很容易忘記重排導(dǎo)致 x1 x2。我的做法是統(tǒng)一走中心點(diǎn)格式翻轉(zhuǎn)只改一個(gè)數(shù)def hflip(img, boxes): img img[:, ::-1, :].copy() boxes boxes.copy() boxes[:, 0] 1.0 - boxes[:, 0] # 只改中心 x寬高不變 return img, boxes另外隨機(jī)縮放和隨機(jī)裁剪之后那些面積被裁掉大半的框必須過濾。我用的閾值是保留可見面積占原面積 30% 以上、且裁剪后寬高都不小于 4 像素的框。閾值不是玄學(xué)是基于實(shí)測(cè)低于這個(gè)比例的目標(biāo)在特征圖上已經(jīng)不足一個(gè)感受野的中心區(qū)域強(qiáng)行保留只會(huì)給回歸分支注入噪聲標(biāo)簽。3.2 一個(gè) batch 內(nèi)如何組織多尺度標(biāo)簽多尺度輸出意味著標(biāo)簽也要按尺度分別準(zhǔn)備。我的Dataset.__getitem__返回的是原始圖像張量和未編碼的歸一化框 類別編碼放到collate_fn里批量做理由是編碼過程依賴 anchor 配置而這些配置是全局的放在 batch 級(jí)別做可以順便完成 padding 對(duì)齊。collate 階段的處理順序我固定為取 batch 內(nèi)最大寬高做 letterbox 填充保持長(zhǎng)寬比灰色 114 填充記錄每張圖的縮放比和填充偏移然后按三個(gè)尺度分別計(jì)算每個(gè) GT 落在哪個(gè)網(wǎng)格、與哪幾個(gè) anchor 的 IoU 超過閾值。這里的 DOIIoU 閾值我設(shè)成 0.5 起步但對(duì)小目標(biāo)尺度放寬到 0.4因?yàn)樾∧繕?biāo)匹配到的 anchor 天然 IoU 偏低卡太死會(huì)導(dǎo)致正樣本極度稀疏。下面這個(gè)表格是我實(shí)測(cè)的 anchor 配置針對(duì)自建數(shù)據(jù)集以行人和車輛為主調(diào)過兩輪供參考輸出尺度stride特征圖anchor 尺寸像素適用目標(biāo)小880×80(12,16), (19,24), (28,36)小于 32px 的目標(biāo)中1640×40(38,52), (56,76), (82,110)32~96px 的目標(biāo)大3220×20(116,150), (160,210), (240,320)大于 96px 的目標(biāo)anchor 不是隨便給的我的做法是先對(duì)自己的訓(xùn)練集跑一遍 K-means距離用 1-IoU把聚類中心按面積排序后三等分再微調(diào)讓相鄰尺度的比例接近 2 倍。直接用公開數(shù)據(jù)集的默認(rèn) anchor 到自己數(shù)據(jù)上召回率通常會(huì)掉幾個(gè)點(diǎn)。4. 骨干網(wǎng)絡(luò)與頸部結(jié)構(gòu)的選擇邏輯結(jié)構(gòu)選型這件事我的判斷標(biāo)準(zhǔn)只有一個(gè)在目標(biāo)硬件的推理預(yù)算內(nèi)保證足夠的下采樣倍數(shù)和足夠的跨尺度融合能力。檢測(cè)需要大感受野來定位大目標(biāo)也需要高分辨率特征圖來定位小目標(biāo)這兩者靠單一尺度無(wú)法同時(shí)滿足所以多尺度輸出是必需項(xiàng)不是可選優(yōu)化。4.1 從 Darknet 風(fēng)格殘差塊講起的最小可用骨干我不建議一開始就上很復(fù)雜的結(jié)構(gòu)。實(shí)驗(yàn)初期我的骨干只用了“卷積 殘差塊堆疊”的最小組合每個(gè) stage 由一個(gè) stride2 的下采樣卷積開頭后接 N 個(gè)殘差單元通道數(shù)按 32→64→128→256→512 遞增。這套結(jié)構(gòu)的好處是每一層的形狀都能手算出來出問題一眼能定位。殘差塊內(nèi)部我用 1×1 降維 3×3 提特征的瓶頸結(jié)構(gòu)并在 3×3 卷積后接 BatchNorm 和 LeakyReLU負(fù)斜率 0.1。選 LeakyReLU 而不是 ReLU 的原因很實(shí)際檢測(cè)任務(wù)里大量回歸目標(biāo)的梯度在負(fù)半軸也有貢獻(xiàn)ReLU 在負(fù)區(qū)直接截?cái)鄷?huì)讓回歸收斂變慢。這個(gè)差異我在對(duì)比實(shí)驗(yàn)中觀察到過換成 ReLU 后坐標(biāo) loss 的下降速度明顯滯后。class Bottleneck(nn.Module): def __init__(self, cin, cout): super().__init__() cmid cout // 2 self.conv1 nn.Conv2d(cin, cmid, 1, biasFalse) self.bn1 nn.BatchNorm2d(cmid) self.conv2 nn.Conv2d(cmid, cout, 3, padding1, biasFalse) self.bn2 nn.BatchNorm2d(cout) self.act nn.LeakyReLU(0.1, inplaceTrue) self.short (nn.Identity() if cin cout else nn.Conv2d(cin, cout, 1, biasFalse)) def forward(self, x): y self.act(self.bn1(self.conv1(x))) y self.bn2(self.conv2(y)) return self.act(y self.short(x))顯存方面提醒一句訓(xùn)練時(shí)把torch.backends.cudnn.benchmark打開輸入尺寸固定的話能白撿一成左右的速度但如果你的 dataloader 會(huì)輸出不同尺寸的圖比如沒做統(tǒng)一 letterbox這個(gè)開關(guān)反而會(huì)導(dǎo)致反復(fù)重選算法速度更慢。4.2 頸部融合上采樣加拼接而不是直接相加三個(gè)尺度的特征要互相“看見”彼此的信息否則小尺度分支缺語(yǔ)義、大尺度分支缺細(xì)節(jié)。我采用的路徑是自頂向下從 stride 32 的特征圖開始1×1 卷積把通道壓到統(tǒng)一值我設(shè) 256然后雙線性上采樣 2 倍與 stride 16 的同通道特征沿通道維拼接再過一組 3×3 卷積融合重復(fù)一次到 stride 8。用拼接而不是相加是因?yàn)槠唇颖Ａ袅瞬煌瑏碓刺卣鞯莫?dú)立性讓后續(xù) 1×1 卷積自己去學(xué)如何加權(quán)相加則強(qiáng)制假設(shè)兩路特征語(yǔ)義對(duì)齊這個(gè)假設(shè)在淺層往往不成立。代價(jià)是通道數(shù)翻倍帶來的顯存開銷所以我在拼接后緊跟一個(gè) 1×1 卷積把通道壓回去實(shí)測(cè)能省下約 15% 的顯存而不掉精度。提示上采樣我用F.interpolate(..., modenearest)而不是轉(zhuǎn)置卷積。轉(zhuǎn)置卷積容易在特征圖上產(chǎn)生棋盤格偽影對(duì)小目標(biāo)的定位有肉眼可見的負(fù)面影響而且參數(shù)更多。最近鄰插值雖然“粗糙”但在檢測(cè)任務(wù)里配合后續(xù) 3×3 卷積完全夠用。5. 檢測(cè)頭、標(biāo)簽分配與損失函數(shù)整個(gè)實(shí)驗(yàn)的核心我把這一節(jié)放在最中間因?yàn)檫@里是 YOLO 類模型真正區(qū)別于普通回歸網(wǎng)絡(luò)的地方。頭部結(jié)構(gòu)本身很簡(jiǎn)單幾個(gè)卷積難的是如何決定哪個(gè)預(yù)測(cè)該對(duì)哪個(gè) GT 負(fù)責(zé)以及如何為不同質(zhì)量的預(yù)測(cè)賦不同權(quán)重。5.1 檢測(cè)頭的三種輸出分支與解耦設(shè)計(jì)每個(gè)尺度上我接一個(gè)檢測(cè)頭結(jié)構(gòu)是先 3×3 卷積把頸部輸出壓到中間通道我取 256然后分出三個(gè)并行的 1×1 卷積分支分別輸出坐標(biāo)4 通道、objectness1 通道、類別C 通道。這就是所謂的解耦頭。為什么要解耦因?yàn)榉诸愋枰氖钦Z(yǔ)義不變性同一個(gè)物體平移、縮放后類別不變回歸需要的是位置敏感性。讓同一組卷積核同時(shí)服務(wù)這兩個(gè)目標(biāo)存在內(nèi)在沖突。我在實(shí)驗(yàn)中做過對(duì)照耦合頭訓(xùn)到第 30 輪時(shí)類別 loss 和坐標(biāo) loss 會(huì)互相拉扯表現(xiàn)為其中一個(gè)下降另一個(gè)就抬頭換成解耦頭后兩條曲線都能單調(diào)下降。代價(jià)是參數(shù)量增加不多完全值得。單尺度檢測(cè)頭的實(shí)現(xiàn)如下注意輸出通道順序要和前面定義的常量嚴(yán)格一致class DetectHead(nn.Module): def __init__(self, cin, num_anchors, num_classes): super().__init__() self.stem nn.Sequential( nn.Conv2d(cin, 256, 3, padding1, biasFalse), nn.BatchNorm2d(256), nn.LeakyReLU(0.1, inplaceTrue)) self.reg nn.Conv2d(256, num_anchors * 4, 1) self.obj nn.Conv2d(256, num_anchors * 1, 1) self.cls nn.Conv2d(256, num_anchors * num_classes, 1) def forward(self, x): x self.stem(x) # 輸出統(tǒng)一調(diào)整為 [B, A, H, W, C] 便于后續(xù)按 anchor 維處理 b, _, h, w x.shape reg self.reg(x).view(b, -1, 4, h, w).permute(0, 1, 3, 4, 2) obj self.obj(x).view(b, -1, 1, h, w).permute(0, 1, 3, 4, 2) cls self.cls(x).view(b, -1, self.num_classes, h, w).permute(0, 1, 3, 4, 2) return reg, obj, cls坐標(biāo)分支我不加任何激活原始輸出直接交給 loss配合前面說的 sigmoid/exp 在解碼時(shí)處理objectness 和類別分支同理sigmoid 在 loss 內(nèi)部配合 BCEWithLogits 使用避免數(shù)值不穩(wěn)定。這是一個(gè)非常容易出錯(cuò)的細(xì)節(jié)如果在頭部就套了 sigmoid再用 BCEWithLogits 就相當(dāng)于做了兩次變換loss 會(huì)一直偏高且梯度異常。5.2 正負(fù)樣本分配我用的簡(jiǎn)化版動(dòng)態(tài)分配策略早期的 YOLO 只按“GT 中心落在哪個(gè)網(wǎng)格”來分配正樣本一個(gè) GT 一個(gè)正樣本監(jiān)督信號(hào)太稀疏。我現(xiàn)在的做法是對(duì)每個(gè) GT找出中心點(diǎn)落在其內(nèi)部或附近的網(wǎng)格計(jì)算這些網(wǎng)格上所有 anchor 與該 GT 的 IoU凡是 IoU 超過正閾值的都作為正樣本IoU 低于負(fù)閾值的作為負(fù)樣本中間的忽略不計(jì)入 loss。關(guān)鍵在于引入中心先驗(yàn)一個(gè)網(wǎng)格即使 IoU 夠高如果它的中心離 GT 中心太遠(yuǎn)也不應(yīng)該算正樣本否則會(huì)讓模型學(xué)到“從遠(yuǎn)處預(yù)測(cè)物體”的壞習(xí)慣。我的過濾條件是中心距離落在 GT 寬高的一半范圍內(nèi)。這個(gè)約束加上之后訓(xùn)練初期 loss 的抖動(dòng)明顯減小。分配過程我用一個(gè) mask 張量實(shí)現(xiàn)形狀與輸出對(duì)齊1 表示正樣本、0 表示負(fù)樣本、-1 表示忽略def assign_targets(gt_boxes, anchors, strides, grid_sizes, pos_thr0.5, neg_thr0.4): # 返回每個(gè)尺度上的 mask 與回歸目標(biāo)此處展示單尺度核心邏輯 masks, targets {}, {} for s, (anc, st, gs) in enumerate(zip(anchors, strides, grid_sizes)): # 展開該尺度所有預(yù)測(cè)框中心為網(wǎng)格中心尺寸為 anchor cx (torch.arange(gs).float() 0.5) * st cy (torch.arange(gs).float() 0.5) * st # ... 構(gòu)造 [gs*gs*A, 4] 的候選框與每個(gè) GT 算 IoU iou pairwise_iou(candidates, gt_boxes) # [N_cand, N_gt] best_iou, best_gt iou.max(dim1) mask torch.full_like(best_iou, -1.0) # 默認(rèn)忽略 mask[best_iou neg_thr] 0.0 # 負(fù)樣本 mask[best_iou pos_thr] 1.0 # 正樣本候選 # 中心先驗(yàn)過濾網(wǎng)格中心必須落在 GT 內(nèi)部 mask[~inside_center(candidates, gt_boxes[best_gt])] -1.0 masks[s], targets[s] mask, build_reg_target(candidates, gt_boxes[best_gt]) return masks, targets代碼里pairwise_iou和build_reg_target是輔助函數(shù)分別算兩兩 IoU 和把 GT 編碼成相對(duì)偏移量。我在實(shí)現(xiàn)pairwise_iou時(shí)犯過一個(gè)經(jīng)典錯(cuò)誤直接用x1 cx - w/2這種形式計(jì)算但沒有對(duì)坐標(biāo)做 clamp導(dǎo)致超出圖像邊界的框算出負(fù)寬度IoU 出現(xiàn)負(fù)值進(jìn)而讓一批本該是負(fù)樣本的候選被誤判為忽略。修復(fù)方法是在算面積前統(tǒng)一clamp(min0)。5.3 三項(xiàng)損失的權(quán)重配比與不收斂的排查經(jīng)驗(yàn)損失由三部分組成坐標(biāo)回歸 loss、objectness 的二元交叉熵、類別的二元交叉熵。坐標(biāo)我用 CIoU 形式因?yàn)樗瑫r(shí)考慮重疊面積、中心距離和長(zhǎng)寬比收斂更快后兩項(xiàng)用帶 logits 的 BCE。權(quán)重配比是這套實(shí)驗(yàn)里我最不愿意給“標(biāo)準(zhǔn)答案”的部分因?yàn)閺?qiáng)依賴數(shù)據(jù)分布。我踩坑后穩(wěn)定下來的一組起點(diǎn)是坐標(biāo) 7.5、objectness 1.0、類別 0.5。給坐標(biāo)更高的權(quán)重是因?yàn)槎ㄎ痪戎苯記Q定 mAP 的上限objectness 保持 1.0 是因?yàn)檎?fù)樣本極度不均衡如果權(quán)重給太高負(fù)樣本的 loss 會(huì)淹沒正樣本類別權(quán)重壓到 0.5 是因?yàn)樵谡龢颖疽呀?jīng)很少的情況下類別分支的梯度容易過大。另外必須處理正負(fù)樣本比例。實(shí)測(cè)下一個(gè) batch 里正樣本可能只有幾十個(gè)而負(fù)樣本上萬(wàn)。我用的策略是只對(duì)負(fù)樣本中 objectness 預(yù)測(cè)值最高的前 K 個(gè)計(jì)算 lossK 取正樣本數(shù)的 3 倍其余負(fù)樣本直接忽略。這一步聽起來粗暴但它比直接給負(fù)樣本乘個(gè)小權(quán)重更有效因?yàn)樗劢乖凇澳Ｐ妥罾Щ蟮呢?fù)樣本”上。判斷訓(xùn)練是否正常我只看三個(gè)信號(hào)一是坐標(biāo) loss 應(yīng)該在 10 輪內(nèi)降到初始值的三成以下二是 objectness loss 的下降曲線要平滑如果出現(xiàn)周期性尖峰多半是某個(gè) batch 的標(biāo)簽編碼有問題三是正樣本數(shù)量均值應(yīng)該穩(wěn)定在一個(gè)區(qū)間內(nèi)如果隨 epoch 劇烈波動(dòng)說明標(biāo)簽分配的中心先驗(yàn)在邊界目標(biāo)上失效了。我曾遇到 objectness loss 每 5 個(gè) epoch 準(zhǔn)時(shí)跳一次的問題最后定位到是 dataloader 的 shuffle 與采樣器組合導(dǎo)致某個(gè)類別的樣本被集中投放改回標(biāo)準(zhǔn)隨機(jī)采樣就平了。6. 訓(xùn)練循環(huán)、顯存控制與推理后處理網(wǎng)絡(luò)和數(shù)據(jù)都跑通之后剩下的工作是從“能訓(xùn)”到“訓(xùn)得動(dòng)、訓(xùn)得好”。這一節(jié)的每一條都是我在有限顯存條件下被逼出來的直接照做能省很多試錯(cuò)時(shí)間。6.1 學(xué)習(xí)率調(diào)度、混合精度與梯度累積的組合我用 AdamW 起步初始學(xué)習(xí)率 1e-3 配 weight decay 5e-4前 3 個(gè) epoch 做線性 warmup之后余弦退火到 1e-5。warmup 不是可有可無(wú)的檢測(cè)頭是隨機(jī)初始化的前幾百步梯度尺度很大直接上高學(xué)習(xí)率會(huì)把坐標(biāo)分支推到一個(gè) bad local minimum表現(xiàn)為坐標(biāo) loss 長(zhǎng)期卡在高位不下來。混合精度我用torch.cuda.amp但loss 計(jì)算部分強(qiáng)制在 float32 下進(jìn)行。原因是 objectness 的 BCE 在 fp16 下容易溢出尤其是當(dāng)某個(gè) batch 里出現(xiàn)極端難負(fù)樣本時(shí)。寫法上我用 autocast 包裹前向loss 前用float()轉(zhuǎn)換scaler torch.cuda.amp.GradScaler() for imgs, gts in loader: imgs imgs.cuda(non_blockingTrue) with torch.cuda.amp.autocast(dtypetorch.float16): reg, obj, cls model(imgs) # 關(guān)鍵損失計(jì)算退回到 fp32保證數(shù)值穩(wěn)定 loss compute_loss(reg.float(), obj.float(), cls.float(), gts) scaler.scale(loss).backward() scaler.unscale_(optimizer) torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm10.0) scaler.step(optimizer) scaler.update() optimizer.zero_grad(set_to_noneTrue)梯度裁剪的閾值我設(shè) 10.0實(shí)測(cè)下來只有當(dāng)標(biāo)簽編碼出現(xiàn)異常時(shí)才會(huì)觸發(fā)所以它其實(shí)充當(dāng)了一個(gè)免費(fèi)的異常探針如果你發(fā)現(xiàn)裁剪頻繁觸發(fā)別急著調(diào)大閾值先去查標(biāo)簽。顯存不夠時(shí)用梯度累積每 4 個(gè) micro-batch 做一次step等效 batch 翻 4 倍。這里有一個(gè)細(xì)節(jié)必須配對(duì)處理——BN 的統(tǒng)計(jì)量在小 batch 下會(huì)失真我改用SyncBatchNorm或者在凍結(jié) BN 統(tǒng)計(jì)量的前提下累積否則等效 batch 放大了但 BN 看到的仍是小 batch精度對(duì)不上。6.2 NMS 的實(shí)現(xiàn)細(xì)節(jié)與置信度閾值的標(biāo)定方法推理階段把三個(gè)尺度的解碼結(jié)果拼成一個(gè)[N, 5C]的大張量先按 objectness 過濾閾值 0.05 起步寧低勿高因?yàn)楹罄m(xù) NMS 還會(huì)再篩再依次做按類別的 NMS。我的 NMS 實(shí)現(xiàn)里最容易寫錯(cuò)的邊界是IoU 計(jì)算要用到裁剪后的坐標(biāo)且不同類別的框不互相抑制。def nms(boxes, scores, iou_thr0.45): # boxes: [N, 4] 格式為 xywh坐標(biāo)已還原到原圖尺度 x1, y1 boxes[:, 0] - boxes[:, 2] / 2, boxes[:, 1] - boxes[:, 3] / 2 x2, y2 boxes[:, 0] boxes[:, 2] / 2, boxes[:, 1] boxes[:, 3] / 2 areas (x2 - x1).clamp(min0) * (y2 - y1).clamp(min0) order scores.argsort(descendingTrue) keep [] while order.numel() 0: i order[0].item() keep.append(i) xx1 torch.clamp(x1[order[1:]], minx1[i]) yy1 torch.clamp(y1[order[1:]], miny1[i]) xx2 torch.clamp(x2[order[1:]], maxx2[i]) yy2 torch.clamp(y2[order[1:]], maxy2[i]) inter (xx2 - xx1).clamp(min0) * (yy2 - yy1).clamp(min0) iou inter / (areas[i] areas[order[1:]] - inter 1e-7) order order[1:][iou iou_thr] return keepIoU 閾值我最后定在 0.45。這個(gè)值不是拍腦袋密集場(chǎng)景比如人群設(shè) 0.5 以上會(huì)殘留大量重復(fù)框而設(shè) 0.3 又會(huì)把相鄰的兩個(gè)真實(shí)目標(biāo)合并掉。我的標(biāo)定方法是拿驗(yàn)證集畫一張“置信度閾值-召回率”曲線找召回率曲線開始陡降前的拐點(diǎn)通常落在 0.25~0.35 之間而 NMS 的 IoU 閾值則固定 0.45兩者不要混在一起調(diào)否則你無(wú)法判斷性能變化歸因于哪一個(gè)。6.3 調(diào)試檢測(cè)模型時(shí)我常用的三個(gè)可視化手段第一是把標(biāo)簽畫回原圖。訓(xùn)練前必須做這一步我見過太多因?yàn)闅w一化坐標(biāo)和像素坐標(biāo)混用導(dǎo)致框全部擠在左上角的案例而 loss 依然在降因?yàn)槟Ｐ痛_實(shí)在學(xué)習(xí)這個(gè)錯(cuò)誤分布。第二是把預(yù)測(cè)框在訓(xùn)練中期畫出來哪怕框很亂只要它開始聚集在目標(biāo)附近就說明坐標(biāo)分支方向?qū)α恕５谌前闯叨确謩e統(tǒng)計(jì)正樣本數(shù)如果某個(gè)尺度長(zhǎng)期是 0說明 anchor 尺寸和你的數(shù)據(jù)分布完全錯(cuò)配那個(gè)尺度的檢測(cè)頭永遠(yuǎn)學(xué)不會(huì)。有一次我把這三個(gè)手段串起來排查了一個(gè)典型問題mAP 卡在 0.2 上不去可視化發(fā)現(xiàn)所有預(yù)測(cè)框都比真實(shí)框小一圈。原因是我在編碼時(shí)用了log(w_gt / w_anchor)解碼時(shí)卻用了exp(pred) * anchor的寬高順序搞反了把 w 對(duì)到了 h 的 anchor 上。這類錯(cuò)誤不可能從 loss 數(shù)值看出來只能靠可視化。7. 幾個(gè)必須提前知道的邊界與經(jīng)驗(yàn)最后分享幾條我認(rèn)為比代碼本身更值錢的經(jīng)驗(yàn)。第一不要在小數(shù)據(jù)集上追求多尺度。我最初在只有 1200 張圖的數(shù)據(jù)集上直接開三個(gè)尺度訓(xùn)練結(jié)果最小尺度分支一直是零正樣本白白多算了 40% 的前向開銷。數(shù)據(jù)量小的時(shí)候先用單尺度stride 16把整條鏈路驗(yàn)證通再逐步加尺度效率高得多。第二objectness 的分支比類別分支更容易出問題優(yōu)先調(diào)它。很多“mAP 上不去”的表象根因是 objectness 的校準(zhǔn)不好——模型給了目標(biāo)很高的類別分?jǐn)?shù)但 objectness 很低NMS 前就被閾值濾掉了。檢查方法是單獨(dú)統(tǒng)計(jì)正樣本上的 objectness 均值正常情況下它應(yīng)該隨訓(xùn)練穩(wěn)步上升到 0.8 以上。第三關(guān)于驗(yàn)證集的選擇我堅(jiān)持按場(chǎng)景而非隨機(jī)劃分。隨機(jī)劃分會(huì)讓同一段連續(xù)視頻或被同一組采集條件下的圖片同時(shí)出現(xiàn)在訓(xùn)練集和驗(yàn)證集里驗(yàn)證 mAP 虛高 5~10 個(gè)點(diǎn)是常有的事。按場(chǎng)景、按采集批次、甚至按時(shí)間劃分得到的數(shù)字才代表真實(shí)泛化能力。常見癥狀大概率根因快速驗(yàn)證方式loss 完全不降標(biāo)簽編碼與輸出通道順序不一致單 batch 過擬合測(cè)試看能否記住 4 張圖坐標(biāo) loss 平臺(tái)震蕩直接回歸絕對(duì)坐標(biāo)未用相對(duì)偏移檢查解碼公式的縮放項(xiàng)某尺度無(wú)正樣本anchor 尺寸與數(shù)據(jù)分布錯(cuò)配統(tǒng)計(jì)各尺度的正樣本數(shù)框普遍偏小或偏移anchor 寬高順序與編碼時(shí)不一致可視化預(yù)測(cè)框與 GT 疊加訓(xùn)練后期 mAP 回落學(xué)習(xí)率未退火或正樣本過擬合打印每輪正樣本數(shù)與 lr我還想強(qiáng)調(diào)一個(gè)調(diào)試習(xí)慣用 4 張圖做單 batch 過擬合測(cè)試。把這個(gè)小實(shí)驗(yàn)跑通loss 降到接近 0預(yù)測(cè)框和 GT 幾乎重合就等于證明了數(shù)據(jù)管道、編碼、損失、解碼這整條鏈路自洽。凡是鏈路級(jí)別的 bug都會(huì)讓這個(gè)測(cè)試失敗而鏈路一旦自洽剩下的問題都只是超參和容量問題排查范圍小得多。這個(gè)習(xí)慣幫我省掉的調(diào)試時(shí)間比我讀過的所有文檔加起來都多。