簡(jiǎn)介面向無(wú)人機(jī)視覺與計(jì)算機(jī)視覺研究者、開發(fā)者的行人檢測(cè)數(shù)據(jù)集旨在為無(wú)人機(jī)航拍場(chǎng)景下的行人識(shí)別與避障提供高質(zhì)量訓(xùn)練材料。整個(gè)壓縮包共1895個(gè)文件包含630張jpg原圖、630個(gè)xml邊界框標(biāo)注、634個(gè)txt標(biāo)簽說(shuō)明并附1個(gè)py預(yù)處理/轉(zhuǎn)換腳本包體約206.8MB。數(shù)據(jù)已劃分訓(xùn)練集、測(cè)試集和驗(yàn)證集圖像與標(biāo)注一一對(duì)應(yīng)覆蓋從數(shù)據(jù)準(zhǔn)備、格式轉(zhuǎn)換到模型訓(xùn)練、評(píng)估的完整鏈路可直接用于YOLO、Faster R-CNN、SSD等主流檢測(cè)框架免去自行采集和標(biāo)注的繁瑣工作。讀者既能據(jù)此驗(yàn)證航拍視角下的檢測(cè)效果也能通過(guò)對(duì)比實(shí)驗(yàn)分析不同模型性能同時(shí)學(xué)習(xí)PASCAL VOC風(fēng)格標(biāo)注與txt標(biāo)簽的組織方式。目前已有3956人學(xué)習(xí)下載適合無(wú)人機(jī)巡檢、安防監(jiān)控、智慧交通等場(chǎng)景下的算法研究與工程實(shí)踐。1. 無(wú)人機(jī)行人檢測(cè)數(shù)據(jù)集標(biāo)注好了不等于直接能用關(guān)鍵看這四件事一個(gè)“已標(biāo)注”的無(wú)人機(jī)行人檢測(cè)數(shù)據(jù)集聽起來(lái)像是拿到了現(xiàn)成的答案解壓、訓(xùn)練、出模型三步走完。但我在本地跑過(guò)幾個(gè)公開渠道能找到的無(wú)人機(jī)視角行人檢測(cè)數(shù)據(jù)集之后最大的感受是標(biāo)注好只是起點(diǎn)能不能讓模型真的在無(wú)人機(jī)畫面上把人檢出來(lái)取決于標(biāo)注質(zhì)量、視角分布、目標(biāo)尺寸和場(chǎng)景覆蓋這四件事。這也是為什么同樣用“已標(biāo)注”的數(shù)據(jù)集有人三天跑出能用的模型有人折騰兩周還在跟漏檢和誤檢搏斗。這篇文章要解決的就是把你從“拿到數(shù)據(jù)集”帶到“模型能落地”這段路。適合正在做無(wú)人機(jī)巡檢、安防監(jiān)控、智慧城市相關(guān)項(xiàng)目的開發(fā)者也適合剛?cè)腴T目標(biāo)檢測(cè)、想用現(xiàn)成數(shù)據(jù)集快速驗(yàn)證算法思路的同學(xué)。我會(huì)從數(shù)據(jù)集的構(gòu)成和標(biāo)注規(guī)范講起然后給出一套從數(shù)據(jù)校驗(yàn)到模型訓(xùn)練的可復(fù)現(xiàn)流程最后把高手才會(huì)注意的邊界條件和踩坑點(diǎn)拆開講。2. 數(shù)據(jù)集構(gòu)成與標(biāo)注規(guī)范先弄清楚“已標(biāo)注”到底標(biāo)注了什么拿到任何一個(gè)“已標(biāo)注”的無(wú)人機(jī)行人檢測(cè)數(shù)據(jù)集第一件事不是解壓跑腳本而是先看清楚它的目錄結(jié)構(gòu)和標(biāo)注格式。很多翻車現(xiàn)場(chǎng)都是從這里開始的看起來(lái)是同一套標(biāo)注格式實(shí)際用的時(shí)候才發(fā)現(xiàn)坐標(biāo)系統(tǒng)、類別編號(hào)、圖片尺寸記錄方式對(duì)不上白白浪費(fèi)一下午。2.1 數(shù)據(jù)來(lái)源與場(chǎng)景分布先判斷它適不適合你的任務(wù)無(wú)人機(jī)視角的行人檢測(cè)和普通監(jiān)控?cái)z像頭視角有本質(zhì)區(qū)別。監(jiān)控?cái)z像頭大多是俯仰角固定、目標(biāo)尺度相對(duì)穩(wěn)定無(wú)人機(jī)是俯視視角行人在畫面里通常是小目標(biāo)占比不到整張圖的百分之幾而且會(huì)隨飛行高度和速度發(fā)生劇烈的尺度變化。數(shù)據(jù)里如果大多數(shù)圖片的拍攝高度在30米以下、行人占比大那你拿去做50米高度的巡檢任務(wù)就會(huì)出現(xiàn)明顯漏檢。我一般拿到數(shù)據(jù)集先做三件事統(tǒng)計(jì)圖片分辨率分布、統(tǒng)計(jì)標(biāo)注框面積分布、統(tǒng)計(jì)每張圖的平均目標(biāo)數(shù)。這三個(gè)數(shù)字直接決定這個(gè)數(shù)據(jù)集適不適合當(dāng)前任務(wù)。標(biāo)注框面積分布特別值得看——如果絕大多數(shù)框的長(zhǎng)邊小于64像素訓(xùn)練時(shí)需要重點(diǎn)考慮小目標(biāo)檢測(cè)策略如果數(shù)據(jù)和實(shí)際作業(yè)高度落差太大優(yōu)先找同場(chǎng)景的數(shù)據(jù)集或者自己補(bǔ)采。2.2 標(biāo)注格式與目錄結(jié)構(gòu)VOC、YOLO還是COCO常見的無(wú)人機(jī)行人檢測(cè)數(shù)據(jù)集有三種標(biāo)注形態(tài)Pascal VOC格式的XML文件、YOLO格式的TXT文件、COCO格式的JSON文件。三種格式的坐標(biāo)表達(dá)方式不同VOC和COCO都是絕對(duì)像素坐標(biāo)且用xmin、ymin、xmax、ymax這類方式記錄YOLO格式用的是歸一化的中心點(diǎn)坐標(biāo)和寬高。圖片尺寸記錄這件事也容易踩坑VOC的XML里帶有圖片寬高可以直接校驗(yàn)YOLO的TXT不帶尺寸信息如果原始圖片被縮放標(biāo)注坐標(biāo)會(huì)全軍覆沒。我習(xí)慣用下面這條命令先摸清目錄結(jié)構(gòu)再?zèng)Q定怎么下手# 查看數(shù)據(jù)集目錄樹限制層級(jí)為3 cd dataset_root tree -L 3 -d # 統(tǒng)計(jì)圖片數(shù)量、XML/TXT/JSON標(biāo)注文件數(shù)量 find . -name *.jpg | wc -l find . -name *.xml | wc -l輸出結(jié)果能告訴你數(shù)據(jù)集是原始結(jié)構(gòu)還是已經(jīng)做了劃分。如果是劃分好的通常有train、val、test三個(gè)目錄但不少數(shù)據(jù)集只分了兩部分需要自己再切一次驗(yàn)證集。# 統(tǒng)計(jì)標(biāo)注框尺寸分布的Python腳本片段 # 這里按照YOLO格式的txt標(biāo)注為例 import os from collections import Counter img_width, img_height 1920, 1080 size_bins Counter() label_dir labels/train for f in os.listdir(label_dir): if not f.endswith(.txt): continue with open(os.path.join(label_dir, f)) as fp: for line in fp: _, cx, cy, w, h line.strip().split() pixel_w float(w) * img_width pixel_h float(h) * img_height if pixel_w 32 or pixel_h 32: size_bins[tiny] 1 elif pixel_w 96 or pixel_h 96: size_bins[small] 1 else: size_bins[large] 1 print(size_bins)這段腳本的關(guān)鍵作用是提前暴露目標(biāo)尺度分布。如果tiny類占比超過(guò)一半后面訓(xùn)練必須啟用多尺度訓(xùn)練和更高分辨率的輸入圖。代碼里img_width和img_height需要改成你手里數(shù)據(jù)的真實(shí)值不確定的話用Python的PIL庫(kù)批量讀取一張圖確認(rèn)。標(biāo)注文件的格式如果是VOC或者COCO解析邏輯要相應(yīng)改成XML或JSON取值但判斷思路是一樣的。3. 把數(shù)據(jù)集跑起來(lái)從解壓到可視化校驗(yàn)的一條龍操作數(shù)據(jù)集的目錄結(jié)構(gòu)摸清了標(biāo)注格式也確認(rèn)了接下來(lái)不能直接進(jìn)訓(xùn)練。先做可視化校驗(yàn)這是整個(gè)流程里最便宜的一道后悔藥把標(biāo)注框畫到原圖上人眼看一遍就能發(fā)現(xiàn)坐標(biāo)偏移、類別錯(cuò)標(biāo)、框沒貼住目標(biāo)這些問題。省下的是后面訓(xùn)練半天發(fā)現(xiàn)loss不下降的排查時(shí)間。3.1 先做數(shù)據(jù)劃分與文件完整性檢查訓(xùn)練前一定要?jiǎng)澐謹(jǐn)?shù)據(jù)。不要直接拿所有圖片訓(xùn)練否則你連模型過(guò)擬合還是欠擬合都判斷不了。常見做法是訓(xùn)練集、驗(yàn)證集、測(cè)試集按7:2:1劃分。如果數(shù)據(jù)集本身劃分好了檢查一遍文件是否齊整——圖片和標(biāo)注文件一一對(duì)應(yīng)是這步的重點(diǎn)。# 檢查圖片與標(biāo)注文件是否一一對(duì)應(yīng) import os from pathlib import Path def check_pairs(img_dir, label_dir): imgs {Path(f).stem for f in os.listdir(img_dir) if f.endswith((.jpg, .jpeg, .png))} labels {Path(f).stem for f in os.listdir(label_dir) if f.endswith(.txt)} img_only imgs - labels label_only labels - imgs print(f缺標(biāo)注的圖片數(shù): {len(img_only)}) print(f缺圖片的標(biāo)注數(shù): {len(label_only)}) # 打印前5個(gè)缺標(biāo)注的圖片名方便定位 for name in list(img_only)[:5]: print(missing label:, name) check_pairs(images/train, labels/train)這段代碼用意是暴露配對(duì)問題。很多數(shù)據(jù)集從網(wǎng)盤下載后會(huì)出現(xiàn)文件缺失或文件名被截?cái)嘀苯佑猛暾臄?shù)據(jù)集訓(xùn)練會(huì)讓模型在加載時(shí)報(bào)錯(cuò)或者默認(rèn)跳過(guò)某些圖片。缺標(biāo)注的圖片一定要從訓(xùn)練集里剔除否則訓(xùn)練過(guò)程中會(huì)隨機(jī)報(bào)錯(cuò)而且報(bào)錯(cuò)信息往往不直觀只顯示一個(gè)DataLoader worker崩潰。剔除缺標(biāo)注圖片的方法不復(fù)雜把上面腳本里img_only里的文件移到另一個(gè)目錄或者生成一個(gè)保留清單。我一般直接把訓(xùn)練清單寫成文本訓(xùn)練腳本讀取這個(gè)清單來(lái)加載圖片這樣比物理移動(dòng)文件更靈活后面增刪樣本也方便。3.2 用可視化腳本給標(biāo)注框畫出來(lái)坐標(biāo)對(duì)不對(duì)一眼便知校驗(yàn)標(biāo)注正確性最快的方式就是畫框。下面這段腳本讀取YOLO格式標(biāo)注并畫在圖上輸出到preview目錄。代碼里做了坐標(biāo)越界判斷這是從踩坑里學(xué)來(lái)的不少數(shù)據(jù)集的標(biāo)注框有極小概率越界如果不加保護(hù)后續(xù)變成COCO或VOC格式時(shí)數(shù)值會(huì)異常。# 可視化YOLO標(biāo)注輸出效果預(yù)覽圖 import cv2 import os import numpy as np def draw_yolo_boxes(img_path, label_path, out_dir): img cv2.imread(img_path) h, w img.shape[:2] colors [(0, 255, 0), (0, 0, 255), (255, 0, 0)] with open(label_path) as fp: for line in fp: parts line.strip().split() if len(parts) ! 5: continue cls int(parts[0]) cx, cy, bw, bh map(float, parts[1:]) # 反歸一化還原像素坐標(biāo) x1 int((cx - bw / 2) * w) y1 int((cy - bh / 2) * h) x2 int((cx bw / 2) * w) y2 int((cy bh / 2) * h) # 越界裁剪 x1, y1 max(0, x1), max(0, y1) x2, y2 min(w, x2), min(h, y2) cv2.rectangle(img, (x1, y1), (x2, y2), colors[cls % len(colors)], 2) cv2.putText(img, fcls-{cls}, (x1, max(0, y1 - 5)), cv2.FONT_HERSHEY_SIMPLEX, 0.5, colors[cls % len(colors)], 1) os.makedirs(out_dir, exist_okTrue) cv2.imwrite(os.path.join(out_dir, os.path.basename(img_path)), img) # 遍歷前50張訓(xùn)練圖做預(yù)覽 img_dir images/train label_dir labels/train for i, fname in enumerate(os.listdir(img_dir)): if i 50: break stem os.path.splitext(fname)[0] lbl os.path.join(label_dir, stem .txt) if os.path.exists(lbl): draw_yolo_boxes(os.path.join(img_dir, fname), lbl, preview)從預(yù)覽圖里最容易發(fā)現(xiàn)的幾個(gè)問題框整體偏移說(shuō)明坐標(biāo)歸一化基準(zhǔn)不對(duì)某些框?qū)捀邽?說(shuō)明標(biāo)注文件損壞類別編號(hào)大量超出預(yù)期說(shuō)明數(shù)據(jù)集里可能混入了其他類別的樣本。這批預(yù)覽圖務(wù)必肉眼過(guò)一遍至少抽看訓(xùn)練集、驗(yàn)證集、測(cè)試集各一部分。我見過(guò)有人在這個(gè)環(huán)節(jié)發(fā)現(xiàn)整個(gè)數(shù)據(jù)集的標(biāo)注都沒有貼住行人而是框住了背景這種問題不提前發(fā)現(xiàn)訓(xùn)練再久也不會(huì)有好結(jié)果。4. 用數(shù)據(jù)集訓(xùn)練檢測(cè)模型完整流程與關(guān)鍵參數(shù)校驗(yàn)沒問題就到了正式訓(xùn)練環(huán)節(jié)。多數(shù)人拿到“已標(biāo)注”的無(wú)人機(jī)行人檢測(cè)數(shù)據(jù)集目標(biāo)是把模型訓(xùn)練到一個(gè)能用的水平。這個(gè)部分我以YOLO系列為例展開這也是目前無(wú)人機(jī)目標(biāo)檢測(cè)里最主流的方案兼顧速度和精度。訓(xùn)練流程上覆蓋從選模型到判讀訓(xùn)練曲線的完整路徑。4.1 模型選型與數(shù)據(jù)格式適配模型選型的核心邏輯是算力有限就優(yōu)先考慮YOLO系列的輕量版本需要極致精度且推理設(shè)備允許大模型再往上加。無(wú)人機(jī)場(chǎng)景通常是在嵌入式設(shè)備或者邊緣計(jì)算盒子上跑推理參數(shù)規(guī)模太大會(huì)帶來(lái)幀率壓力。經(jīng)驗(yàn)值是在30萬(wàn)像素級(jí)別的輸入分辨率下輕量版能做到實(shí)時(shí)標(biāo)準(zhǔn)版有明顯精度優(yōu)勢(shì)但速度下降明顯。數(shù)據(jù)格式適配這一步是把第3章校驗(yàn)通過(guò)的YOLO格式TXT和圖片組織成訓(xùn)練框架要求的目錄結(jié)構(gòu)。不同框架對(duì)數(shù)據(jù)組織方式要求不同但訓(xùn)練集和驗(yàn)證集的圖、標(biāo)分別放兩個(gè)目錄是最通用的做法# YOLO系訓(xùn)練框架通用的數(shù)據(jù)目錄布局 datasets/ drone_person/ images/ train/ # 訓(xùn)練集圖片 val/ # 驗(yàn)證集圖片 labels/ train/ # 訓(xùn)練集標(biāo)注txt val/ # 驗(yàn)證集標(biāo)注txt data.yaml # 數(shù)據(jù)配置文件data.yaml是訓(xùn)練入口里面記錄類別數(shù)、類別名和路徑。寫這個(gè)文件時(shí)有個(gè)高頻坑路徑最好寫絕對(duì)路徑或者使用相對(duì)當(dāng)前工作目錄的路徑不要寫一個(gè)看起來(lái)對(duì)但實(shí)際不存在的路徑。# data.yaml 內(nèi)容示例 path: /home/user/datasets/drone_person train: images/train val: images/val nc: 1 names: [person]這個(gè)文件的難點(diǎn)不在格式在于理解path字段的基準(zhǔn)意義。很多框架會(huì)基于path拼接train和val的路徑如果你把train寫成/home/user/datasets/...這種絕對(duì)路徑框架會(huì)拼出一串錯(cuò)誤的地址。建議先寫相對(duì)路徑images/train然后在命令行驗(yàn)證路徑拼接結(jié)果?？蚣軉?dòng)時(shí)會(huì)打印實(shí)際加載的圖片路徑掃一眼就能確認(rèn)。4.2 訓(xùn)練啟動(dòng)與參數(shù)調(diào)整訓(xùn)練啟動(dòng)命令看著簡(jiǎn)單但參數(shù)怎么設(shè)直接決定結(jié)果上限。我常用的訓(xùn)練命令如下# 以YOLO系框架為例啟動(dòng)訓(xùn)練 yolo train \ modelyolov8s.pt \ datadata.yaml \ epochs100 \ imgsz1280 \ batch16 \ lr00.01 \ mosaic0.5逐個(gè)說(shuō)參數(shù)考慮imgsz1280是應(yīng)對(duì)無(wú)人機(jī)小目標(biāo)的關(guān)鍵設(shè)置。很多現(xiàn)成教程默認(rèn)給640但無(wú)人機(jī)畫面里的行人只有幾十個(gè)像素分辨率太低會(huì)直接抹掉細(xì)節(jié)。顯存夠就上1280不夠就降到960。mosaic0.5是馬賽克增強(qiáng)的概率無(wú)人機(jī)行人數(shù)據(jù)集如果場(chǎng)景比較單一把增強(qiáng)概率降下來(lái)能避免訓(xùn)練分布和真實(shí)分布偏離太多。lr0初始學(xué)習(xí)率0.01是一個(gè)穩(wěn)妥起點(diǎn)如果訓(xùn)練曲線震蕩明顯就降到0.005。# 訓(xùn)練后驗(yàn)證模型效果 yolo val \ modelruns/detect/train/weights/best.pt \ datadata.yaml這里的best.pt是訓(xùn)練過(guò)程中在驗(yàn)證集上精度最高的模型權(quán)重不是最后一輪的last.pt。用best做驗(yàn)證能反映真實(shí)可用精度。驗(yàn)證輸出里主要看mAP50、mAP50-95這兩個(gè)指標(biāo)。對(duì)無(wú)人機(jī)行人檢測(cè)來(lái)說(shuō)mAP50的意義更大因?yàn)樾腥藱z測(cè)的判斷標(biāo)準(zhǔn)通?？虻貌畈欢嗑托胁恍枰袼丶?jí)精確mAP50-95考察的是更嚴(yán)格的框質(zhì)量如果這個(gè)數(shù)值過(guò)低而mAP50不低說(shuō)明模型的框定位偏粗糙可以考慮在后續(xù)迭代里調(diào)整回歸損失的權(quán)重。4.3 訓(xùn)練曲線的判讀方法訓(xùn)練過(guò)程輸出兩張關(guān)鍵曲線loss曲線和驗(yàn)證指標(biāo)曲線。loss曲線里訓(xùn)練loss下降而驗(yàn)證loss不降反升是過(guò)擬合的典型信號(hào)兩個(gè)loss都在下降但速度很慢大概率是學(xué)習(xí)率太小或者數(shù)據(jù)增強(qiáng)過(guò)重。驗(yàn)證指標(biāo)曲線里mAP50在前20個(gè)epoch快速上升、后面緩慢爬升是正常節(jié)奏如果前10個(gè)epoch完全沒有上升跡象回查數(shù)據(jù)yaml和標(biāo)簽格式可能更高效。我一般會(huì)盯著前20個(gè)epoch的loss曲線做判斷而不是等100個(gè)epoch全跑完。前20輪如果訓(xùn)練loss和驗(yàn)證loss同步下降這組參數(shù)就是健康的讓它繼續(xù)跑就行如果驗(yàn)證loss在20輪內(nèi)出現(xiàn)了持續(xù)上升就可以直接停掉調(diào)參不浪費(fèi)后面的幾十輪時(shí)間。這也是遇到過(guò)太多次訓(xùn)練數(shù)小時(shí)、結(jié)果發(fā)現(xiàn)標(biāo)簽坐標(biāo)是反的過(guò)程之后養(yǎng)成的習(xí)慣。5. 無(wú)人機(jī)行人檢測(cè)避坑指南五個(gè)高頻問題與排查路徑這個(gè)數(shù)據(jù)集方向上幾乎每個(gè)坑都會(huì)讓訓(xùn)練時(shí)間翻倍。以下五條是從實(shí)際操作里反復(fù)踩出來(lái)的每條都按現(xiàn)象、原因、解決三個(gè)層次來(lái)寫。5.1 小目標(biāo)漏檢嚴(yán)重模型幾乎對(duì)遠(yuǎn)處的行人無(wú)感現(xiàn)象訓(xùn)練后的模型對(duì)近距離行人檢測(cè)效果尚可但畫面里的遠(yuǎn)距離行人大量漏檢甚至完全不報(bào)。驗(yàn)證集上mAP50不低但實(shí)際飛高之后效果立刻劣化。原因訓(xùn)練數(shù)據(jù)里小目標(biāo)樣本占比高但模型輸入分辨率不足網(wǎng)絡(luò)下采樣后小目標(biāo)特征被卷積層抹掉了。多數(shù)模型的下采樣倍率是32倍輸入640時(shí)一個(gè)32像素的行人在最終特征圖上只有1個(gè)像素點(diǎn)幾乎不可能被檢出。解決三步走。第一步把imgsz提升到1280讓同樣一個(gè)行人占據(jù)更多像素第二步開啟多尺度訓(xùn)練讓模型見過(guò)不同尺寸的行人第三步如果仍然漏檢用基于錨點(diǎn)的檢測(cè)頭并單獨(dú)調(diào)高小目標(biāo)層的權(quán)重。5.2 標(biāo)注框和圖片分辨率對(duì)不上坐標(biāo)明顯偏移現(xiàn)象可視化預(yù)覽時(shí)所有框集體向左上偏移而且遠(yuǎn)處小目標(biāo)的框偏得格外明顯。原因數(shù)據(jù)集里圖片原始分辨率是4000x3000但標(biāo)注坐標(biāo)是基于縮略圖1500x1000做的訓(xùn)練時(shí)直接讀取原始圖片導(dǎo)致坐標(biāo)換算錯(cuò)誤。這類問題在從網(wǎng)盤下載的多個(gè)來(lái)源混合數(shù)據(jù)集里特別常見。解決檢查圖片的真實(shí)尺寸并用它作為反歸一化的基準(zhǔn)。不要信文件命名里的尺寸信息用Python的PIL或OpenCV讀一遍。如果發(fā)現(xiàn)混用批量將圖片統(tǒng)一縮放到標(biāo)注坐標(biāo)對(duì)應(yīng)的尺寸或者把標(biāo)注坐標(biāo)重新?lián)Q算到圖片實(shí)際尺寸。5.3 負(fù)樣本太少誤檢成群出現(xiàn)現(xiàn)象模型把屋頂、車輛、樹冠頻繁識(shí)別成行人而且誤檢位置集中在某些特定紋理區(qū)域。原因數(shù)據(jù)集中絕大多數(shù)圖片都包含行人純背景幀幾乎沒有。模型學(xué)到的是“有紋理的局部區(qū)域像行人”而不是真正區(qū)分行人的結(jié)構(gòu)特征。解決從無(wú)人的巡檢視頻里抽幀加入20%到30%作為負(fù)樣本標(biāo)注文件留空即可。這是成本最低又最有效的防誤檢手段。加入負(fù)樣本后模型會(huì)學(xué)會(huì)“在沒有行人時(shí)輸出空檢測(cè)”而不是硬找出一個(gè)框。5.4 類別不平衡導(dǎo)致訓(xùn)練不收斂現(xiàn)象損失函數(shù)持續(xù)震蕩驗(yàn)證mAP在一兩個(gè)點(diǎn)之間來(lái)回跳模型輸出的類別概率傾向于某一類比如背景類。原因數(shù)據(jù)集中某些類別樣本極少檢測(cè)頭對(duì)這類目標(biāo)的梯度貢獻(xiàn)被大類別淹沒。在行人數(shù)據(jù)集里這往往表現(xiàn)為“行人和騎行的人混在一起但其中一類數(shù)量很少”。解決最簡(jiǎn)單的做法是給不同類別設(shè)置不同的loss權(quán)重或者在采樣器里做類別重采樣。另一個(gè)可行方案是把稀有類別合并到大類別里——如果你的任務(wù)不要求區(qū)分這兩個(gè)子類合并是更務(wù)實(shí)的做法。5.5 訓(xùn)練集和驗(yàn)證集分布不一致現(xiàn)象訓(xùn)練loss下降漂亮驗(yàn)證集mAP也很高但模型在真實(shí)場(chǎng)景里表現(xiàn)稀爛。換了一批圖片測(cè)試后精度掉了一半以上。原因數(shù)據(jù)劃分時(shí)沒有做隨機(jī)化或者是按時(shí)間順序切分導(dǎo)致驗(yàn)證集和訓(xùn)練集場(chǎng)景高度相似驗(yàn)證結(jié)果虛高。更隱蔽的情況是如果數(shù)據(jù)集里包含同一個(gè)場(chǎng)景的連續(xù)幀隨機(jī)劃分會(huì)讓相似的畫面同時(shí)出現(xiàn)在訓(xùn)練集和驗(yàn)證集嚴(yán)重的“數(shù)據(jù)泄露”會(huì)讓指標(biāo)失真。解決按視頻序列劃分?jǐn)?shù)據(jù)同一個(gè)視頻來(lái)源的幀只能出現(xiàn)在一個(gè)集合里。只需要在劃分前按文件名前綴分組再對(duì)組進(jìn)行劃分就能避免這個(gè)問題。這樣評(píng)估結(jié)果才真正反映模型面對(duì)新場(chǎng)景時(shí)的表現(xiàn)。6. 把數(shù)據(jù)集的價(jià)值最大化三個(gè)讓模型更進(jìn)一步的技巧當(dāng)你已經(jīng)在“已標(biāo)注”的數(shù)據(jù)集上跑通了基線模型接下來(lái)這三個(gè)技巧能讓模型的實(shí)用性和精度再上一個(gè)臺(tái)階。這三個(gè)技巧用到最多的場(chǎng)景是模型已經(jīng)能用、但距離實(shí)際作業(yè)要求還差一口氣的時(shí)候。第一個(gè)技巧是多尺度訓(xùn)練與推理聯(lián)動(dòng)。訓(xùn)練時(shí)開啟多尺度每輪迭代隨機(jī)從某個(gè)尺度范圍內(nèi)采樣輸入尺寸讓模型適應(yīng)行人尺度的變化。推理時(shí)用TTA測(cè)試時(shí)增強(qiáng)把原圖和縮放后的圖分別送進(jìn)模型推理再融合結(jié)果。這個(gè)組合能讓小目標(biāo)檢測(cè)的mAP提升大約3到5個(gè)點(diǎn)代價(jià)是推理耗時(shí)增加。實(shí)測(cè)中TTA對(duì)無(wú)人機(jī)場(chǎng)景的收益特別明顯因?yàn)樾腥说慕^對(duì)尺寸在飛行高度變化時(shí)會(huì)劇烈波動(dòng)。第二個(gè)技巧是利用偽標(biāo)注迭代優(yōu)化。把已訓(xùn)練模型拿到目標(biāo)場(chǎng)景的新視頻上跑一遍推理得到一批帶置信度的檢測(cè)結(jié)果人工篩選高置信度框作為偽標(biāo)注加入訓(xùn)練集。這個(gè)過(guò)程能顯著提升模型在新場(chǎng)景的適應(yīng)能力。篩選標(biāo)準(zhǔn)要高置信度至少0.8以上并且經(jīng)過(guò)人工抽檢確認(rèn)。一輪偽標(biāo)注迭代大約能讓新場(chǎng)景的recall提升10%以上。我在項(xiàng)目中試過(guò)用這個(gè)方法讓模型的場(chǎng)景遷移成本降低了七成但要注意每輪迭代后都要重新劃分?jǐn)?shù)據(jù)集避免數(shù)據(jù)泄露。第三個(gè)技巧是可視化特征圖來(lái)定位失敗原因。訓(xùn)練結(jié)束后選取一張漏檢圖片把網(wǎng)絡(luò)中間層的特征圖可視化出來(lái)觀察小目標(biāo)區(qū)域在網(wǎng)絡(luò)深層是否還有響應(yīng)。如果響應(yīng)微弱說(shuō)明網(wǎng)絡(luò)在這個(gè)尺度上已經(jīng)丟失了目標(biāo)信息如果響應(yīng)強(qiáng)烈但最終輸出沒有框則問題多半出在檢測(cè)頭或者后處理階段。這類排查比盲調(diào)參數(shù)高效得多能直接把優(yōu)化方向從“玄學(xué)調(diào)參”變成“針對(duì)修復(fù)”。我自己的教訓(xùn)是每次拿到新數(shù)據(jù)集先花一個(gè)小時(shí)做第2、3章的校驗(yàn)再開始訓(xùn)練這樣后面省下的時(shí)間通常是三倍以上。哪怕數(shù)據(jù)是官方發(fā)布的“精品數(shù)據(jù)集”也值得走一遍這個(gè)流程。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取