簡(jiǎn)介一套完整的車輛與車牌多屬性識(shí)別系統(tǒng)基于PyTorch深度學(xué)習(xí)框架融合CCPD、CRPD等公開數(shù)據(jù)集支持車輛檢測(cè)、車牌檢測(cè)識(shí)別、車身顏色識(shí)別和車牌顏色識(shí)別識(shí)別準(zhǔn)確率達(dá)98.5%并兼容國(guó)內(nèi)多種車牌樣式。適用于計(jì)算機(jī)、人工智能、自動(dòng)化等專業(yè)學(xué)生用于課程設(shè)計(jì)、畢業(yè)設(shè)計(jì)或項(xiàng)目演示也適合初學(xué)者入門進(jìn)階和開發(fā)者二次開發(fā)。資源包共154個(gè)文件包含43個(gè)Python源碼、模型權(quán)重文件、YAML配置、測(cè)試圖片及少量Shell腳本等整體約39.03MB結(jié)構(gòu)清晰既可直接推理測(cè)試也支持CPU或GPU環(huán)境自行訓(xùn)練模型。壓縮包內(nèi)目錄劃分明確測(cè)試圖片與結(jié)果保存邏輯完整。目前已有1181人學(xué)習(xí)下載項(xiàng)目代碼經(jīng)測(cè)試運(yùn)行穩(wěn)定可作為深度學(xué)習(xí)目標(biāo)檢測(cè)與識(shí)別方向的學(xué)習(xí)范本。1. 為什么車牌識(shí)別是個(gè)看著簡(jiǎn)單、落地?zé)┤说姆较蛲砩暇劈c(diǎn)停車場(chǎng)的出閘機(jī)剛抬桿又落下屏幕上是皖A(yù)·D123 請(qǐng)通行副駕的人臉不清晰但車牌與車身顏色被識(shí)別得清清楚楚。這個(gè)場(chǎng)景背后是一套典型的基于深度學(xué)習(xí)與CCPD、CRPD數(shù)據(jù)集的車牌識(shí)別系統(tǒng)它不只輸出那串車牌字符還要同時(shí)給出車牌顏色藍(lán)/黃/白/綠/黑和車輛顏色紅/黑/白/銀/灰……。很多人以為拿一個(gè)YOLO模型跑通檢測(cè)就完了真正接項(xiàng)目才會(huì)發(fā)現(xiàn)三個(gè)任務(wù)混在一個(gè)pipeline里有多考驗(yàn)數(shù)據(jù)處理和工程排錯(cuò)。這篇筆記就是拆這樣一個(gè)打包好的Python實(shí)踐項(xiàng)目源碼、CCPD與CRPD數(shù)據(jù)集、模型權(quán)重一應(yīng)俱全但再完整的zip也比不上一張能講清楚標(biāo)注怎么轉(zhuǎn)、損失怎么設(shè)、閾值怎么調(diào)的作戰(zhàn)地圖。適合正在跟著源碼復(fù)現(xiàn)的訓(xùn)練者也適合評(píng)估多任務(wù)車牌識(shí)別技術(shù)選型的部署工程師。2. 核心識(shí)別鏈路與數(shù)據(jù)集選型CCPD與CRPD在車牌識(shí)別里的分工2.1 兩個(gè)數(shù)據(jù)集怎么看一熱一冷互相補(bǔ)短板CCPD全稱Chinese City Parking Dataset中文常叫中國(guó)城市停車場(chǎng)數(shù)據(jù)集視角高度統(tǒng)一停車場(chǎng)出入口的槍機(jī)車頭正對(duì)鏡頭一張圖一輛車、一個(gè)車牌車牌區(qū)域大且清晰。CCPD的強(qiáng)項(xiàng)是檢測(cè)和字符識(shí)別因?yàn)闃颖靖蓛裟Ｐ秃苋菀装鸦A(chǔ)精度拉上來(lái)。它最大的弱項(xiàng)是車牌顏色極度偏科藍(lán)牌占比高得離譜新能源綠牌只是點(diǎn)綴黃牌、白牌幾乎見(jiàn)不到。CRPD是沖著復(fù)雜場(chǎng)景去的全稱常被寫作Chinese Plate Recognition Dataset。夜間、雨雪、傾斜、污損、模糊、低分辨率CRPD里全都有車牌顏色也比CCPD豐富得多網(wǎng)約車、公交車的黃牌特種車白牌貨車黑牌都占了合理比例。兩個(gè)數(shù)據(jù)集一冷一熱合在一起正好互補(bǔ)CCPD把場(chǎng)景分布打底CRPD把泛化能力逼出來(lái)。這是標(biāo)題里不單獨(dú)放某個(gè)數(shù)據(jù)集、而是同時(shí)放CCPD和CRPD的根本原因。我常用下面這個(gè)對(duì)比輔助選型也建議你先按行核對(duì)一遍再動(dòng)手維度CCPDCRPD場(chǎng)景分布停車場(chǎng)出入口車頭正對(duì)目標(biāo)大夜間/雨雪/遮擋/傾斜難樣本多車牌顏色藍(lán)牌為主少量綠牌藍(lán)/黃/白/綠/黑多色混合標(biāo)注形式JSON含車輛框與車牌四點(diǎn)坐標(biāo)矩形框字符級(jí)標(biāo)注格式以txt/csv為主適合用途訓(xùn)練檢測(cè)與字符識(shí)別的干凈基線給模型加抗干擾能力和顏色多樣性需要潑一盆冷水如果你拿到的是未經(jīng)清洗的zip先把CRPD里分辨率過(guò)低、人眼都看不清的圖挑出來(lái)別直接塞進(jìn)訓(xùn)練集。那些圖在驗(yàn)證集里當(dāng)負(fù)樣本可以當(dāng)正樣本只會(huì)把loss曲線抖成心電圖。2.2 為什么做成檢測(cè)分類而不是端到端序列識(shí)別車牌識(shí)別這個(gè)需求有兩種主流實(shí)現(xiàn)路徑。第一種是Detection OCR先檢測(cè)車牌再用CRNN或者Transformer把車牌字符挨個(gè)識(shí)別出來(lái)適合需要精細(xì)輸出省份簡(jiǎn)稱字母數(shù)字的場(chǎng)景。第二種是Detection 分類頭檢測(cè)到車牌后不打字符而是分類出藍(lán)牌/黃牌/綠牌同時(shí)檢測(cè)車輛區(qū)域并分類車輛顏色。標(biāo)題里這套.zip顯然指向第二種因?yàn)樗妮敵鑫锊皇亲址蛄卸莾蓚€(gè)顏色標(biāo)簽加一個(gè)定位框。選擇第二種的工程理由是明顯的字符級(jí)OCR中文車牌維護(hù)成本高省份簡(jiǎn)稱幾十類、字體形狀多變要求訓(xùn)練數(shù)據(jù)逐字符標(biāo)注CCPD和CRPD的標(biāo)注格式對(duì)字符識(shí)別并不友好。更現(xiàn)實(shí)的是停車場(chǎng)和路側(cè)監(jiān)控的核心需求往往是這輛車的顏色是什么、掛什么顏色的牌而不是把字符一個(gè)一個(gè)打出來(lái)。先檢測(cè)再分類檢測(cè)用YOLO系列分類接管出的區(qū)域用ResNet或者M(jìn)obileNet之類的小分類頭訓(xùn)練時(shí)互不干擾排錯(cuò)時(shí)邊界清晰。有人問(wèn)為什么不用HALCON那種傳統(tǒng)模板匹配來(lái)做如果你之前在HALCON里用字符模板跑過(guò)車牌項(xiàng)目就會(huì)知道它在一張曝光均勻、角度端正的圖上確實(shí)能跑通但一到傾斜、反光、夜間就立刻變脆。這也是這些年大家都在往深度學(xué)習(xí)遷移的原因。2.3 多任務(wù)輸出設(shè)計(jì)一個(gè)頭部還是拆成三個(gè)模型設(shè)計(jì)輸出時(shí)常見(jiàn)做法有兩種。第一種是共享一個(gè)backbone在Detection層上直接掛多個(gè)分類分支一次前向同時(shí)輸出目標(biāo)框、車牌顏色和車輛顏色。第二種是YOLOv5只負(fù)責(zé)檢測(cè)車輛與車牌車牌顏色和車輛顏色各接一個(gè)獨(dú)立的小網(wǎng)絡(luò)。從源碼包的交付習(xí)慣來(lái)看訓(xùn)練時(shí)通常合并成一個(gè)多任務(wù)loss推理時(shí)再拆出三類結(jié)果。我偏向于在YOLOv5的Detect頭后面接自定義分支而不是純?nèi)齻€(gè)獨(dú)立模型原因只有一個(gè)推理耗時(shí)。三個(gè)串行模型在樹莓派或者Jetson上可能拖到幾百毫秒而一次前向把三個(gè)結(jié)果全部帶出來(lái)典型的輸出通道數(shù)大約是這樣的前景目標(biāo)類別2類車輛、車牌車牌顏色5類車輛顏色8類再加上坐標(biāo)與置信度結(jié)果是41258Detect輸出的特征圖通道數(shù)會(huì)改到20左右。多任務(wù)loss的常規(guī)寫法是一個(gè)加權(quán)和坐標(biāo)回歸用CIoU Loss負(fù)責(zé)把矩形框框準(zhǔn)目標(biāo)類別用BCE Loss負(fù)責(zé)區(qū)分前景目標(biāo)和背景車牌顏色、車輛顏色用CrossEntropy Loss某個(gè)小分類的loss配一個(gè)系數(shù)。這里有個(gè)血淚經(jīng)驗(yàn)一開始把三個(gè)任務(wù)權(quán)重全設(shè)成1你會(huì)發(fā)現(xiàn)藍(lán)牌大樣本把黃牌和綠牌完全淹沒(méi)模型永遠(yuǎn)在輸出藍(lán)牌。正確做法是給樣本量少的顏色類提高權(quán)重或者用類平衡采樣把每個(gè)車牌顏色的batch占比盡量對(duì)齊。這是后面訓(xùn)練參數(shù)那一章的重點(diǎn)。3. 跑通代碼包的第一步從CCPD標(biāo)注到Y(jié)OLO訓(xùn)練集的最小閉環(huán)3.1 環(huán)境準(zhǔn)備不要照搬Python教程里的默認(rèn)安裝法先把工程目錄結(jié)構(gòu)捋順。拿到zip解壓后我一般先按下面的規(guī)劃重建目錄而不是直接在解壓根目錄下訓(xùn)練plate_recognition/ ├── data/ccpd/ # CCPD原始圖json標(biāo)注 ├── data/crpd/ # CRPD原始圖標(biāo)注 ├── data/ccpd/labels/ # 轉(zhuǎn)換后YOLO標(biāo)簽 ├── data/crpd/labels/ ├── models/yolov5s.pt # 預(yù)訓(xùn)練權(quán)重 ├── train.py ├── detect.py ├── convert_ccpd.py └── config/ccpd_crpd.yaml環(huán)境配置是第一個(gè)翻車點(diǎn)。很多入門教程直接讓你裝最新的Python和PyTorch但YOLOv5這類倉(cāng)庫(kù)對(duì)版本其實(shí)很敏感。我一般用Python 3.8加PyTorch 1.10CUDA 11.3這一組合在大部分顯卡驅(qū)動(dòng)上都能穩(wěn)定跑。用虛擬環(huán)境隔離別污染系統(tǒng)Python# 創(chuàng)建并激活虛擬環(huán)境注意指定Python版本 python3.8 -m venv venv source venv/bin/activate # 安裝CUDA 11.3對(duì)應(yīng)的PyTorch不要裝成CPU版 pip install torch1.10.0cu113 torchvision0.11.0cu113 -f https://download.pytorch.org/whl/torch_stable.html # 安裝yolov5倉(cāng)庫(kù)的依賴 pip install -r yolov5/requirements.txt第一行命令里的python3.8是刻意指定的。如果直接用系統(tǒng)默認(rèn)的python3可能指向3.10以上版本YOLOv5的一些老接口在3.10上會(huì)報(bào)奇怪的類型錯(cuò)誤。第三行指定CUDA版本是為了規(guī)避驅(qū)動(dòng)新但PyTorch舊導(dǎo)致的算子不匹配。裝完跑python -c import torch; print(torch.cuda.is_available())輸出True再往下走。3.2 把CCPD的JSON標(biāo)注轉(zhuǎn)成YOLO格式轉(zhuǎn)換腳本與參數(shù)說(shuō)明CCPD的標(biāo)注是JSON里面同時(shí)含車輛框和車牌四點(diǎn)坐標(biāo)結(jié)構(gòu)大體是bbox給出車體矩形points給出車牌四邊形的四個(gè)角點(diǎn)。YOLO訓(xùn)練標(biāo)簽要求是類別 中心x 中心y 寬 高而且全部歸一化到0到1所以轉(zhuǎn)換腳本至少要解決兩件事把四點(diǎn)坐標(biāo)折算成外接矩形把矩形歸一化。# convert_ccpd.py import json, os from pathlib import Path import numpy as np SRC Path(data/ccpd/images) DST Path(data/ccpd/labels) PAD 1.05 # 車牌框外擴(kuò)系數(shù)防止裁剪時(shí)切掉字符邊緣 def poly_to_xywh(points, img_w, img_h, pad1.0): 把四點(diǎn)坐標(biāo)轉(zhuǎn)成YOLO格式的歸一化xywh pts np.array(points, dtypenp.float32) x_min, y_min pts.min(axis0) x_max, y_max pts.max(axis0) cx ((x_min x_max) / 2.0) / img_w cy ((y_min y_max) / 2.0) / img_h w (x_max - x_min) * pad / img_w h (y_max - y_min) * pad / img_h return cx, cy, w, h for img_path in SRC.glob(*.jpg): json_path img_path.with_suffix(.json) if not json_path.exists(): continue # 從文件名或JSON頭部取圖像寬高CCPD的JSON里一般直接給 anno json.loads(json_path.read_text(encodingutf-8)) img_w, img_h anno[width], anno[height] lines [] # 類目0車輛1車牌 vehicle anno.get(cars, [{}])[0].get(bbox, [0,0,100,100]) v_x, v_y, v_w, v_h vehicle lines.append(f0 {((v_xv_w)/2)/img_w} {((v_yv_h)/2)/img_h} {v_w/img_w} {v_h/img_h}) # 車牌四點(diǎn)坐標(biāo)存于cars[*].plate.points plate_pts anno[cars][0][plate][points] cx, cy, w, h poly_to_xywh(plate_pts, img_w, img_h, PAD) lines.append(f1 {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}) DST.mkdir(parentsTrue, exist_okTrue) DST.joinpath(img_path.stem .txt).write_text(\n.join(lines), encodingutf-8)這段腳本的關(guān)鍵參數(shù)是PAD 1.05。四點(diǎn)坐標(biāo)直接取min/max得到的是緊貼字符的外接矩形訓(xùn)練時(shí)如果數(shù)據(jù)增強(qiáng)做了隨機(jī)裁剪車牌邊緣的字容易被切掉。外擴(kuò)5%給增強(qiáng)留余量這是復(fù)制粘貼時(shí)最容易被忽略的細(xì)節(jié)。img_w和img_h必須從標(biāo)注文件讀不能自己猜因?yàn)镃CPD原圖尺寸并不完全一致一旦寬高反了所有標(biāo)注坐標(biāo)都會(huì)錯(cuò)位到圖像對(duì)角。轉(zhuǎn)換完務(wù)必抽驗(yàn)。用YOLOv5自帶的train.py --cache跑一個(gè)epoch或者寫幾行腳本把標(biāo)簽畫回圖上看矩形框是否貼合車牌。這一步省掉后面訓(xùn)練出來(lái)的框偏上偏下你都不知道問(wèn)題出在數(shù)據(jù)還是模型。3.3 訓(xùn)練主命令三個(gè)任務(wù)怎么配進(jìn)一條命令數(shù)據(jù)都準(zhǔn)備好后把兩類數(shù)據(jù)集的路徑寫進(jìn)一個(gè)YAML。注意CRPD如果已經(jīng)自帶txt格式標(biāo)注你需要先確認(rèn)它的坐標(biāo)是否歸一化、類別ID是否與CCPD一致不一致就在轉(zhuǎn)換腳本里做一次映射。數(shù)據(jù)集配置文件的寫法# config/ccpd_crpd.yaml train: data/ccpd/images data/crpd/images val: data/ccpd/images nc: 2 names: [vehicle, plate]nc這里先設(shè)成2因?yàn)閅OLOv5的原生訓(xùn)練只負(fù)責(zé)檢測(cè)車輛和車牌車牌顏色與車輛顏色走自定義分類分支。接下來(lái)啟動(dòng)訓(xùn)練python train.py \ --data config/ccpd_crpd.yaml \ --weights models/yolov5s.pt \ --img 640 \ --batch 32 \ --epochs 200 \ --hyp data/hyps/hyp.scratch-low.yaml \ --multi-scale--multi-scale是給車牌檢測(cè)模型用的它讓模型每隔幾次迭代隨機(jī)縮放輸入尺寸增強(qiáng)對(duì)不同距離車牌的適應(yīng)力代價(jià)是訓(xùn)練時(shí)間變長(zhǎng)。--hyp選了hyp.scratch-low.yaml而不是高增強(qiáng)配置原因是車牌字符這類細(xì)節(jié)目標(biāo)對(duì)過(guò)強(qiáng)的HSV擾動(dòng)很敏感。如果你發(fā)現(xiàn)驗(yàn)證集上字符區(qū)域被過(guò)度扭曲優(yōu)先把hsv_h、hsv_s這些增強(qiáng)參數(shù)往低調(diào)。3.4 多任務(wù)loss的改造位置與權(quán)重初始化YOLOv5原版只輸出框和目標(biāo)類別要把車牌顏色、車輛顏色也塞進(jìn)同一次前向需要在Detect層改輸出通道數(shù)。常見(jiàn)做法是在model/yolo.py的Detect類里把輸出維度從5nc改成5nc_color_platenc_color_car然后在損失函數(shù)里分別計(jì)算。# 在訓(xùn)練循環(huán)的loss計(jì)算位置新增分支 from torch.nn import CrossEntropyLoss # 假設(shè)頭部特征圖已經(jīng)拆出分類結(jié)果 plate_color_logits outputs[:, 5:10] # 車牌顏色共5類 car_color_logits outputs[:, 10:18] # 車輛顏色共8類 plate_color_targets targets_plate_color # 從標(biāo)注中讀取的標(biāo)簽 # 加權(quán)交叉熵避免藍(lán)牌樣本淹沒(méi)其他顏色 class_weights torch.tensor([1.0, 2.0, 2.5, 1.5, 3.0]) # 藍(lán)/黃/白/綠/黑 loss_plate_color CrossEntropyLoss(weightclass_weights)(plate_color_logits, plate_color_targets) loss_car_color CrossEntropyLoss()(car_color_logits, targets_car_color) loss loss_detect 0.5 * loss_plate_color 0.3 * loss_car_color這里class_weights不是拍腦袋寫的而是先統(tǒng)計(jì)CCPD和CRPD里五個(gè)顏色類別的樣本數(shù)取中位數(shù)類別為基準(zhǔn)計(jì)算逆頻率得到。車輛顏色的8類權(quán)重同理。兩個(gè)輔助loss的系數(shù)設(shè)為0.5和0.3是讓主檢測(cè)任務(wù)的梯度占主導(dǎo)輔助分類只在骨干網(wǎng)絡(luò)共享部分產(chǎn)生影響防止分類任務(wù)把檢測(cè)特征帶偏。4. 把模型部署到真實(shí)畫面推理腳本、閾值與三類識(shí)別結(jié)果怎么讀4.1 推理腳本一次前向輸出全部標(biāo)簽訓(xùn)練完成后你手里的best.pt已經(jīng)能同時(shí)產(chǎn)出三個(gè)信息。推理時(shí)不建議重新寫一套復(fù)雜管線直接用YOLOv5的推理封裝再對(duì)輸出做后處理# detect.py 核心片段 import torch model torch.hub.load(yolov5, custom, pathruns/train/exp/weights/best.pt, sourcelocal) model.conf 0.35 # 檢測(cè)置信度閾值 model.iou 0.45 # NMS的IoU閾值 results model(test_imgs/night_vehicle.jpg) boxes results.xyxy[0].cpu().numpy() # x1,y1,x2,y2,conf,cls for box in boxes: x1, y1, x2, y2, conf, cls box cls int(cls) if cls 0: # 車輛區(qū)域 car_crop frame[int(y1):int(y2), int(x1):int(x2)] # 車輛顏色分類由單獨(dú)的輕量分類頭完成 car_color car_color_head(car_crop) # 輸出8類softmax elif cls 1: # 車牌區(qū)域 plate_crop frame[int(y1):int(y2), int(x1):int(x2)] plate_color plate_color_head(plate_crop) # 輸出5類softmax print(f車牌位置x1y1x2y2: {x1:.0f},{y1:.0f},{x2:.0f},{y2:.0f}, conf{conf:.2f}) print(f車牌顏色: {plate_color}, 車輛顏色: {car_color})model.conf和model.iou是關(guān)鍵取值。白天光線好conf設(shè)0.45能濾掉大量誤檢夜間置信度普遍下降我習(xí)慣動(dòng)態(tài)調(diào)低到0.3否則會(huì)漏掉真實(shí)車牌。NMS的iou設(shè)0.45是平衡值設(shè)太大會(huì)把同一輛車上的車燈和車牌框合并成一個(gè)框設(shè)太小則同一個(gè)目標(biāo)多個(gè)框同時(shí)輸出。類別ID映射一定要對(duì)照訓(xùn)練時(shí)的namesID順序一變整批輸出含義就全反了。4.2 驗(yàn)證指標(biāo)mAP和顏色準(zhǔn)確率分開看多任務(wù)系統(tǒng)最容易犯的錯(cuò)誤是只看mAP。YOLOv5的val.py只評(píng)估檢測(cè)框車牌顏色和車輛顏色的精度在它里面看不到需要單獨(dú)寫評(píng)估腳本python val.py \ --data config/ccpd_crpd.yaml \ --weights runs/train/exp/weights/best.pt \ --img 640 \ --iou 0.5--iou 0.5對(duì)應(yīng)mAP0.5即預(yù)測(cè)框與真實(shí)框的IoU超過(guò)0.5就算檢測(cè)成功車牌檢測(cè)這個(gè)任務(wù)看mAP0.5就夠了。mAP0.5:0.95是更嚴(yán)苛的多尺度IoU平均COCO類通用目標(biāo)檢測(cè)才更看重車牌目標(biāo)小、場(chǎng)景固定不要被這個(gè)數(shù)字勸退。顏色準(zhǔn)確率則是兩個(gè)分類頭的Top-1正確率。單獨(dú)跑評(píng)估集統(tǒng)計(jì)每個(gè)類別的混淆矩陣尤其是藍(lán)牌和黃牌之間的混淆——夜間光照下這兩個(gè)顏色在RGB空間非常接近。評(píng)估腳本的要點(diǎn)是按顏色類別分別統(tǒng)計(jì)而不是只算總準(zhǔn)確率否則藍(lán)牌占比高總準(zhǔn)確率會(huì)被它抬到虛高。5. 車牌識(shí)別系統(tǒng)實(shí)測(cè)避坑六條高頻踩坑與排錯(cuò)實(shí)錄5.1 車牌框外擴(kuò)太大把相鄰車燈框進(jìn)裁剪區(qū)域現(xiàn)象檢測(cè)框貼合車牌但車牌顏色識(shí)別明顯不準(zhǔn)藍(lán)牌經(jīng)常識(shí)別成綠牌黃牌識(shí)別成白牌。原因訓(xùn)練時(shí)PAD設(shè)成了1.12外擴(kuò)12%的框在車燈、鍍鉻飾條附近時(shí)把環(huán)境顏色一起包進(jìn)了分類頭的輸入?yún)^(qū)域。解決把PAD收回1.05如果車牌有傾斜角先用仿射變換把車牌對(duì)齊到水平再做顏色分類而不是依賴矩形框裁剪。5.2 夜間圖像上黃牌幾乎全軍覆沒(méi)現(xiàn)象白天黃牌識(shí)別準(zhǔn)確率90%以上一到夜間掉到50%以下大量被誤判成白牌。原因黃色在低照度下飽和度下降通道統(tǒng)計(jì)上和白牌的高光區(qū)域極其接近。解決訓(xùn)練時(shí)單獨(dú)給車牌顏色分類分支增加夜間增強(qiáng)包括亮度抖動(dòng)、飽和度降低、隨機(jī)加高斯噪點(diǎn)或者把夜間樣本按CRPD做一次偽影調(diào)色擴(kuò)充同時(shí)把黃牌類別的loss權(quán)重調(diào)到2.5以上。5.3 訓(xùn)練loss下降但val曲線在30輪后開始劇烈震蕩現(xiàn)象前30個(gè)epoch mAP一路向上之后訓(xùn)練集loss繼續(xù)降驗(yàn)證mAP卻上下亂跳。原因--multi-scale配合過(guò)高的基礎(chǔ)學(xué)習(xí)率在訓(xùn)練后期讓已經(jīng)收斂的權(quán)重反復(fù)跳出不穩(wěn)定的解。解決第60輪后把學(xué)習(xí)率降到初始值的十分之一或者關(guān)閉--multi-scale如果用的是hyp.scratch-high.yaml先切回low配置。5.4 Windows下訓(xùn)練直接CUDA out of memory現(xiàn)象python train.py啟動(dòng)后不到10秒就報(bào)錯(cuò)顯存被拉滿。原因默認(rèn)batch在Windows上沒(méi)有自動(dòng)按顯存縮放8GB顯存跑batch 32必然爆顯存。解決先按顯存折減8GB顯存從batch 16起步6GB就到8同時(shí)把--workers從默認(rèn)的8降到2Windows的DataLoader進(jìn)程啟動(dòng)開銷比Linux大得多一樣會(huì)吃內(nèi)存。5.5 ONNX導(dǎo)出后輸出張量維度錯(cuò)位現(xiàn)象PyTorch里推理正常導(dǎo)出ONNX后用TensorRT加載車牌顏色輸出全部變成亂標(biāo)簽。原因YOLOv5的Detect層在導(dǎo)出時(shí)會(huì)做一次維度重組自定義顏色分支的輸出位置被打亂。解決導(dǎo)出前固定模型的輸出shape打開--dynamic時(shí)不要開全軸動(dòng)態(tài)只固定batch維導(dǎo)出后用onnxruntime跑同一張圖逐維度和PyTorch輸出對(duì)比確認(rèn)類別維順序一致再交給TensorRT。5.6 驗(yàn)證集mAP很高但停車場(chǎng)現(xiàn)場(chǎng)新場(chǎng)景漏檢一半現(xiàn)象測(cè)試了自己的測(cè)試圖感覺(jué)不錯(cuò)一到新停車場(chǎng)閘機(jī)就漏檢。原因CCPD的拍攝視角高度統(tǒng)一模型把停車場(chǎng)出入口的槍機(jī)視角當(dāng)成了隱含特征換了低角度或者側(cè)向安裝的相機(jī)特征分布整體漂移。解決最少引入100到200張現(xiàn)場(chǎng)角度的圖做微調(diào)把新舊數(shù)據(jù)按7比3混合訓(xùn)練不要全量重訓(xùn)加載best.pt繼續(xù)訓(xùn)30個(gè)epoch就能拉回現(xiàn)場(chǎng)分布。6. 臨近交付時(shí)的檢查清單用硬案例找系統(tǒng)邊界再談閾值是否可信系統(tǒng)交付前我習(xí)慣做一個(gè)硬案例篩選。把驗(yàn)證集和現(xiàn)場(chǎng)測(cè)試圖全部跑一遍凡是檢測(cè)置信度低于0.4、顏色分類結(jié)果與標(biāo)注不一致的圖單獨(dú)復(fù)制到一個(gè)hard_examples目錄人工翻一遍。這一翻往往能發(fā)現(xiàn)標(biāo)注錯(cuò)誤和類別邊界問(wèn)題比空調(diào)閾值管用得多。import glob, shutil from pathlib import Path hard_dir Path(hard_examples) hard_dir.mkdir(exist_okTrue) for img_path in glob.glob(test_imgs/*.jpg): results model(img_path) boxes results.xyxy[0] max_conf boxes[:, 4].max().item() if len(boxes) else 0.0 if max_conf 0.4: shutil.copy(img_path, hard_dir / Path(img_path).name)硬案例看完之后再對(duì)閾值做分時(shí)策略。白天光線穩(wěn)定conf設(shè)0.45到0.5寧缺毋濫夜間或者逆光時(shí)段降到0.3再多跑一層車牌紋理校驗(yàn)防止車燈反光區(qū)域被誤判成車牌。黃牌和綠牌因?yàn)闃颖玖可賳为?dú)再拉低閾值會(huì)比較有效。這套系統(tǒng)的邊界其實(shí)很清楚清晰藍(lán)牌車95%以上的檢測(cè)車色識(shí)別率黃綠白牌在良好光照下可用夜間只保證框得準(zhǔn)、顏色七成正確需要百分百顏色識(shí)別就得加補(bǔ)光燈。我的習(xí)慣是任何車牌識(shí)別項(xiàng)目上線前先固定一個(gè)本地驗(yàn)證集把mAP和顏色Top-1做成一張表格每次調(diào)整都拿表格說(shuō)話不然所有調(diào)參都成了玄學(xué)。希望這套方法能幫你少走兩步冤枉路也祝你的車牌識(shí)別系統(tǒng)一次落地就能過(guò)驗(yàn)收。本文還有配套的精品資源點(diǎn)擊獲取