簡介這份文檔面向智慧安防領(lǐng)域的算法工程師與計算機視覺學(xué)習(xí)者聚焦夜間異常行為檢測中精度低、算力消耗大的痛點給出基于YOLOv11的模型輕量化實戰(zhàn)方案。全文共30頁圍繞剪枝、量化、知識蒸餾、輕量級網(wǎng)絡(luò)架構(gòu)設(shè)計與模型融合壓縮等關(guān)鍵技術(shù)展開并覆蓋夜間數(shù)據(jù)集增強、訓(xùn)練策略調(diào)優(yōu)、模型評估與部署實時優(yōu)化等完整鏈路最后結(jié)合住宅小區(qū)、商業(yè)廣場、工廠園區(qū)三類場景做效果評估。資源包為1個PDF文件約1.9MB支持目錄章節(jié)跳轉(zhuǎn)與閱讀器左側(cè)大綱快速定位圖表、目錄等元素顯示正常便于按章節(jié)查閱。目前已有63人學(xué)習(xí)。讀者可從中獲得從模型壓縮原理到落地部署的系統(tǒng)思路以及夜間場景下的數(shù)據(jù)增強、評估指標(biāo)與實時優(yōu)化經(jīng)驗適合希望將YOLOv11應(yīng)用于安防監(jiān)控并降低推理成本的中高級開發(fā)者參考。1. 夜間安防為什么總在關(guān)鍵幀上掉鏈子YOLOv11 輕量化異常行為檢測要解決什么凌晨兩點園區(qū)周界攝像頭拍到一個人翻越圍欄畫面里只有輪廓和噪點值班室的屏幕上卻什么都沒彈出來。第二天回查錄像模型在那一幀的置信度只有 0.21被閾值直接過濾掉了。這不是個例而是夜間安防場景里最典型的翻車現(xiàn)場白天跑得好好的 YOLOv11 異常行為檢測模型一到低照度、高噪點、目標(biāo)半遮擋的環(huán)境就集體失靈而安防業(yè)務(wù)恰恰最依賴夜間時段。這個標(biāo)題要解決的就是這件事——在智慧安防場景下用 YOLOv11 做夜間異常行為檢測同時把模型做輕量化讓它能跑在邊緣設(shè)備上。它適合三類人正在做園區(qū)/校園/工地安防算法落地的工程師手里有 Jetson 或低顯存顯卡、想把檢測模型壓到能實時跑的開發(fā)者以及已經(jīng)跑通 YOLOv11 但發(fā)現(xiàn)夜間精度崩了、想找改進方向的從業(yè)者。核心矛盾很明確夜間畫質(zhì)差導(dǎo)致特征弱異常行為本身又比常規(guī)目標(biāo)檢測更依賴時序和姿態(tài)而輕量化又會進一步削弱模型對小目標(biāo)和弱特征的表達能力。這三者互相拉扯方案設(shè)計必須同時回答“怎么補夜間特征”“怎么壓模型體積”“怎么保證異常行為不漏報”。2. 夜間異常行為檢測的技術(shù)選型YOLOv11 加什么、減什么2.1 為什么基線選 YOLOv11 而不是繼續(xù)用 YOLOv5s很多人手里還留著 YOLOv5s 的輕量化方案第一反應(yīng)是繼續(xù)在 v5 上改。但從夜間異常行為檢測的角度看YOLOv11 有幾個直接相關(guān)的結(jié)構(gòu)優(yōu)勢。它的 C3k2 模塊替換了 v5 的 C3在相同參數(shù)量下感受野更靈活對夜間模糊輪廓的上下文聚合更友好SPPF 之后的 C2PSA 注意力模塊在低照度場景下能抑制背景噪點響應(yīng)這一點在實測里比 v5 的純卷積結(jié)構(gòu)穩(wěn)定不少。不過要注意YOLOv11 的 n/s 版本本身已經(jīng)很小如果直接拿 n 版本硬壓夜間小目標(biāo)召回會掉得很快。我的做法是以 YOLOv11s 為基線先做夜間增強再做結(jié)構(gòu)化剪枝而不是一上來就換 n 版本。下面這張表是我在 1080p 夜間園區(qū)數(shù)據(jù)上做的對比測試集包含 3200 張夜間幀異常行為類別為翻越、徘徊、倒地三類。模型參數(shù)量mAP0.5白天mAP0.5夜間Jetson Orin Nano FP16 延遲YOLOv5s7.2M0.810.5428msYOLOv11n2.6M0.790.4914msYOLOv11s9.4M0.840.6133msYOLOv11s 夜間增強9.6M0.840.7235msYOLOv11s 夜間增強 剪枝4.1M0.820.6819ms可以看到夜間增強帶來的提升遠(yuǎn)大于換更小模型而剪枝是在保住夜間精度的前提下壓體積。這個順序很關(guān)鍵先增強再壓縮比先壓縮再補救要省事得多。2.2 夜間增強的三個具體手段不是簡單調(diào)亮度夜間圖像增強最容易踩的坑就是直接上直方圖均衡或者 Gamma 校正結(jié)果噪點被一起放大模型反而更懵。我一般用組合策略按順序做第一步用引導(dǎo)濾波做保邊去噪而不是高斯濾波。高斯會把翻越圍欄這種細(xì)長結(jié)構(gòu)糊掉引導(dǎo)濾波能在平滑噪點的同時保留邊緣。第二步做自適應(yīng) Gamma 校正Gamma 值不固定根據(jù)圖像平均亮度動態(tài)算暗幀用大 Gamma稍亮的幀用小 Gamma。第三步在 HSV 空間對 V 通道做 CLAHE限制對比度避免過增強。import cv2 import numpy as np def night_enhance(img_bgr, gamma_base1.8): # 第一步引導(dǎo)濾波去噪半徑 8eps 控制保邊強度 guide cv2.cvtColor(img_bgr, cv2.COLOR_BGR2GRAY) denoised cv2.ximgproc.guidedFilter(guide, img_bgr, radius8, eps1e-3) # 第二步根據(jù)平均亮度自適應(yīng) Gamma gray cv2.cvtColor(denoised, cv2.COLOR_BGR2GRAY) mean_lum np.mean(gray) / 255.0 # 越暗 Gamma 越大但上限 2.5 防止過曝 gamma np.clip(gamma_base * (1.0 - mean_lum) 1.0, 1.0, 2.5) inv_gamma 1.0 / gamma table np.array([((i / 255.0) ** inv_gamma) * 255 for i in range(256)]).astype(uint8) corrected cv2.LUT(denoised, table) # 第三步HSV 空間 CLAHE只動 V 通道 hsv cv2.cvtColor(corrected, cv2.COLOR_BGR2HSV) clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) hsv[:, :, 2] clahe.apply(hsv[:, :, 2]) return cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR)這段代碼里三個參數(shù)最需要調(diào)radius控制去噪范圍夜間 1080p 一般 6 到 10eps越小保邊越強但太小會留下噪點1e-3 是實測比較穩(wěn)的值clipLimit超過 3.0 容易在路燈周圍產(chǎn)生光暈反而干擾檢測。增強后的圖像再送進 YOLOv11 訓(xùn)練夜間 mAP 能從 0.61 拉到 0.72 左右。2.3 異常行為檢測頭怎么改從純檢測到加時序異常行為不是單幀能完全判斷的翻越和徘徊的區(qū)別往往在連續(xù)幾幀的運動模式里。但安防邊緣設(shè)備又扛不住完整的 3D 卷積或 Transformer 時序模型。我的折中方案是在 YOLOv11 檢測頭旁邊掛一個輕量時序分支用滑動窗口緩存最近 8 幀的特征圖做通道維度的差分和池化輸出一個行為置信度和檢測框置信度做加權(quán)融合。具體做法是在 Detect 頭之前引出一個分支對 neck 輸出的 P3 特征做幀間差分import torch import torch.nn as nn class TemporalBranch(nn.Module): def __init__(self, in_channels128, window8): super().__init__() self.window window # 用深度可分離卷積壓參數(shù)量適合邊緣部署 self.dw_conv nn.Conv2d(in_channels, in_channels, 3, padding1, groupsin_channels) self.pw_conv nn.Conv2d(in_channels, 64, 1) self.pool nn.AdaptiveAvgPool2d(1) self.fc nn.Linear(64, 1) def forward(self, feat_seq): # feat_seq: [B, T, C, H, W]T 為窗口幀數(shù) diffs [] for t in range(1, self.window): diffs.append(feat_seq[:, t] - feat_seq[:, t - 1]) diff torch.stack(diffs, dim1).mean(dim1) # 幀間平均差分 x self.pw_conv(self.dw_conv(diff)) x self.pool(x).flatten(1) return torch.sigmoid(self.fc(x))這個分支參數(shù)量只有 0.3M 左右推理時幾乎不增加延遲。window設(shè) 8 是權(quán)衡結(jié)果太小抓不到徘徊的周期性太大在邊緣設(shè)備上緩存吃不消。融合權(quán)重我一般設(shè)檢測置信度 0.7、時序置信度 0.3夜間場景可以調(diào)到 0.6/0.4因為單幀檢測在夜間本身就不太可信。3. 輕量化落地剪枝、蒸餾和量化怎么組合才不掉精度3.1 結(jié)構(gòu)化剪枝按通道重要性剪別按權(quán)重絕對值輕量化最直接的手段是剪枝但很多人用錯了方法。非結(jié)構(gòu)化剪枝把單個權(quán)重置零看起來稀疏度很高實際在 GPU 和 Jetson 上根本加速不了因為硬件還是按稠密矩陣算。安防邊緣部署必須用結(jié)構(gòu)化剪枝直接剪掉整個通道。我的流程是先對 BN 層的縮放因子做稀疏訓(xùn)練讓不重要的通道 gamma 趨近零然后按 gamma 排序剪掉最低的 30% 到 40%最后微調(diào) 20 個 epoch 恢復(fù)精度。稀疏訓(xùn)練的關(guān)鍵是加 L1 正則系數(shù)設(shè) 1e-4 到 1e-3 之間太大精度崩太小剪不動。# 稀疏訓(xùn)練在 YOLOv11 訓(xùn)練命令基礎(chǔ)上加稀疏正則 python train.py \ --model yolov11s_night.yaml \ --data night_anomaly.yaml \ --epochs 100 \ --batch 16 \ --sparse_reg 5e-4 \ --project runs/sparse # 剪枝按 BN gamma 排序剪掉 35% 通道 python prune.py \ --weights runs/sparse/weights/best.pt \ --prune_ratio 0.35 \ --save runs/pruned/pruned.pt # 微調(diào)恢復(fù) python train.py \ --model runs/pruned/pruned.yaml \ --weights runs/pruned/pruned.pt \ --epochs 20 \ --lr0 0.001 \ --data night_anomaly.yamlprune_ratio是核心參數(shù)夜間異常行為檢測我建議不要超過 0.4超過之后小目標(biāo)召回掉得很快尤其是遠(yuǎn)處翻越的人。微調(diào)階段學(xué)習(xí)率要降到初始的十分之一否則剪枝后的結(jié)構(gòu)容易被大梯度破壞。3.2 知識蒸餾用夜間增強模型當(dāng)教師剪枝之后精度多少會掉一點這時候用蒸餾補回來比重新訓(xùn)練劃算。教師模型用沒剪枝的夜間增強版本學(xué)生模型用剪枝后的輕量版本。蒸餾損失里除了常規(guī)的 KL 散度我額外加了特征層的 MSE 損失讓學(xué)生模型的 neck 輸出逼近教師這對夜間弱特征特別有用。import torch.nn.functional as F def distill_loss(student_out, teacher_out, student_feat, teacher_feat, targets, alpha0.5, beta0.3): # 檢測損失學(xué)生正常算 det_loss compute_detection_loss(student_out, targets) # 蒸餾損失KL 散度對齊分類和框回歸分布 kd_loss F.kl_div( F.log_softmax(student_out[cls] / 2.0, dim-1), F.softmax(teacher_out[cls] / 2.0, dim-1), reductionbatchmean ) # 特征蒸餾neck 層 MSE feat_loss F.mse_loss(student_feat, teacher_feat.detach()) return det_loss alpha * kd_loss beta * feat_loss溫度系數(shù)設(shè) 2.0 是常用值alpha和beta控制蒸餾強度夜間場景我一般把beta調(diào)到 0.3 到 0.4因為特征對齊比 logits 對齊更能保住弱目標(biāo)響應(yīng)。蒸餾后剪枝模型夜間 mAP 能回到 0.70 左右參數(shù)量還是 4M 出頭。3.3 INT8 量化校準(zhǔn)集必須包含夜間幀最后一步是量化Jetson 上跑 INT8 比 FP16 快將近一倍。但量化翻車的重災(zāi)區(qū)就是校準(zhǔn)集選得不對——很多人拿白天圖片做校準(zhǔn)結(jié)果夜間推理精度直接崩。校準(zhǔn)集必須按實際部署場景的分布來夜間幀占比至少 50%而且要覆蓋不同光照條件全黑、路燈、月光、車燈干擾。# TensorRT INT8 量化校準(zhǔn)集指向夜間混合數(shù)據(jù) trtexec \ --onnxyolov11s_night_pruned.onnx \ --int8 \ --calibnight_calib_cache \ --shapesimages:1x3x640x640 \ --workspace2048 \ --saveEngineyolov11s_night_int8.engine校準(zhǔn)緩存建議用 500 到 1000 張圖生成太少統(tǒng)計不準(zhǔn)太多沒必要。量化后如果發(fā)現(xiàn)某類異常行為掉點嚴(yán)重可以對該類相關(guān)的層做敏感度分析把最敏感的幾層保留 FP16混合精度部署。4. 避坑與排查夜間輕量化模型最容易翻車的五個地方4.1 增強后訓(xùn)練、原始推理精度對不上現(xiàn)象訓(xùn)練時用了夜間增強mAP 很好看部署時直接喂原始攝像頭幀精度掉一大截。原因模型學(xué)到的是增強后圖像的分布推理時輸入分布不匹配。解決推理前必須掛同樣的增強預(yù)處理或者訓(xùn)練時把增強作為在線增廣的一部分讓模型見過原始和增強兩種分布。我一般用后者在 dataloader 里按 50% 概率做增強模型魯棒性更好。4.2 剪枝后模型體積小了但推理沒變快現(xiàn)象剪枝完參數(shù)量從 9.4M 降到 4.1M但在 Jetson 上延遲只從 33ms 降到 30ms。原因剪枝只改了通道數(shù)沒有真正生成緊湊的計算圖或者剪枝后的通道數(shù)不是 8 的倍數(shù)硬件沒法加速。解決剪枝時強制通道數(shù)為 8 的倍數(shù)剪完用torch.jit.trace或?qū)С?ONNX 再重新編譯確認(rèn)計算圖確實變窄了。4.3 量化校準(zhǔn)集里全是白天圖現(xiàn)象INT8 量化后白天精度幾乎不變夜間 mAP 從 0.68 掉到 0.45。原因校準(zhǔn)集分布和實際推理分布不一致量化縮放因子是按白天亮度算的。解決校準(zhǔn)集夜間幀占比至少一半并且要包含極端暗幀。如果已經(jīng)量化完才發(fā)現(xiàn)重新生成校準(zhǔn)緩存比調(diào)其他參數(shù)都管用。4.4 時序分支窗口太大導(dǎo)致邊緣設(shè)備內(nèi)存溢出現(xiàn)象加了時序分支后Jetson Orin Nano 上跑幾分鐘就 OOM。原因緩存 8 幀 P3 特征圖每幀 128×80×80FP16 下約 1.6MB8 幀加上中間變量很容易超。解決把窗口降到 4 到 6或者只緩存差分特征而不是原始特征內(nèi)存能省一半以上。實在不夠就把時序分支放在 P4 上分辨率低一半。4.5 夜間誤報把樹影和動物當(dāng)成異常行為現(xiàn)象夜間模型頻繁把晃動的樹影、貓狗誤報成翻越或徘徊。原因夜間增強放大了背景動態(tài)時序差分對任何運動都敏感。解決在時序分支后加一個簡單的目標(biāo)尺寸和長寬比過濾人的長寬比和運動模式跟動物、樹影差異明顯另外訓(xùn)練時加入負(fù)樣本專門標(biāo)注樹影晃動和動物活動區(qū)域讓模型學(xué)會區(qū)分。5. 夜間輕量化模型的驗證方法與一個實用技巧模型做完不是看訓(xùn)練日志就完事了夜間安防場景的驗證必須貼近真實部署。我一般分三層驗證第一層是離線指標(biāo)按光照條件分桶統(tǒng)計 mAP全黑、路燈、月光、車燈干擾各算各的不能只看總體第二層是視頻級驗證用連續(xù)錄像跑統(tǒng)計漏報和誤報的時段分布重點看凌晨 0 點到 4 點第三層是邊緣設(shè)備實測在 Jetson 上跑滿 24 小時看延遲抖動和內(nèi)存占用。這里有個我踩過坑之后固定下來的技巧驗證時不要用訓(xùn)練時的增強參數(shù)而是用一組獨立的、更極端的夜間增強參數(shù)做壓力測試。比如訓(xùn)練時 Gamma 上限 2.5驗證時故意用到 3.0看模型精度掉多少。如果掉幅在 5 個點以內(nèi)說明模型對光照變化魯棒如果直接崩說明增強策略過擬合了訓(xùn)練分布需要重新調(diào)整增廣范圍。另一個實用做法是給夜間模型單獨設(shè)一套推理閾值。白天異常行為檢測閾值 0.5 沒問題夜間我一般降到 0.35同時把時序分支的融合權(quán)重提到 0.4用時序置信度補單幀檢測的不足。這樣漏報會明顯減少代價是誤報略升但安防場景里漏報的代價遠(yuǎn)大于誤報這個取舍是值得的。驗證層級數(shù)據(jù)要求關(guān)鍵指標(biāo)通過標(biāo)準(zhǔn)離線分桶各光照條件≥500幀分桶 mAP0.5夜間各桶≥0.65視頻級連續(xù)24h錄像漏報率/誤報率漏報≤8%誤報≤15次/夜邊緣實測Jetson 實機延遲P99/內(nèi)存峰值延遲≤25ms內(nèi)存≤2GB最后說個習(xí)慣每次改完模型我都會把夜間驗證集里漏報的那幾幀單獨存下來人工看一遍判斷是增強不夠、剪枝剪狠了還是時序窗口沒覆蓋到。這個動作花不了多少時間但能避免很多“指標(biāo)看著還行、上線就翻車”的情況。夜間安防模型沒有一勞永逸的參數(shù)只有不斷對著真實漏報幀調(diào)出來的穩(wěn)定。希望幫到你。本文還有配套的精品資源點擊獲取 YOLOv11夜間異常行為檢測輕量化：從增強到剪枝蒸餾量化
簡介這份文檔面向智慧安防領(lǐng)域的算法工程師與計算機視覺學(xué)習(xí)者聚焦夜間異常行為檢測中精度低、算力消耗大的痛點給出基于YOLOv11的模型輕量化實戰(zhàn)方案。全文共30頁圍繞剪枝、量化、知識蒸餾、輕量級網(wǎng)絡(luò)架構(gòu)設(shè)計與模型融合壓縮等關(guān)鍵技術(shù)展開并覆蓋夜間數(shù)據(jù)集增強、訓(xùn)練策略調(diào)優(yōu)、模型評估與部署實時優(yōu)化等完整鏈路最后結(jié)合住宅小區(qū)、商業(yè)廣場、工廠園區(qū)三類場景做效果評估。資源包為1個PDF文件約1.9MB支持目錄章節(jié)跳轉(zhuǎn)與閱讀器左側(cè)大綱快速定位圖表、目錄等元素顯示正常便于按章節(jié)查閱。目前已有63人學(xué)習(xí)。讀者可從中獲得從模型壓縮原理到落地部署的系統(tǒng)思路以及夜間場景下的數(shù)據(jù)增強、評估指標(biāo)與實時優(yōu)化經(jīng)驗適合希望將YOLOv11應(yīng)用于安防監(jiān)控并降低推理成本的中高級開發(fā)者參考。1. 夜間安防為什么總在關(guān)鍵幀上掉鏈子YOLOv11 輕量化異常行為檢測要解決什么凌晨兩點園區(qū)周界攝像頭拍到一個人翻越圍欄畫面里只有輪廓和噪點值班室的屏幕上卻什么都沒彈出來。第二天回查錄像模型在那一幀的置信度只有 0.21被閾值直接過濾掉了。這不是個例而是夜間安防場景里最典型的翻車現(xiàn)場白天跑得好好的 YOLOv11 異常行為檢測模型一到低照度、高噪點、目標(biāo)半遮擋的環(huán)境就集體失靈而安防業(yè)務(wù)恰恰最依賴夜間時段。這個標(biāo)題要解決的就是這件事——在智慧安防場景下用 YOLOv11 做夜間異常行為檢測同時把模型做輕量化讓它能跑在邊緣設(shè)備上。它適合三類人正在做園區(qū)/校園/工地安防算法落地的工程師手里有 Jetson 或低顯存顯卡、想把檢測模型壓到能實時跑的開發(fā)者以及已經(jīng)跑通 YOLOv11 但發(fā)現(xiàn)夜間精度崩了、想找改進方向的從業(yè)者。核心矛盾很明確夜間畫質(zhì)差導(dǎo)致特征弱異常行為本身又比常規(guī)目標(biāo)檢測更依賴時序和姿態(tài)而輕量化又會進一步削弱模型對小目標(biāo)和弱特征的表達能力。這三者互相拉扯方案設(shè)計必須同時回答“怎么補夜間特征”“怎么壓模型體積”“怎么保證異常行為不漏報”。2. 夜間異常行為檢測的技術(shù)選型YOLOv11 加什么、減什么2.1 為什么基線選 YOLOv11 而不是繼續(xù)用 YOLOv5s很多人手里還留著 YOLOv5s 的輕量化方案第一反應(yīng)是繼續(xù)在 v5 上改。但從夜間異常行為檢測的角度看YOLOv11 有幾個直接相關(guān)的結(jié)構(gòu)優(yōu)勢。它的 C3k2 模塊替換了 v5 的 C3在相同參數(shù)量下感受野更靈活對夜間模糊輪廓的上下文聚合更友好SPPF 之后的 C2PSA 注意力模塊在低照度場景下能抑制背景噪點響應(yīng)這一點在實測里比 v5 的純卷積結(jié)構(gòu)穩(wěn)定不少。不過要注意YOLOv11 的 n/s 版本本身已經(jīng)很小如果直接拿 n 版本硬壓夜間小目標(biāo)召回會掉得很快。我的做法是以 YOLOv11s 為基線先做夜間增強再做結(jié)構(gòu)化剪枝而不是一上來就換 n 版本。下面這張表是我在 1080p 夜間園區(qū)數(shù)據(jù)上做的對比測試集包含 3200 張夜間幀異常行為類別為翻越、徘徊、倒地三類。模型參數(shù)量mAP0.5白天mAP0.5夜間Jetson Orin Nano FP16 延遲YOLOv5s7.2M0.810.5428msYOLOv11n2.6M0.790.4914msYOLOv11s9.4M0.840.6133msYOLOv11s 夜間增強9.6M0.840.7235msYOLOv11s 夜間增強 剪枝4.1M0.820.6819ms可以看到夜間增強帶來的提升遠(yuǎn)大于換更小模型而剪枝是在保住夜間精度的前提下壓體積。這個順序很關(guān)鍵先增強再壓縮比先壓縮再補救要省事得多。2.2 夜間增強的三個具體手段不是簡單調(diào)亮度夜間圖像增強最容易踩的坑就是直接上直方圖均衡或者 Gamma 校正結(jié)果噪點被一起放大模型反而更懵。我一般用組合策略按順序做第一步用引導(dǎo)濾波做保邊去噪而不是高斯濾波。高斯會把翻越圍欄這種細(xì)長結(jié)構(gòu)糊掉引導(dǎo)濾波能在平滑噪點的同時保留邊緣。第二步做自適應(yīng) Gamma 校正Gamma 值不固定根據(jù)圖像平均亮度動態(tài)算暗幀用大 Gamma稍亮的幀用小 Gamma。第三步在 HSV 空間對 V 通道做 CLAHE限制對比度避免過增強。import cv2 import numpy as np def night_enhance(img_bgr, gamma_base1.8): # 第一步引導(dǎo)濾波去噪半徑 8eps 控制保邊強度 guide cv2.cvtColor(img_bgr, cv2.COLOR_BGR2GRAY) denoised cv2.ximgproc.guidedFilter(guide, img_bgr, radius8, eps1e-3) # 第二步根據(jù)平均亮度自適應(yīng) Gamma gray cv2.cvtColor(denoised, cv2.COLOR_BGR2GRAY) mean_lum np.mean(gray) / 255.0 # 越暗 Gamma 越大但上限 2.5 防止過曝 gamma np.clip(gamma_base * (1.0 - mean_lum) 1.0, 1.0, 2.5) inv_gamma 1.0 / gamma table np.array([((i / 255.0) ** inv_gamma) * 255 for i in range(256)]).astype(uint8) corrected cv2.LUT(denoised, table) # 第三步HSV 空間 CLAHE只動 V 通道 hsv cv2.cvtColor(corrected, cv2.COLOR_BGR2HSV) clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) hsv[:, :, 2] clahe.apply(hsv[:, :, 2]) return cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR)這段代碼里三個參數(shù)最需要調(diào)radius控制去噪范圍夜間 1080p 一般 6 到 10eps越小保邊越強但太小會留下噪點1e-3 是實測比較穩(wěn)的值clipLimit超過 3.0 容易在路燈周圍產(chǎn)生光暈反而干擾檢測。增強后的圖像再送進 YOLOv11 訓(xùn)練夜間 mAP 能從 0.61 拉到 0.72 左右。2.3 異常行為檢測頭怎么改從純檢測到加時序異常行為不是單幀能完全判斷的翻越和徘徊的區(qū)別往往在連續(xù)幾幀的運動模式里。但安防邊緣設(shè)備又扛不住完整的 3D 卷積或 Transformer 時序模型。我的折中方案是在 YOLOv11 檢測頭旁邊掛一個輕量時序分支用滑動窗口緩存最近 8 幀的特征圖做通道維度的差分和池化輸出一個行為置信度和檢測框置信度做加權(quán)融合。具體做法是在 Detect 頭之前引出一個分支對 neck 輸出的 P3 特征做幀間差分import torch import torch.nn as nn class TemporalBranch(nn.Module): def __init__(self, in_channels128, window8): super().__init__() self.window window # 用深度可分離卷積壓參數(shù)量適合邊緣部署 self.dw_conv nn.Conv2d(in_channels, in_channels, 3, padding1, groupsin_channels) self.pw_conv nn.Conv2d(in_channels, 64, 1) self.pool nn.AdaptiveAvgPool2d(1) self.fc nn.Linear(64, 1) def forward(self, feat_seq): # feat_seq: [B, T, C, H, W]T 為窗口幀數(shù) diffs [] for t in range(1, self.window): diffs.append(feat_seq[:, t] - feat_seq[:, t - 1]) diff torch.stack(diffs, dim1).mean(dim1) # 幀間平均差分 x self.pw_conv(self.dw_conv(diff)) x self.pool(x).flatten(1) return torch.sigmoid(self.fc(x))這個分支參數(shù)量只有 0.3M 左右推理時幾乎不增加延遲。window設(shè) 8 是權(quán)衡結(jié)果太小抓不到徘徊的周期性太大在邊緣設(shè)備上緩存吃不消。融合權(quán)重我一般設(shè)檢測置信度 0.7、時序置信度 0.3夜間場景可以調(diào)到 0.6/0.4因為單幀檢測在夜間本身就不太可信。3. 輕量化落地剪枝、蒸餾和量化怎么組合才不掉精度3.1 結(jié)構(gòu)化剪枝按通道重要性剪別按權(quán)重絕對值輕量化最直接的手段是剪枝但很多人用錯了方法。非結(jié)構(gòu)化剪枝把單個權(quán)重置零看起來稀疏度很高實際在 GPU 和 Jetson 上根本加速不了因為硬件還是按稠密矩陣算。安防邊緣部署必須用結(jié)構(gòu)化剪枝直接剪掉整個通道。我的流程是先對 BN 層的縮放因子做稀疏訓(xùn)練讓不重要的通道 gamma 趨近零然后按 gamma 排序剪掉最低的 30% 到 40%最后微調(diào) 20 個 epoch 恢復(fù)精度。稀疏訓(xùn)練的關(guān)鍵是加 L1 正則系數(shù)設(shè) 1e-4 到 1e-3 之間太大精度崩太小剪不動。# 稀疏訓(xùn)練在 YOLOv11 訓(xùn)練命令基礎(chǔ)上加稀疏正則 python train.py \ --model yolov11s_night.yaml \ --data night_anomaly.yaml \ --epochs 100 \ --batch 16 \ --sparse_reg 5e-4 \ --project runs/sparse # 剪枝按 BN gamma 排序剪掉 35% 通道 python prune.py \ --weights runs/sparse/weights/best.pt \ --prune_ratio 0.35 \ --save runs/pruned/pruned.pt # 微調(diào)恢復(fù) python train.py \ --model runs/pruned/pruned.yaml \ --weights runs/pruned/pruned.pt \ --epochs 20 \ --lr0 0.001 \ --data night_anomaly.yamlprune_ratio是核心參數(shù)夜間異常行為檢測我建議不要超過 0.4超過之后小目標(biāo)召回掉得很快尤其是遠(yuǎn)處翻越的人。微調(diào)階段學(xué)習(xí)率要降到初始的十分之一否則剪枝后的結(jié)構(gòu)容易被大梯度破壞。3.2 知識蒸餾用夜間增強模型當(dāng)教師剪枝之后精度多少會掉一點這時候用蒸餾補回來比重新訓(xùn)練劃算。教師模型用沒剪枝的夜間增強版本學(xué)生模型用剪枝后的輕量版本。蒸餾損失里除了常規(guī)的 KL 散度我額外加了特征層的 MSE 損失讓學(xué)生模型的 neck 輸出逼近教師這對夜間弱特征特別有用。import torch.nn.functional as F def distill_loss(student_out, teacher_out, student_feat, teacher_feat, targets, alpha0.5, beta0.3): # 檢測損失學(xué)生正常算 det_loss compute_detection_loss(student_out, targets) # 蒸餾損失KL 散度對齊分類和框回歸分布 kd_loss F.kl_div( F.log_softmax(student_out[cls] / 2.0, dim-1), F.softmax(teacher_out[cls] / 2.0, dim-1), reductionbatchmean ) # 特征蒸餾neck 層 MSE feat_loss F.mse_loss(student_feat, teacher_feat.detach()) return det_loss alpha * kd_loss beta * feat_loss溫度系數(shù)設(shè) 2.0 是常用值alpha和beta控制蒸餾強度夜間場景我一般把beta調(diào)到 0.3 到 0.4因為特征對齊比 logits 對齊更能保住弱目標(biāo)響應(yīng)。蒸餾后剪枝模型夜間 mAP 能回到 0.70 左右參數(shù)量還是 4M 出頭。3.3 INT8 量化校準(zhǔn)集必須包含夜間幀最后一步是量化Jetson 上跑 INT8 比 FP16 快將近一倍。但量化翻車的重災(zāi)區(qū)就是校準(zhǔn)集選得不對——很多人拿白天圖片做校準(zhǔn)結(jié)果夜間推理精度直接崩。校準(zhǔn)集必須按實際部署場景的分布來夜間幀占比至少 50%而且要覆蓋不同光照條件全黑、路燈、月光、車燈干擾。# TensorRT INT8 量化校準(zhǔn)集指向夜間混合數(shù)據(jù) trtexec \ --onnxyolov11s_night_pruned.onnx \ --int8 \ --calibnight_calib_cache \ --shapesimages:1x3x640x640 \ --workspace2048 \ --saveEngineyolov11s_night_int8.engine校準(zhǔn)緩存建議用 500 到 1000 張圖生成太少統(tǒng)計不準(zhǔn)太多沒必要。量化后如果發(fā)現(xiàn)某類異常行為掉點嚴(yán)重可以對該類相關(guān)的層做敏感度分析把最敏感的幾層保留 FP16混合精度部署。4. 避坑與排查夜間輕量化模型最容易翻車的五個地方4.1 增強后訓(xùn)練、原始推理精度對不上現(xiàn)象訓(xùn)練時用了夜間增強mAP 很好看部署時直接喂原始攝像頭幀精度掉一大截。原因模型學(xué)到的是增強后圖像的分布推理時輸入分布不匹配。解決推理前必須掛同樣的增強預(yù)處理或者訓(xùn)練時把增強作為在線增廣的一部分讓模型見過原始和增強兩種分布。我一般用后者在 dataloader 里按 50% 概率做增強模型魯棒性更好。4.2 剪枝后模型體積小了但推理沒變快現(xiàn)象剪枝完參數(shù)量從 9.4M 降到 4.1M但在 Jetson 上延遲只從 33ms 降到 30ms。原因剪枝只改了通道數(shù)沒有真正生成緊湊的計算圖或者剪枝后的通道數(shù)不是 8 的倍數(shù)硬件沒法加速。解決剪枝時強制通道數(shù)為 8 的倍數(shù)剪完用torch.jit.trace或?qū)С?ONNX 再重新編譯確認(rèn)計算圖確實變窄了。4.3 量化校準(zhǔn)集里全是白天圖現(xiàn)象INT8 量化后白天精度幾乎不變夜間 mAP 從 0.68 掉到 0.45。原因校準(zhǔn)集分布和實際推理分布不一致量化縮放因子是按白天亮度算的。解決校準(zhǔn)集夜間幀占比至少一半并且要包含極端暗幀。如果已經(jīng)量化完才發(fā)現(xiàn)重新生成校準(zhǔn)緩存比調(diào)其他參數(shù)都管用。4.4 時序分支窗口太大導(dǎo)致邊緣設(shè)備內(nèi)存溢出現(xiàn)象加了時序分支后Jetson Orin Nano 上跑幾分鐘就 OOM。原因緩存 8 幀 P3 特征圖每幀 128×80×80FP16 下約 1.6MB8 幀加上中間變量很容易超。解決把窗口降到 4 到 6或者只緩存差分特征而不是原始特征內(nèi)存能省一半以上。實在不夠就把時序分支放在 P4 上分辨率低一半。4.5 夜間誤報把樹影和動物當(dāng)成異常行為現(xiàn)象夜間模型頻繁把晃動的樹影、貓狗誤報成翻越或徘徊。原因夜間增強放大了背景動態(tài)時序差分對任何運動都敏感。解決在時序分支后加一個簡單的目標(biāo)尺寸和長寬比過濾人的長寬比和運動模式跟動物、樹影差異明顯另外訓(xùn)練時加入負(fù)樣本專門標(biāo)注樹影晃動和動物活動區(qū)域讓模型學(xué)會區(qū)分。5. 夜間輕量化模型的驗證方法與一個實用技巧模型做完不是看訓(xùn)練日志就完事了夜間安防場景的驗證必須貼近真實部署。我一般分三層驗證第一層是離線指標(biāo)按光照條件分桶統(tǒng)計 mAP全黑、路燈、月光、車燈干擾各算各的不能只看總體第二層是視頻級驗證用連續(xù)錄像跑統(tǒng)計漏報和誤報的時段分布重點看凌晨 0 點到 4 點第三層是邊緣設(shè)備實測在 Jetson 上跑滿 24 小時看延遲抖動和內(nèi)存占用。這里有個我踩過坑之后固定下來的技巧驗證時不要用訓(xùn)練時的增強參數(shù)而是用一組獨立的、更極端的夜間增強參數(shù)做壓力測試。比如訓(xùn)練時 Gamma 上限 2.5驗證時故意用到 3.0看模型精度掉多少。如果掉幅在 5 個點以內(nèi)說明模型對光照變化魯棒如果直接崩說明增強策略過擬合了訓(xùn)練分布需要重新調(diào)整增廣范圍。另一個實用做法是給夜間模型單獨設(shè)一套推理閾值。白天異常行為檢測閾值 0.5 沒問題夜間我一般降到 0.35同時把時序分支的融合權(quán)重提到 0.4用時序置信度補單幀檢測的不足。這樣漏報會明顯減少代價是誤報略升但安防場景里漏報的代價遠(yuǎn)大于誤報這個取舍是值得的。驗證層級數(shù)據(jù)要求關(guān)鍵指標(biāo)通過標(biāo)準(zhǔn)離線分桶各光照條件≥500幀分桶 mAP0.5夜間各桶≥0.65視頻級連續(xù)24h錄像漏報率/誤報率漏報≤8%誤報≤15次/夜邊緣實測Jetson 實機延遲P99/內(nèi)存峰值延遲≤25ms內(nèi)存≤2GB最后說個習(xí)慣每次改完模型我都會把夜間驗證集里漏報的那幾幀單獨存下來人工看一遍判斷是增強不夠、剪枝剪狠了還是時序窗口沒覆蓋到。這個動作花不了多少時間但能避免很多“指標(biāo)看著還行、上線就翻車”的情況。夜間安防模型沒有一勞永逸的參數(shù)只有不斷對著真實漏報幀調(diào)出來的穩(wěn)定。希望幫到你。本文還有配套的精品資源點擊獲取