簡(jiǎn)介基于深度學(xué)習(xí)的人流量檢測(cè)方法的論文參考資料適合畢業(yè)設(shè)計(jì)、課程設(shè)計(jì)及論文寫(xiě)作借鑒。內(nèi)容圍繞輕量級(jí)MobileNet-SSD模型展開(kāi)詳述了從自制數(shù)據(jù)集、模型訓(xùn)練到行人檢測(cè)與追蹤的完整流程并面向公園、文化廣場(chǎng)等行人移動(dòng)緩慢的特定場(chǎng)景提供了應(yīng)用方案整體邏輯緊密、專業(yè)嚴(yán)謹(jǐn)。資源包為1個(gè)docx文檔大小約224KB屬于純論文類學(xué)習(xí)資料便于閱讀和批注。目前已有81人學(xué)習(xí)下載。文中還包含模型35層結(jié)構(gòu)、深度可分離卷積層及SSD檢測(cè)層配置以及Ubuntu 16.04Caffe等環(huán)境下的訓(xùn)練細(xì)節(jié)可為類似人流量檢測(cè)項(xiàng)目提供具體的實(shí)現(xiàn)思路與參數(shù)參考但該資料定位為論文學(xué)習(xí)參考而非項(xiàng)目源碼建議讀者深入理解后獨(dú)立完成自己的設(shè)計(jì)與寫(xiě)作。1. 為什么人流量檢測(cè)要換輕量級(jí)網(wǎng)絡(luò)MobileNet-SSD 的選型邏輯與論文能給你的東西公園和文化廣場(chǎng)這類場(chǎng)景看著開(kāi)闊實(shí)際做視覺(jué)人流量檢測(cè)時(shí)很頭疼嬰兒車多、行人走得不快不慢遮擋頻繁再加上疫情特殊時(shí)期要實(shí)時(shí)統(tǒng)計(jì)密度、及時(shí)疏散傳統(tǒng)的 AlexNet、VGG 這類大模型在監(jiān)控端根本跑不動(dòng)。本論文給出的方案是 MobileNet-SSD——用深度可分離卷積把標(biāo)準(zhǔn)卷積核拆開(kāi)算比傳統(tǒng)卷積少 8 到 9 倍計(jì)算量模型小了、速度反而上去正好卡在移動(dòng)端或嵌入式芯片的算力邊界上。全文按專利格式寫(xiě)從數(shù)據(jù)集構(gòu)建、Caffe 訓(xùn)練到追蹤計(jì)數(shù)六個(gè)模塊一條線走通參數(shù)給得很具體輸入特征圖 300×100×3、基礎(chǔ)學(xué)習(xí)率 0.0005、訓(xùn)練 35000 次、跳幀數(shù) N30。不管是做畢設(shè)選型參考還是課程設(shè)計(jì)里需要一份能講清為什么選這個(gè)模型的寫(xiě)作范本這份材料都值得先讀一遍再動(dòng)手。2. 深度可分離卷積與 MobileNet-SSD 網(wǎng)絡(luò)結(jié)構(gòu)35 層怎么搭、6 個(gè)檢測(cè)層怎么選2.1 深度可分離卷積為什么能省計(jì)算先按通道算再用 1×1 點(diǎn)卷積融合MobileNet 系列的核心思路不是發(fā)明新網(wǎng)絡(luò)而是把標(biāo)準(zhǔn)卷積的計(jì)算過(guò)程拆成兩步。標(biāo)準(zhǔn)卷積核是 DK×DK 的同時(shí)處理輸入的所有通道假設(shè)輸入維度 M、輸出維度 N、特征圖尺寸 DF×DF一次標(biāo)準(zhǔn)卷積的計(jì)算量是DK * DK * M * N * DF * DF深度可分離卷積把這一步拆成深度卷積和點(diǎn)卷積兩步。深度卷積先按通道分別做 DK×DK 的空間卷積此時(shí)通道數(shù)不變計(jì)算量為 DK×DK×M×DF×DF隨后再用 1×1 卷積做通道間的線性組合計(jì)算量為 M×N×DF×DF?？傆?jì)算量DK * DK * M * DF * DF M * N * DF * DF當(dāng) DK3 時(shí)兩者比值約等于 1/8 到 1/9這就是論文里少 8 到 9 倍計(jì)算量的來(lái)歷。有個(gè)細(xì)節(jié)值得注意深度卷積這一步只操作單通道所以整個(gè)深度可分離卷積里約 95% 的計(jì)算量集中在 1×1 點(diǎn)卷積上。知道這一條調(diào)參時(shí)就能明白為什么加寬度乘數(shù)對(duì)速度的改善比改分辨率更直接。MobileNet 還給了兩個(gè)超參數(shù)做進(jìn)一步壓縮。寬度乘數(shù) α 作用在通道數(shù)上輸入通道變成 αM、輸出通道變成 αN分辨率乘數(shù) ρ 作用在特征圖上。兩個(gè)參數(shù)引入后的計(jì)算量公式論文里都有簡(jiǎn)單說(shuō)就是α 越小模型越細(xì)ρ 越小輸入圖越小實(shí)際部署時(shí)一般先固定一個(gè)只調(diào)另一個(gè)不然兩個(gè)參數(shù)一起動(dòng)很難判斷瓶頸在哪。2.2 35 層網(wǎng)絡(luò)逐層拆解Input 到 Conv13 是骨干Conv14 到 Conv17 是 SSD 加的預(yù)測(cè)層論文把 MobileNet-SSD 的結(jié)構(gòu)寫(xiě)得非常清楚總共有 35 層從 Conv0 到 Conv13 這部分與 MobileNet v1 骨干完全一致相當(dāng)于去掉了全局平均池化、全連接層和 Softmax然后接 8 個(gè)標(biāo)準(zhǔn)卷積層用于 SSD 檢測(cè)即 Conv14_1 到 Conv17_2。每一層輸出特征圖的尺寸和通道數(shù)論文里都列了層名輸出尺寸層類型Input300×100×3輸入層Conv0150×150×323×3 標(biāo)準(zhǔn)卷積Conv1150×150×64深度可分離卷積Conv2/375×75×128深度可分離卷積Conv4/538×38×256深度可分離卷積Conv6~Conv1119×19×512深度可分離卷積Conv12/1310×10×1024深度可分離卷積Conv14_1/14_210×10×256 / 5×5×5121×1 標(biāo)準(zhǔn)卷積Conv15_1/15_25×5×128 / 3×3×2561×1 標(biāo)準(zhǔn)卷積Conv16_1/16_23×3×128 / 2×2×2561×1 標(biāo)準(zhǔn)卷積Conv17_1/17_22×2×64 / 1×1×1281×1 標(biāo)準(zhǔn)卷積注意這里輸入的 300×100×3 不是常規(guī)的 300×300×3論文針對(duì)監(jiān)控畫(huà)面比例做了調(diào)整特征圖尺寸也不是整數(shù)倍的縮放寫(xiě)論文或復(fù)現(xiàn)時(shí)要按這個(gè)尺寸來(lái)設(shè)置輸入層不要想當(dāng)然改成正方形。每個(gè)深度可分離卷積層內(nèi)部包含一層深度卷積和一層點(diǎn)卷積嚴(yán)格說(shuō) 13 個(gè)深度可分離卷積層對(duì)應(yīng) 26 層計(jì)算加上首層標(biāo)準(zhǔn)卷積和末尾 8 個(gè)標(biāo)準(zhǔn)卷積總數(shù)對(duì)得上。SSD 檢測(cè)框架從 35 層中抽了 6 層做多尺度預(yù)測(cè)Conv1119×19×512、Conv1310×10×1024、Conv14_25×5×512、Conv15_23×3×256、Conv16_22×2×256、Conv17_21×1×128。選這 6 層的邏輯是淺層特征圖分辨率高、感受野小適合找小目標(biāo)深層特征圖分辨率低但語(yǔ)義信息強(qiáng)適合找大目標(biāo)。換句話說(shuō)嬰兒車和行人在畫(huà)面里的尺度差異大單靠某一層特征圖做檢測(cè)漏檢率會(huì)很高。2.3 論文寫(xiě)作里怎么把網(wǎng)絡(luò)結(jié)構(gòu)講清楚先參數(shù)后尺寸再落到檢測(cè)層如果你只是引用這篇論文的思路寫(xiě)自己的畢設(shè)結(jié)構(gòu)部分最值得抄的寫(xiě)法是先定義卷積核再說(shuō)明特征圖變化。原文在權(quán)利要求書(shū)里是按卷積核個(gè)數(shù)、卷積核大小、卷積核步數(shù)、權(quán)值初始化方法這個(gè)順序描述網(wǎng)絡(luò)文件的這也正是 Caffe 里 prototxt 的字段順序。下面這段是參考該論文結(jié)構(gòu)寫(xiě)網(wǎng)絡(luò)文件時(shí)的常見(jiàn)寫(xiě)法layer { name: conv0 type: Convolution bottom: data top: conv0 convolution_param { num_output: 32 kernel_size: 3 stride: 2 pad: 1 weight_filler { type: xavier } } }參數(shù)說(shuō)明num_output 對(duì)應(yīng)輸出通道數(shù)kernel_size 是卷積核邊長(zhǎng)stride 為步長(zhǎng)pad 是補(bǔ)零寬度。寫(xiě)論文時(shí)不要只貼這段配置要把 Conv0 的標(biāo)準(zhǔn)卷積、Conv1 到 Conv13 的深度可分離卷積和 Conv14 到 Conv17 的標(biāo)準(zhǔn)卷積三類層的差異用一段話講清楚再配合前面那張尺寸表評(píng)審不用看代碼也能復(fù)現(xiàn)網(wǎng)絡(luò)。我一般會(huì)建議把 6 個(gè)檢測(cè)層單獨(dú)畫(huà)一張小圖標(biāo)注每層的特征圖尺寸和 anchor 數(shù)量。SSD 的 default box 輸出空間是離散化的不同尺寸的 default box 需要分配到不同層圖上標(biāo)清楚哪一層負(fù)責(zé)多大目標(biāo)比大段文字描述直觀得多。3. 自建數(shù)據(jù)集與 Caffe 訓(xùn)練配置爬蟲(chóng)數(shù)據(jù) VOC person 的合并流程3.1 數(shù)據(jù)集怎么來(lái)爬蟲(chóng)抓嬰兒車VOC 拿 person再做標(biāo)簽一一映射論文里步驟 S1 寫(xiě)得很實(shí)在用網(wǎng)絡(luò)爬蟲(chóng)爬取大量嬰兒車數(shù)據(jù)集再結(jié)合 VOC 數(shù)據(jù)集中類別為 person 的數(shù)據(jù)合并制作自己的數(shù)據(jù)集同時(shí)建立數(shù)據(jù)與標(biāo)簽之間的一一映射。這個(gè)思路對(duì)畢設(shè)場(chǎng)景特別實(shí)用——VOC 的 person 類別有現(xiàn)成標(biāo)注嬰兒車是特殊場(chǎng)景目標(biāo)公開(kāi)數(shù)據(jù)集里很少只能自己爬自己標(biāo)。合并數(shù)據(jù)集時(shí)最容易被忽略的是標(biāo)簽文件格式的統(tǒng)一。VOC 的標(biāo)注是 XML 格式每張圖對(duì)應(yīng)一個(gè)同名 XML目標(biāo)類別、邊界框坐標(biāo)都寫(xiě)在里面爬蟲(chóng)抓來(lái)的圖要先人工篩選去掉重復(fù)和模糊的再用標(biāo)注工具生成同樣格式的 XML。論文強(qiáng)調(diào)數(shù)據(jù)與標(biāo)簽一一映射實(shí)際操作中我一般會(huì)在合并后跑一遍校驗(yàn)?zāi)_本檢查有沒(méi)有圖片缺失標(biāo)簽、標(biāo)簽里有沒(méi)有類別名寫(xiě)錯(cuò)的情況這類錯(cuò)誤在訓(xùn)練時(shí)表現(xiàn)成 loss 異常波動(dòng)排查起來(lái)很費(fèi)時(shí)間。3.2 trainval 90% 再取 90%兩級(jí)劃分的用意論文對(duì)數(shù)據(jù)劃分的描述值得細(xì)讀取整個(gè)數(shù)據(jù)集的 90% 作為 trainval 文件再取 trainval 的 90% 作為訓(xùn)練集剩下的 10% 作為驗(yàn)證集且訓(xùn)練集與驗(yàn)證集數(shù)據(jù)之間沒(méi)有重復(fù)。這個(gè)兩級(jí)劃分的好處是trainval 占全量的 90%訓(xùn)練集占 trainval 的 90%意味著訓(xùn)練集約占全量的 81%驗(yàn)證集約 9%還有一個(gè)測(cè)試集約 10% 留在外面做最終評(píng)估。這里有個(gè)容易理解錯(cuò)的地方——取整個(gè)數(shù)據(jù)集的 90% 作為 trainval 不代表訓(xùn)練只用 90%而是先把 10% 的測(cè)試數(shù)據(jù)隔離出來(lái)再在剩余的 90% 里切訓(xùn)練集和驗(yàn)證集。很多初學(xué)者直接把數(shù)據(jù)隨機(jī)按 8:1:1 切忽略了測(cè)試集必須全程不參與訓(xùn)練和驗(yàn)證集劃分這個(gè)原則。論文這種兩級(jí)切法在代碼里實(shí)現(xiàn)是這樣import os import random from shutil import copyfile # 假設(shè) images 目錄下是所有圖片annotations 是對(duì)應(yīng) XML all_files [f for f in os.listdir(images) if f.endswith(.jpg)] random.seed(42) random.shuffle(all_files) # 第一級(jí)劃分全量的 90% 用作 trainval10% 用作 test split_idx_1 int(len(all_files) * 0.9) trainval_files all_files[:split_idx_1] test_files all_files[split_idx_1:] # 第二級(jí)劃分trainval 的 90% 用作 train10% 用作 val split_idx_2 int(len(trainval_files) * 0.9) train_files trainval_files[:split_idx_2] val_files trainval_files[split_idx_2:] # 生成 trainval.txt / train.txt / val.txt / test.txt with open(trainval.txt, w) as f: for name in trainval_files: f.write(name.replace(.jpg, ) \n) # train/val/test 的 txt 文件寫(xiě)入方式相同不再重復(fù)邏輯說(shuō)明這里先對(duì)全部文件做一次 shuffle再按比例切分保證訓(xùn)練、驗(yàn)證、測(cè)試三個(gè)集合的數(shù)據(jù)分布一致。實(shí)際數(shù)據(jù)集如果類別不平衡比如嬰兒車樣本明顯少于行人建議在 shuffle 前先按類別做分層采樣避免某一折里全是行人沒(méi)有嬰兒車。參數(shù)說(shuō)明random.seed(42) 固定隨機(jī)種子保證每次運(yùn)行切分結(jié)果一致。split_idx_1 和 split_idx_2 是切分邊界調(diào)整比例時(shí)只需要改 0.9 這個(gè)系數(shù)。生成的 txt 文件每行是圖片文件名不帶擴(kuò)展名Caffe 的 ImageData 層和 VOC 檢測(cè)訓(xùn)練腳本都依賴這個(gè)格式。3.3 solver 參數(shù)與訓(xùn)練環(huán)境base_lr 0.0005、snapshot 1000、迭代 35000 次論文給出了一套完整的 Caffe 訓(xùn)練參數(shù)開(kāi)發(fā)環(huán)境是 Ubuntu 16.04 CUDA 8.0 CUDNN 6.0 OpenCV 3.1 Caffe訓(xùn)練迭代 35000 次。solver 文件核心參數(shù)如下net: MobileNet-SSD_train.prototxt test_iter: 200 test_interval: 1000 base_lr: 0.0005 momentum: 0.9 weight_decay: 0.0005 lr_policy: multistep gamma: 0.5 stepvalue: 20000 stepvalue: 30000 snapshot: 1000 snapshot_prefix: snapshot/mobilenet_ssd solver_mode: GPU參數(shù)說(shuō)明base_lr 設(shè)為 0.0005比常用 SSD 的默認(rèn)學(xué)習(xí)率低因?yàn)槭亲越ㄐ?shù)據(jù)集學(xué)習(xí)率太高容易震蕩。snapshot 設(shè)為 1000即每迭代 1000 步保存一次 caffemodel 和狀態(tài)文件訓(xùn)練中斷后可以從最近快照恢復(fù)。solver_mode 設(shè)為 GPU對(duì)應(yīng)論文里的訓(xùn)練方式。multistep 策略配合 gamma 0.5在 20000 步和 30000 步時(shí)學(xué)習(xí)率減半保證后期收斂穩(wěn)定。訓(xùn)練時(shí)我習(xí)慣把test_interval與snapshot保持一致這樣每次保存模型的同時(shí)就能拿到驗(yàn)證集上的精度指標(biāo)方便對(duì)照是精度提升還是過(guò)擬合。35000 次迭代跑完大概需要多長(zhǎng)時(shí)間取決于顯卡論文里的訓(xùn)練環(huán)境是 2019 年前后的主流配置現(xiàn)在用一張中端卡復(fù)現(xiàn)時(shí)間只會(huì)更短。訓(xùn)練集和驗(yàn)證集的用途在論文里也做了區(qū)分訓(xùn)練集用于訓(xùn)練模型以及模型權(quán)重驗(yàn)證集用于確定網(wǎng)絡(luò)結(jié)構(gòu)以及調(diào)整模型的超參數(shù)。這意味著驗(yàn)證集不是拿來(lái)看 loss 曲線的而是要真實(shí)地評(píng)估模型在未見(jiàn)數(shù)據(jù)上的泛化表現(xiàn)調(diào)參時(shí)以驗(yàn)證集 mAP 為準(zhǔn)而不是訓(xùn)練集 loss。4. 視頻輸入的檢測(cè)—追蹤流程跳幀閾值 30 與質(zhì)心跟蹤如何配合4.1 狀態(tài)機(jī) waiting/detecting/tracking 與視頻預(yù)處理論文把整個(gè)視頻處理流程抽象成一個(gè)三狀態(tài)狀態(tài)機(jī)初始狀態(tài)為 waiting系統(tǒng)等待對(duì)行人的檢測(cè)和跟蹤檢測(cè)時(shí)進(jìn)入 detecting調(diào)用 MobileNet-SSD 對(duì)當(dāng)前幀做目標(biāo)檢測(cè)檢測(cè)到目標(biāo)后切換為 tracking對(duì)行人進(jìn)行追蹤。這個(gè)設(shè)計(jì)的價(jià)值在于把檢測(cè)和追蹤解耦不會(huì)出現(xiàn)每一幀都在跑檢測(cè)這種計(jì)算浪費(fèi)。數(shù)據(jù)輸入模塊初始化時(shí)需要做四件事初始化視頻流、初始化視頻編寫(xiě)器、初始化框架尺寸、初始化存儲(chǔ)列表。支持 .MP4 和 .AVI 等預(yù)存視頻文件也支持直接用攝像頭獲取實(shí)時(shí)視頻流。數(shù)據(jù)預(yù)處理包括加載預(yù)訓(xùn)練模型、調(diào)整通道大小、將幀從 BGR 轉(zhuǎn)換到 RGB——這是 OpenCV 讀取圖像的默認(rèn) BGR 格式與 Caffe 模型訓(xùn)練時(shí) RGB 格式之間的必要轉(zhuǎn)換。同時(shí)把視頻幀的最大寬度設(shè)置為 500 像素畫(huà)面越小處理越快論文在 i5-7200 CPU、8GB 內(nèi)存的測(cè)試環(huán)境下就是這么跑起來(lái)的?；谏疃葘W(xué)習(xí)的視頻分析一般建議先在本地用小分辨率驗(yàn)證流程再逐步上調(diào)分辨率找精度和速度的平衡點(diǎn)。4.2 跳幀 N30為什么不用每幀都跑 SSDSSD 每幀做一次前向推理在 CPU 環(huán)境下很難達(dá)到實(shí)時(shí)。論文的解法是設(shè)置跳過(guò)幀參數(shù) N30每 30 幀才用 SSD 做一次完整檢測(cè)其余幀只做追蹤。這樣檢測(cè)和追蹤交替執(zhí)行畫(huà)面里行人的位置靠追蹤器來(lái)補(bǔ)充。在行人移動(dòng)速度慢的公園、文化廣場(chǎng)場(chǎng)景30 幀的間隔約等于 1 秒按 30fps 視頻算這個(gè)頻率足夠跟上慢速移動(dòng)的目標(biāo)。實(shí)現(xiàn)時(shí)狀態(tài)切換的邏輯可以直接參考論文描述frame_count 0 N 30 state waiting while True: ret, frame video.read() if not ret: break frame_count 1 # 達(dá)到跳過(guò)幀時(shí)運(yùn)行檢測(cè)器否則運(yùn)行追蹤器 if frame_count % N 0: detections detector.detect(frame) state detecting # 檢測(cè)結(jié)果傳入追蹤器做質(zhì)心關(guān)聯(lián) else: tracker.update(frame) state tracking邏輯說(shuō)明frame_count 對(duì)輸入視頻逐幀計(jì)數(shù)每 N 幀才調(diào)用一次 detector.detect()其余幀調(diào)用 tracker.update() 維護(hù)既有目標(biāo)的軌跡。第一次進(jìn)入循環(huán)時(shí)沒(méi)有初始化的追蹤目標(biāo)所以狀態(tài)從 waiting 開(kāi)始檢測(cè)到行人并注冊(cè)對(duì)象 ID 后才進(jìn)入 tracking。判斷是否達(dá)到跳過(guò)幀的目的就是加快跟蹤流程避免每幀都跑目標(biāo)檢測(cè)器。參數(shù)說(shuō)明N 的默認(rèn)值是 30實(shí)際使用中可以按行人速度調(diào)整——行人走得快就減小 N走得慢就增大 N。論文里沒(méi)有機(jī)械地寫(xiě)死而是說(shuō)根據(jù)實(shí)際情況跳過(guò) N 幀這個(gè)思路在工程上更合理。4.3 質(zhì)心跟蹤 dlib 追蹤新舊質(zhì)心歐氏距離怎么關(guān)聯(lián)目標(biāo)追蹤部分用了兩條線并行質(zhì)心跟蹤算法負(fù)責(zé)關(guān)聯(lián)檢測(cè)到的目標(biāo)框dlib 跟蹤器負(fù)責(zé)在幀間跟蹤目標(biāo)位置。質(zhì)心跟蹤的流程論文寫(xiě)得很細(xì)先從檢測(cè)模塊拿到邊界框坐標(biāo)計(jì)算邊界框中心作為質(zhì)心然后計(jì)算新質(zhì)心和現(xiàn)有質(zhì)心之間的歐幾里得距離。關(guān)聯(lián)策略是典型的貪心匹配每個(gè)新質(zhì)心選擇距離最近的現(xiàn)有質(zhì)心進(jìn)行關(guān)聯(lián)關(guān)聯(lián)成功后更新質(zhì)心位置如果新質(zhì)心沒(méi)有與之關(guān)聯(lián)的現(xiàn)有質(zhì)心就注冊(cè)一個(gè)新的對(duì)象 ID。這里有個(gè)關(guān)鍵細(xì)節(jié)需要注意——貪心匹配在目標(biāo)交叉、遮擋時(shí)容易 ID Switch兩個(gè)目標(biāo)靠近時(shí)分配錯(cuò)誤 ID論文的做法是用 dlib 跟蹤器的預(yù)測(cè)來(lái)彌補(bǔ)dlib 將目標(biāo)邊界框在前一幀的的先驗(yàn)位置與當(dāng)前幀獲得的數(shù)據(jù)組合推斷目標(biāo)新位置使跟蹤框即使在檢測(cè)間斷期也能跟上目標(biāo)。dlib 位姿估計(jì)在這里不是用來(lái)畫(huà)關(guān)鍵點(diǎn)的而是用來(lái)提供更魯棒的幀間目標(biāo)位置。我在實(shí)際部署中會(huì)把 dlib 跟蹤器的輸出與質(zhì)心計(jì)算的輸入做一次融合判斷如果兩者偏差過(guò)大比如超過(guò)邊界框?qū)挾鹊?30%優(yōu)先信任檢測(cè)結(jié)果而不是跟蹤結(jié)果這能顯著減少跟丟后的錯(cuò)誤關(guān)聯(lián)。4.4 進(jìn)出計(jì)數(shù)畫(huà)一條基準(zhǔn)線判斷移動(dòng)方向結(jié)果輸出模塊在畫(huà)面上繪制一條水平線作為計(jì)數(shù)基準(zhǔn)。行人穿過(guò)這條線時(shí)根據(jù)移動(dòng)方向分別累加進(jìn)或出的計(jì)數(shù)器。這里的核心邏輯是通過(guò)質(zhì)心跟蹤算法已經(jīng)將對(duì)象 ID 與對(duì)象位置關(guān)聯(lián)后續(xù)只需判斷對(duì)象質(zhì)心在相鄰幀間相對(duì)基準(zhǔn)線的位置變化。論文用 Up 和 Down 兩個(gè)數(shù)值表示不同方向的人流量并注明這是攝像頭俯視角度下的定義目標(biāo)向畫(huà)面上方移動(dòng)記為 Down向畫(huà)面下方移動(dòng)記為 Up。具體的計(jì)數(shù)規(guī)則是上一幀質(zhì)心在基準(zhǔn)線上方、當(dāng)前幀質(zhì)心在基準(zhǔn)線下方則屬于進(jìn)入反之屬于離開(kāi)。這樣一套邏輯在人流量密集時(shí)不那么準(zhǔn)但在論文設(shè)定的公園、廣場(chǎng)這類空曠場(chǎng)景下足夠用。5. 復(fù)現(xiàn)避坑Caffe 環(huán)境、弱檢測(cè)過(guò)濾、跳幀參數(shù)這三處最翻車5.1 現(xiàn)象Caffe 編譯通過(guò)但訓(xùn)練到一半報(bào) Check failed: datum_channels 0原因論文用的是 Ubuntu 16.04 CUDA 8.0 CUDNN 6.0 Caffe 的組合這個(gè)版本組合里 OpenCV 3.1 的 cv::imread 返回的三通道順序是 BGR而 Caffe 的 ImageData 層默認(rèn)按 RGB 讀圖數(shù)據(jù)預(yù)處理部分如果沒(méi)做 BGR 到 RGB 轉(zhuǎn)換讀進(jìn)來(lái)的通道數(shù)不會(huì)報(bào)錯(cuò)但會(huì)在訓(xùn)練時(shí)出現(xiàn) loss 不下降甚至直接崩掉。解決在數(shù)據(jù)輸入層之前統(tǒng)一加一次通道轉(zhuǎn)換或者直接修改 Caffe 源碼里 data layer 的 read 邏輯。論文在步驟 S3 里明確寫(xiě)了預(yù)處理包含將幀從 BGR 到 RGB 轉(zhuǎn)換這個(gè)轉(zhuǎn)換不能省。換用新版 Caffe 分支時(shí)還要注意 CUDNN 版本匹配CUDNN 6.0 和完 7.0 的接口不兼容編譯報(bào)錯(cuò)的概率很高。5.2 現(xiàn)象檢測(cè)結(jié)果里全是人嬰兒車基本沒(méi)檢出原因數(shù)據(jù)集融合時(shí)比例失衡。論文要求爬取嬰兒車數(shù)據(jù)再結(jié)合 VOC person 數(shù)據(jù)但沒(méi)有規(guī)定數(shù)量比例。如果 VOC person 的數(shù)據(jù)量遠(yuǎn)大于爬取的嬰兒車樣本模型訓(xùn)練時(shí)會(huì)偏向多數(shù)類SSD 的 default box 匹配策略對(duì)少樣本類別的召回率會(huì)明顯下降。解決合并數(shù)據(jù)集時(shí)做類別均衡嬰兒車樣本不足時(shí)用數(shù)據(jù)增強(qiáng)來(lái)補(bǔ)——水平翻轉(zhuǎn)、亮度擾動(dòng)、隨機(jī)裁剪都有效。我一般會(huì)把嬰兒車主目錄下的圖片復(fù)制一份做增強(qiáng)后放進(jìn)訓(xùn)練集保證兩類樣本比例不低于 1:3。訓(xùn)練時(shí)也留意一下 log 里各類別的 AP 值如果嬰兒車 AP 明顯低于 person優(yōu)先補(bǔ)數(shù)據(jù)而不是調(diào)網(wǎng)絡(luò)結(jié)構(gòu)。5.3 現(xiàn)象計(jì)數(shù)結(jié)果在行人交叉時(shí)出現(xiàn)來(lái)回跳變?cè)蛱鴰瑓?shù) N 設(shè)置偏大目標(biāo)在兩次檢測(cè)之間移動(dòng)距離超過(guò)質(zhì)心關(guān)聯(lián)的容差范圍舊質(zhì)心和新的檢測(cè)質(zhì)心匹配不上被注冊(cè)成新 ID行人交叉時(shí)質(zhì)心距離最近的原則會(huì)錯(cuò)誤地把 A 的軌跡接到 B 上導(dǎo)致計(jì)數(shù)重復(fù)。解決把 N 從 30 調(diào)小或者按畫(huà)面中行人最大移動(dòng)速度估算 N 上限——行人在兩幀之間的位移不應(yīng)超過(guò)其邊界框?qū)挾鹊?1/3。更穩(wěn)妥的做法是給質(zhì)心距離加一個(gè)上限閾值歐氏距離超過(guò)閾值的直接視為新目標(biāo)而不是強(qiáng)行關(guān)聯(lián)。閾值可以設(shè)為行人平均高度的 0.8 倍這個(gè)值在固定攝像頭場(chǎng)景下變化不大。5.4 現(xiàn)象用 CPU 跑視頻流時(shí)畫(huà)面卡頓檢測(cè)一次要好幾秒原因論文測(cè)試環(huán)境是 i5-7200 8GB 內(nèi)存這個(gè)配置在推理 MobileNet-SSD 時(shí)只能保證流程能跑通距離實(shí)時(shí)還有距離。如果直接把輸入分辨率從 500 像素提高到原始 1080p速度會(huì)成倍下降。解決堅(jiān)持把幀最大寬度限制在 500 像素這是論文明確給的預(yù)處理參數(shù)。如果希望更流暢可以進(jìn)一步把輸入高度也壓縮或者把 N 從 30 提高到 40前提是行人速度足夠慢。注意檢測(cè)置信度閾值不宜設(shè)得太低論文要求通過(guò)要求置信度最低限度來(lái)過(guò)濾掉弱檢測(cè)這個(gè)閾值不僅影響精度也影響追蹤輸入的質(zhì)量——無(wú)效檢測(cè)框多了質(zhì)心關(guān)聯(lián)會(huì)變得混亂。5.5 現(xiàn)象用訓(xùn)練好的模型檢測(cè)視頻時(shí)命中的邊界框位置偏移明顯原因訓(xùn)練時(shí)輸入尺寸是 300×100×3而部署時(shí)視頻幀 resize 的寬高比例如果不一致圖像被拉伸變形邊界框坐標(biāo)是在變形后的圖上算出來(lái)的映射回原始分辨率自然偏移。解決把視頻幀 resize 成與訓(xùn)練輸入一致的寬高比而不是簡(jiǎn)單地設(shè)置最大寬度 500。論文里設(shè)置最大寬度為 500 像素應(yīng)該理解為在這個(gè)寬度限制下保持寬高比縮放然后再 crop 或 pad 到 300×100 的輸入尺寸。保存檢測(cè)結(jié)果時(shí)把 bounding box 坐標(biāo)按縮放比例和 crop 偏移量反向換算回原圖坐標(biāo)這樣疊加顯示才準(zhǔn)確。6. 把論文方法做成你的畢設(shè)最終驗(yàn)證步驟與計(jì)數(shù)可視化技巧論文的驗(yàn)證方法值得直接照搬準(zhǔn)備至少一段包含行人進(jìn)入監(jiān)控區(qū)域—畫(huà)面中無(wú)行人—行人離開(kāi)區(qū)域—出現(xiàn)嬰兒車四個(gè)片段的測(cè)試視頻分別驗(yàn)證 detecting、waiting、tracking 三種狀態(tài)和嬰兒車檢測(cè)能力。我自己做這類項(xiàng)目時(shí)會(huì)額外輸出一份帶時(shí)間戳的日志記錄每一幀的狀態(tài)切換和目標(biāo) ID這樣論文里可以貼兩張圖一張是畫(huà)了基準(zhǔn)線和進(jìn)出計(jì)數(shù)的監(jiān)控截圖另一張是狀態(tài)變化的時(shí)間線兩張圖就能講完整套工作流程。計(jì)數(shù)可視化有個(gè)小技巧不要只在畫(huà)面底部放一個(gè)累計(jì)數(shù)字而是把 Up 和 Down 分開(kāi)顯示并在行人穿過(guò)基準(zhǔn)線瞬間在目標(biāo)框上畫(huà)一個(gè)短暫的閃爍標(biāo)記。論文的測(cè)試界面里 Up/Down 兩個(gè)數(shù)值就是這條線的進(jìn)出結(jié)果顯示在畫(huà)面上方便實(shí)時(shí)確認(rèn)也方便事后和日志對(duì)照排查計(jì)數(shù)問(wèn)題。如果需要在論文里展示檢測(cè)效果截圖時(shí)保持?jǐn)z像頭視角的一致性行人框和嬰兒車框用不同顏色區(qū)分圖注里寫(xiě)清楚是哪一幀、什么狀態(tài)。還要做一組消融對(duì)比才能把輕量級(jí)這個(gè)賣(mài)點(diǎn)寫(xiě)扎實(shí)分別記錄 MobileNet-SSD 和標(biāo)準(zhǔn) SSDVGG 骨干在同一段視頻上的單幀推理耗時(shí)、模型文件大小、檢測(cè)精度。論文里強(qiáng)調(diào) MobileNet-SSD 在保持性能的前提下降低模型大小、提升速度這組數(shù)據(jù)就是你畢設(shè)里的核心實(shí)驗(yàn)表。數(shù)據(jù)不要求多好看真實(shí)跑出來(lái)就行重點(diǎn)是明確標(biāo)注測(cè)試環(huán)境——CPU 型號(hào)、內(nèi)存大小、輸入分辨率、跳幀數(shù)這些論文里全是寫(xiě)明了的你的實(shí)驗(yàn)部分也應(yīng)該同樣透明?；叵肫鹞业谝淮伟催@篇專利的結(jié)構(gòu)復(fù)現(xiàn)整個(gè)流程時(shí)最深的教訓(xùn)是低估了數(shù)據(jù)處理和狀態(tài)機(jī)這兩個(gè)非深度學(xué)習(xí)環(huán)節(jié)的工作量。那時(shí)候我急著調(diào)網(wǎng)絡(luò)參數(shù)結(jié)果訓(xùn)練出的模型檢測(cè)沒(méi)問(wèn)題但追蹤模塊因?yàn)橘|(zhì)心的歐氏距離匹配沒(méi)有加閾值目標(biāo)交叉時(shí) ID 亂跳進(jìn)出一團(tuán)亂賬。從那以后我每次跑這種人流量檢測(cè)項(xiàng)目都強(qiáng)制自己在寫(xiě)檢測(cè)代碼前先把狀態(tài)機(jī)流轉(zhuǎn)圖和質(zhì)心關(guān)聯(lián)的判定條件畫(huà)清楚一遍遍核對(duì)跳幀后的狀態(tài)遷移。這篇論文最值錢(qián)的地方其實(shí)不在于 MobileNet-SSD 本身——那是公開(kāi)的結(jié)構(gòu)——而在于它把視頻輸入、檢測(cè)、追蹤、計(jì)數(shù)這條完整鏈路的設(shè)計(jì)取舍都擺了出來(lái)跳幀 30 是取舍基準(zhǔn)線計(jì)數(shù)是取舍置信度過(guò)濾是取舍這些取舍思路在別的高精度論文里往往是藏起來(lái)的。希望這份拆解能幫你在做畢設(shè)或課程設(shè)計(jì)時(shí)少走幾步彎路。本文還有配套的精品資源點(diǎn)擊獲取