搞智能駕駛視覺(jué)感知的人對(duì)這樣的場(chǎng)景應(yīng)該不陌生模型明明框到了前方的車(chē)但框在連續(xù)幾幀里左右跳類(lèi)別一會(huì)兒是轎車(chē)一會(huì)兒是貨車(chē)框的中心位置漂移得離譜。你要是敢把這個(gè)結(jié)果直接丟給AEB或者ACC去用車(chē)在高速上能給你來(lái)一腳莫名其妙的剎車(chē)。模型輸出的是“框”是單幀的、帶噪聲的、彼此獨(dú)立的“檢測(cè)假設(shè)”而下游功能要的是“目標(biāo)”——是連續(xù)、穩(wěn)定、帶著運(yùn)動(dòng)狀態(tài)和置信度評(píng)價(jià)的對(duì)象。這中間缺的那一大塊就是視覺(jué)后處理。這篇是視覺(jué)障礙物后處理系列的第五篇聊的主題是視覺(jué)后處理與輔助駕駛功能。前面幾篇分別講了檢測(cè)輸入、前后處理鏈路、以及障礙物基本信息處理這篇更側(cè)重一個(gè)層面后處理好的障礙物目標(biāo)到底怎么跟FCW、AEB、ACC這些輔助駕駛功能銜接后處理結(jié)果的質(zhì)量會(huì)怎么影響功能表現(xiàn)以及實(shí)操過(guò)程中那些文檔里不會(huì)告訴你的坑。適合做感知后處理、融合、功能算法或者系統(tǒng)集成的人參考也適合想搞清楚“感知和功能之間到底發(fā)生了什么”的入門(mén)者。1. 先弄清楚后處理在整條鏈路里到底要干什么1.1 從“框”到“目標(biāo)”后處理解決的不是檢測(cè)而是信任問(wèn)題很多剛接觸這個(gè)領(lǐng)域的人覺(jué)得后處理不就是把檢測(cè)結(jié)果的置信度過(guò)濾一下、把重疊框去掉嗎如果只做這兩件事那叫“檢測(cè)結(jié)果清理”不叫后處理。真正的視覺(jué)后處理任務(wù)是把單幀的檢測(cè)假設(shè)變成時(shí)間上連續(xù)、物理上可信、語(yǔ)義上穩(wěn)定的目標(biāo)級(jí)輸出。換句話(huà)說(shuō)它解決的是“信任”問(wèn)題——讓下游功能愿意相信這個(gè)目標(biāo)存在、位置可信、狀態(tài)可預(yù)測(cè)。你看檢測(cè)模型的輸出格式就知道了每幀給出一堆結(jié)構(gòu)化數(shù)據(jù)包含類(lèi)別標(biāo)簽、框坐標(biāo)、置信度分?jǐn)?shù)。這些數(shù)據(jù)之間沒(méi)有任何關(guān)聯(lián)前一幀的框和后一幀的框誰(shuí)是誰(shuí)、哪里去了模型不關(guān)心。而后處理恰恰要解決這個(gè)問(wèn)題幀與幀之間的目標(biāo)如何關(guān)聯(lián)目標(biāo)被遮擋了怎么辦目標(biāo)的速度和加速度怎么估算目標(biāo)類(lèi)別閃變了怎么平滑這些如果不處理ACC跟車(chē)時(shí)前方車(chē)輛速度稍微變一下感知速度就跳一下跟車(chē)就會(huì)一沖一沖的坐在車(chē)?yán)锏娜朔址昼姇炣?chē)。所以整體鏈路是這樣的檢測(cè)模型感知→ 障礙物后處理目標(biāo)化→ 決策規(guī)劃功能決策→ 執(zhí)行器控制。后處理是感知的“收尾者”也是功能的“接口者”。它的質(zhì)量好不好用戶(hù)體感最直觀(guān)的兩個(gè)指標(biāo)就是誤報(bào)率和漏報(bào)率。誤報(bào)率高AEB天天制造驚險(xiǎn)瞬間漏報(bào)率高FCW該響不響功能就成了擺設(shè)。1.2 為什么模型輸出不能直接進(jìn)功能一個(gè)例子看清楚我舉個(gè)特別典型的例子。某次我調(diào)一個(gè)前向的FCW功能最初直接把YOLO系檢測(cè)器的輸出拿來(lái)計(jì)算TTC碰撞時(shí)間。正常跟車(chē)時(shí)前方目標(biāo)相對(duì)速度大約20km/h相對(duì)距離30米TTC應(yīng)該穩(wěn)定在5秒左右。但由于檢測(cè)框的寬度抖動(dòng)比較厲害目標(biāo)在圖像上的尺寸一會(huì)兒大一會(huì)兒小換算出的相對(duì)距離就是33米、28米、35米這樣來(lái)回波動(dòng)TTC也跟著從4秒跳到7秒FCW的觸發(fā)邏輯被搞得疲于奔命該報(bào)警的時(shí)候沒(méi)報(bào)不該報(bào)警的時(shí)候響個(gè)不停。檢測(cè)框抖動(dòng)是必然的神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)邊緣的回歸有噪聲光照變化、目標(biāo)部分遮擋、車(chē)輛顛簸都會(huì)放大這種噪聲。而后處理的一個(gè)重要工作就是對(duì)這些有噪聲的輸入做時(shí)間和空間上的濾波讓輸出的目標(biāo)位置、尺寸、速度有“慣性感”。這不是簡(jiǎn)單做一下平均而是需要建立目標(biāo)狀態(tài)估計(jì)模型用歷史信息和當(dāng)前觀(guān)測(cè)融合還得考慮目標(biāo)的運(yùn)動(dòng)模型是勻速還是勻加速、傳感器的觀(guān)測(cè)噪聲有多大。這些都是后處理的核心內(nèi)容。2. 視覺(jué)后處理的核心細(xì)節(jié)從框到軌跡的關(guān)鍵技術(shù)2.1 目標(biāo)關(guān)聯(lián)怎么判斷這兩幀的框是同一個(gè)人后處理的第一步也是最基礎(chǔ)的一步是幀間目標(biāo)關(guān)聯(lián)。上一幀檢測(cè)到前方第1輛車(chē)、第2輛車(chē)這一幀又檢測(cè)到一輛車(chē)你得知道這一幀的這輛車(chē)是不是上一幀的1號(hào)車(chē)這個(gè)問(wèn)題解決不好后面全是空中樓閣。常用的關(guān)聯(lián)方法有兩大類(lèi)一類(lèi)是基于位置重疊的比如IoU交并比一類(lèi)是基于特征相似度的比如外觀(guān)特征、尺寸特征。但在純視覺(jué)后處理里最主流、性?xún)r(jià)比最高的做法是“預(yù)測(cè)框與檢測(cè)框的IoU匹配”。你先用上一幀目標(biāo)的位置和速度預(yù)測(cè)出這一幀它大概在哪然后用預(yù)測(cè)框和一幀檢測(cè)框算IoU如果IoU大于某個(gè)閾值就可以認(rèn)為是同一個(gè)目標(biāo)。實(shí)際操作中我用的是匈牙利算法來(lái)做全局最優(yōu)匹配。先構(gòu)建一個(gè)代價(jià)矩陣矩陣元素是預(yù)測(cè)框和檢測(cè)框的IoU或距離的負(fù)值然后通過(guò)匈牙利算法找到整體代價(jià)最小的匹配方案。核心經(jīng)驗(yàn)是IoU閾值的選擇——我一般設(shè)0.30.5之間。閾值太低比如0.2容易出現(xiàn)兩個(gè)不同目標(biāo)錯(cuò)配在一起閾值太高比如0.7目標(biāo)稍微移動(dòng)快一點(diǎn)就斷開(kāi)連接、重新分配ID。低速城區(qū)場(chǎng)景可以設(shè)高一些高速場(chǎng)景建議設(shè)低一些因?yàn)楦咚傧孪嗤瑫r(shí)間間隔內(nèi)目標(biāo)的位移更大幀間重疊率天然偏小。2.2 軌跡生命周期管理目標(biāo)不是一出現(xiàn)就是“真”的目標(biāo)發(fā)出來(lái)一個(gè)ID不是馬上就推給下游使用的。因?yàn)闄z測(cè)模型偶爾會(huì)對(duì)背景誤檢比如路牌、樹(shù)影、橋上橫梁都可能被誤檢為障礙物。如果誤檢也被當(dāng)成穩(wěn)定目標(biāo)FCW會(huì)對(duì)天降橫梁瘋狂報(bào)警。因此我會(huì)給每條軌跡定義幾個(gè)生命周期狀態(tài)未確認(rèn)候選、已確認(rèn)、丟失中、已刪除。一個(gè)新目標(biāo)進(jìn)入系統(tǒng)時(shí)先掛一個(gè)候選軌跡連續(xù)幾幀都能匹配到檢測(cè)框才升級(jí)為已確認(rèn)軌跡并輸出給下游功能。反過(guò)來(lái)已確認(rèn)目標(biāo)連續(xù)多幀匹配不上比如被前車(chē)遮擋軌跡進(jìn)入丟失狀態(tài)在丟失狀態(tài)下目標(biāo)位置繼續(xù)用運(yùn)動(dòng)模型推測(cè)但置信度會(huì)隨時(shí)間衰減。連續(xù)丟失時(shí)間超過(guò)閾值軌跡直接刪除ID不再?gòu)?fù)用。參數(shù)怎么定我自己的經(jīng)驗(yàn)是確認(rèn)幀數(shù)設(shè)3~5幀丟失幀數(shù)設(shè)30~50幀。確認(rèn)幀數(shù)設(shè)太短誤檢容易混進(jìn)來(lái)設(shè)太長(zhǎng)真實(shí)目標(biāo)剛出現(xiàn)在視野邊緣時(shí)功能層遲遲拿不到確認(rèn)結(jié)果等都確認(rèn)完目標(biāo)已經(jīng)離很近了留給系統(tǒng)的反應(yīng)時(shí)間變短。丟失幀數(shù)的設(shè)置要考慮目標(biāo)遮擋場(chǎng)景。高速上如果前車(chē)被旁邊大車(chē)擋住通常只會(huì)遮擋一兩秒30~50幀假設(shè)25~30fps足夠撐過(guò)遮擋期目標(biāo)ID不會(huì)丟但遮擋時(shí)間再長(zhǎng)軌跡預(yù)測(cè)的置信度已經(jīng)很低繼續(xù)跟下去反而可能導(dǎo)致目標(biāo)位置漂移很遠(yuǎn)的假軌跡這時(shí)候刪除軌跡反而干凈。2.3 目標(biāo)運(yùn)動(dòng)狀態(tài)估計(jì)卡爾曼濾波和它的工程落地輔助駕駛功能里目標(biāo)的速度、加速度是核心輸入。ACC要知道前車(chē)是加速還是減速AEB要知道碰撞時(shí)間還有多少FCW要判斷危險(xiǎn)等級(jí)。那么目標(biāo)速度怎么來(lái)最樸素的方法是相鄰兩幀位置差除以時(shí)間差但這樣算出來(lái)的速度噪聲非常大你根本沒(méi)法用。所以工程上普遍用卡爾曼濾波做運(yùn)動(dòng)狀態(tài)估計(jì)。這里分享一個(gè)基礎(chǔ)的勻速模型CV模型實(shí)現(xiàn)思路。目標(biāo)狀態(tài)定義為 x [pos_x, pos_y, vel_x, vel_y]觀(guān)測(cè)是檢測(cè)輸出的目標(biāo)中心位置 [pos_x, pos_y]。每幀做兩步操作先通過(guò)運(yùn)動(dòng)模型預(yù)測(cè)目標(biāo)狀態(tài)預(yù)測(cè)步再用當(dāng)前幀檢測(cè)結(jié)果對(duì)預(yù)測(cè)進(jìn)行修正更新步。核心要調(diào)的兩個(gè)參數(shù)是過(guò)程噪聲協(xié)方差Q和觀(guān)測(cè)噪聲協(xié)方差R。Q大表示更信任觀(guān)測(cè)、響應(yīng)快但噪聲大Q小表示更平滑但滯后明顯。我調(diào)車(chē)時(shí)的經(jīng)驗(yàn)是初始先給Q設(shè)一個(gè)相對(duì)偏小的值讓速度曲線(xiàn)平滑再根據(jù)實(shí)際跟車(chē)體感逐步調(diào)整。如果發(fā)現(xiàn)目標(biāo)速度響應(yīng)太慢前車(chē)剎車(chē)了感知速度還在慢慢降就適當(dāng)增大Q如果速度曲線(xiàn)毛刺多就增大R?？柭鼮V波在工程上的一個(gè)復(fù)雜點(diǎn)是目標(biāo)初始化和終止條件要做處理。第一幀出現(xiàn)的目標(biāo)沒(méi)有歷史速度需要用連續(xù)兩幀的位置差來(lái)初始化速度但這兩幀檢測(cè)噪聲會(huì)讓初始速度偏差很大。我的做法是限制初始速度的范圍比如相機(jī)感知的目標(biāo)速度不能超過(guò)物理極限比如200km/h超過(guò)就置為邊界值再用后續(xù)幀的觀(guān)測(cè)逐步修正。2.4 類(lèi)別與置信度的時(shí)序平滑讓車(chē)不再“變性”檢測(cè)模型對(duì)目標(biāo)類(lèi)別的判斷在單幀上會(huì)存在抖動(dòng)。同一個(gè)目標(biāo)這一幀輸出是Car下一幀輸出是Truck再下一幀又是Car。如果你直接把類(lèi)別變化傳給下游功能層會(huì)非常困惑——Truck和Car的動(dòng)力學(xué)模型、剎車(chē)能力、危險(xiǎn)程度完全不一樣。我做類(lèi)別平滑的方法很簡(jiǎn)單給每條軌跡維護(hù)一個(gè)類(lèi)別投票器。每幀匹配上檢測(cè)框時(shí)把檢測(cè)類(lèi)別的得分加進(jìn)去最后輸出得分最高的類(lèi)別且只有得分超過(guò)一定比例才允許類(lèi)別切換。一個(gè)比較保守的策略是新類(lèi)別連續(xù)N幀比如5幀都占優(yōu)勢(shì)才切換類(lèi)別否則保持原類(lèi)別輸出。這能有效過(guò)濾掉單幀的閃爍。代價(jià)是真實(shí)類(lèi)別變化時(shí)比如拖掛車(chē)切換會(huì)有幾個(gè)幀的延遲但這對(duì)功能層面通常是可接受的。置信度的處理也類(lèi)似。模型輸出的置信度分?jǐn)?shù)在不做處理時(shí)抖動(dòng)很大尤其夜間、逆光、雨天場(chǎng)景。我習(xí)慣對(duì)置信度做時(shí)間維度的加權(quán)平均當(dāng)前幀置信度占60%70%歷史置信度占30%40%。這樣單個(gè)低置信度的突變幀不會(huì)導(dǎo)致目標(biāo)被直接刪除也不會(huì)讓一個(gè)高置信度的偶然誤檢瞬間升級(jí)成穩(wěn)定目標(biāo)。置信度閾值的選擇則需要分場(chǎng)景城區(qū)場(chǎng)景我通常把初始閾值設(shè)0.4左右郊區(qū)高速設(shè)0.5因?yàn)楦咚偕险`檢代價(jià)更高寧可多漏一些也不能亂報(bào)。3. 實(shí)操后處理管線(xiàn)實(shí)現(xiàn)與輔助駕駛功能對(duì)接3.1 一個(gè)可復(fù)現(xiàn)的視覺(jué)后處理管線(xiàn)架構(gòu)理清核心點(diǎn)之后我直接給一套最常見(jiàn)的視覺(jué)后處理管線(xiàn)架構(gòu)。輸入是檢測(cè)模型輸出的檢測(cè)框列表輸出是帶有ID、類(lèi)別、位置、速度、置信度等屬性的目標(biāo)列表。管線(xiàn)內(nèi)部通常分四個(gè)模塊預(yù)處理與坐標(biāo)轉(zhuǎn)換、目標(biāo)關(guān)聯(lián)與匹配、軌跡管理與狀態(tài)估計(jì)、輸出與接口適配。預(yù)處理模塊負(fù)責(zé)把檢測(cè)框從像素坐標(biāo)換到相機(jī)坐標(biāo)系或車(chē)身坐標(biāo)系。這里特別提醒一點(diǎn)像素坐標(biāo)框不能直接用于速度估算。如果不做坐標(biāo)轉(zhuǎn)換用像素位移近似物理位移目標(biāo)距離越遠(yuǎn)越不準(zhǔn)。通常我們是利用相機(jī)內(nèi)參、外參和地面平面假設(shè)把檢測(cè)框底邊中心點(diǎn)投影到地面上得到目標(biāo)的世界坐標(biāo)x, y。這一步的精度直接決定后續(xù)距離和速度的精度標(biāo)定參數(shù)要定期檢查和校驗(yàn)。輸出接口是給下游功能用的object list結(jié)構(gòu)。我常用的結(jié)構(gòu)體包含以下關(guān)鍵字段target_id // 全局唯一ID class_type // 障礙物類(lèi)別轎車(chē)/卡車(chē)/行人/騎行者/未知 bbox // 原始圖像檢測(cè)框調(diào)試用 position_x // 車(chē)身坐標(biāo)系下的縱向位置米 position_y // 車(chē)身坐標(biāo)系下的橫向位置米 velocity_x // 縱向速度米/秒 velocity_y // 橫向速度米/秒 confidence // 目標(biāo)置信度得分 existence_score // 目標(biāo)存在概率 track_age // 軌跡已維持幀數(shù) lost_age // 軌跡丟失幀數(shù) valid_flag // 是否可作為可信目標(biāo)參與功能決策valid_flag這個(gè)字段在設(shè)計(jì)時(shí)一定要留。它表示該目標(biāo)是否滿(mǎn)足功能安全的最低要求比如是否經(jīng)過(guò)足夠幀數(shù)確認(rèn)、置信度是否超過(guò)閾值、時(shí)間戳是否新鮮。功能層拿到目標(biāo)列表后優(yōu)先只看valid_flag為真的目標(biāo)。這樣即使感知端有異常、目標(biāo)處于丟失狀態(tài)只要valid_flag置為false功能層就不會(huì)用它做決策從源頭避免誤觸發(fā)。3.2 關(guān)鍵模塊偽代碼目標(biāo)關(guān)聯(lián)、生命周期、狀態(tài)更新我寫(xiě)一個(gè)簡(jiǎn)化但可運(yùn)行的偽代碼流程方便大家對(duì)照自己的工程實(shí)現(xiàn)思路。# 偽代碼視覺(jué)后處理主循環(huán) for frame_idx in range(total_frames): detections detector.infer(image) # 當(dāng)前幀檢測(cè)結(jié)果 # 1. 坐標(biāo)轉(zhuǎn)換檢測(cè)框到車(chē)身坐標(biāo)系 dets_world world_coord_transform(detections) # 2. 預(yù)測(cè)用已有軌跡的運(yùn)動(dòng)模型預(yù)測(cè)當(dāng)前幀狀態(tài) predicted_tracks [track.predict(dt) for track in tracks] # 3. 關(guān)聯(lián)預(yù)測(cè)軌跡與當(dāng)前幀檢測(cè)做匹配 cost_matrix build_iou_cost_matrix(predicted_tracks, dets_world) matched_pairs, unmatched_dets, unmatched_tracks hungarian_match(cost_matrix) # 4. 更新匹配上的檢測(cè)用于修正軌跡狀態(tài) for track_idx, det_idx in matched_pairs: tracks[track_idx].update(dets_world[det_idx]) tracks[track_idx].confirm() # 累加確認(rèn)計(jì)數(shù) # 5. 處理未匹配的檢測(cè)新軌跡候選 for det_idx in unmatched_dets: new_track Tracker.initialize(dets_world[det_idx]) tracks.append(new_track) # 6. 處理未匹配的軌跡進(jìn)入丟失狀態(tài) for track_idx in unmatched_tracks: tracks[track_idx].mark_lost() # 7. 生命周期管理確認(rèn)/刪除 for track in tracks: track.update_state_machine() # 8. 產(chǎn)出過(guò)濾無(wú)效目標(biāo)輸出object list output_targets [track.to_object() for track in tracks if track.is_confirmed()] publish(message_frame_id, output_targets)這里每一步都有細(xì)節(jié)講究。第三步的代價(jià)矩陣如果純用IoU遇到快速接近的大貨車(chē)和遠(yuǎn)處的小轎車(chē)時(shí)容易匹配混亂。我建議代價(jià)矩陣不要只用IoU可以加入位置距離和高寬比約束IoU低于0.2的配對(duì)直接設(shè)為無(wú)窮大排除高寬比差異超過(guò)一定倍數(shù)也排除。這樣即使兩個(gè)目標(biāo)空間上接近但形狀差異大也不會(huì)錯(cuò)配。另外一個(gè)實(shí)操技巧是如果檢測(cè)幀率穩(wěn)定每次預(yù)測(cè)的dt要嚴(yán)格用時(shí)間戳計(jì)算不要默認(rèn)等于1/幀率。相機(jī)幀率在顛簸路面上可能偶發(fā)掉幀統(tǒng)一用時(shí)間戳計(jì)算dt可以讓速度估算更穩(wěn)。3.3 時(shí)間戳對(duì)齊最容易翻車(chē)的細(xì)節(jié)時(shí)間戳對(duì)齊是我見(jiàn)過(guò)最容易被忽略、也是最容易翻車(chē)的問(wèn)題。視覺(jué)后處理輸出的目標(biāo)列表帶上時(shí)間戳是不夠的關(guān)鍵是你這個(gè)時(shí)間戳是“算法完成時(shí)間”還是“圖像曝光時(shí)間”。這兩個(gè)時(shí)間差了可能幾十到上百毫秒高速場(chǎng)景下100毫秒意味著車(chē)輛向前移動(dòng)了好幾米。如果你的目標(biāo)位置是100毫秒前的而下游功能按“當(dāng)前時(shí)間”做決策那AEB的反應(yīng)距離憑空縮短好幾米。我的做法是感知輸出里的每個(gè)目標(biāo)都帶兩個(gè)時(shí)間戳一個(gè)是圖像曝光時(shí)間一個(gè)是后處理完成時(shí)間。下游決策用曝光時(shí)間作為目標(biāo)狀態(tài)的有效時(shí)刻用完成時(shí)間判斷數(shù)據(jù)的時(shí)效性。如果完成時(shí)間和當(dāng)前規(guī)控時(shí)刻差超過(guò)一個(gè)閾值比如150ms這幀感知數(shù)據(jù)就不能參與實(shí)時(shí)安全決策功能層要降級(jí)處理。另外后處理內(nèi)部在計(jì)算速度時(shí)必須用相鄰兩幀曝光時(shí)間戳的差值作為dt而不是用算法執(zhí)行間隔否則速度里會(huì)混入處理延遲的誤差。3.4 后處理如何支撐FCW、AEB、ACC這些具體功能后處理做完最終要落到功能上。這里講三個(gè)最典型的對(duì)接實(shí)例。先看FCW前向碰撞預(yù)警。FCW的核心參數(shù)是TTC計(jì)算方式是相對(duì)距離除以相對(duì)速度。后處理給的是自車(chē)的目標(biāo)縱向位置和縱向速度經(jīng)過(guò)差值得出相對(duì)速度和相對(duì)距離再算出TTC。FCW的報(bào)警閾值一般分兩級(jí)預(yù)警級(jí)TTC在2.6~3.0秒介入級(jí)在1.2~1.5秒。但單純靠TTC觸發(fā)工程上會(huì)誤報(bào)很大因?yàn)槟繕?biāo)可能正在切入或者本身在制動(dòng)過(guò)程中。所以功能層通常還要求后處理額外提供目標(biāo)的生命周期穩(wěn)定度和橫向運(yùn)動(dòng)趨勢(shì)。如果目標(biāo)剛確認(rèn)不久、橫向速度明顯即使TTC很小也不會(huì)觸發(fā)FCW。我在調(diào)這個(gè)的時(shí)候發(fā)現(xiàn)后處理輸出的目標(biāo)橫向速度估算尤其重要橫向速度估算不準(zhǔn)功能會(huì)把旁邊車(chē)道正常行駛的車(chē)誤判為切入車(chē)輛。然后是AEB自動(dòng)緊急制動(dòng)。AEB對(duì)感知置信度的要求比FCW高得多因?yàn)樗鲃?dòng)制動(dòng)。功能層一般需要后處理提供一個(gè)“危險(xiǎn)目標(biāo)等級(jí)”的評(píng)價(jià)除了TTC還會(huì)結(jié)合目標(biāo)類(lèi)別行人、騎行者、車(chē)輛權(quán)重不同、目標(biāo)是否被遮擋遮擋狀態(tài)、置信度分?jǐn)?shù)。AEB觸發(fā)的目標(biāo)后處理必須給出valid_flag為真且已經(jīng)確認(rèn)跟蹤超過(guò)一定幀數(shù)并且目標(biāo)位置必須經(jīng)過(guò)濾波穩(wěn)定。工程上這類(lèi)目標(biāo)通常還要過(guò)一遍“安全邏輯”——如果后處理內(nèi)部檢出目標(biāo)狀態(tài)異?；蛘邥r(shí)間戳超時(shí)寧可延遲一幀制動(dòng)也不能在目標(biāo)不明確時(shí)誤制動(dòng)。ACC自適應(yīng)巡航是另一個(gè)典型場(chǎng)景。ACC的核心是選目標(biāo)從所有有效目標(biāo)里選出同車(chē)道內(nèi)距離最近的目標(biāo)作為跟隨目標(biāo)。后處理在這里要做的是保證每個(gè)目標(biāo)的速度估計(jì)平滑尤其是目標(biāo)剛進(jìn)入ACC跟隨范圍時(shí)速度不能突變。否則ACC控制端發(fā)現(xiàn)目標(biāo)速度從0突然跳到20m/s會(huì)先急減速再慢慢跟上那種駕駛體驗(yàn)約等于新手司機(jī)猛踩剎車(chē)。我的經(jīng)驗(yàn)是ACC用到的目標(biāo)速度至少經(jīng)過(guò)5幀以上的濾波再進(jìn)入控制且速度變化率也就是加速度也需要平滑輸出讓控制端有預(yù)測(cè)性。3.5 輸出質(zhì)量的評(píng)價(jià)閉環(huán)你說(shuō)了不算回歸數(shù)據(jù)說(shuō)了算后處理做得好不好不能靠主觀(guān)感覺(jué)需要一套評(píng)價(jià)閉環(huán)。我自己的習(xí)慣是除了常規(guī)的檢測(cè)指標(biāo)Precision/Recall對(duì)后處理效果重點(diǎn)盯三個(gè)指標(biāo)ID Switch次數(shù)ID切換率、軌跡中斷次數(shù)、以及跟車(chē)速度波動(dòng)幅度。ID Switch是行業(yè)里衡量追蹤穩(wěn)定性的核心指標(biāo)一幀之內(nèi)目標(biāo)ID發(fā)生切換的次數(shù)。高速場(chǎng)景下一次ID Switch就會(huì)讓ACC把目標(biāo)當(dāng)成新目標(biāo)處理導(dǎo)致一頓一挫。軌跡中斷次數(shù)統(tǒng)計(jì)的是已確認(rèn)軌跡因?yàn)檎趽趸騺G失而結(jié)束的次數(shù)如果一條軌跡在中遠(yuǎn)距離頻繁中斷下游功能就會(huì)頻繁重新選取目標(biāo)。速度波動(dòng)幅度則是直接在功能層看跟車(chē)目標(biāo)速度序列的方差正常情況波動(dòng)應(yīng)該很小。怎么測(cè)我的做法是錄一批包含城區(qū)、高速、夜晚、雨天、隧道進(jìn)出口等場(chǎng)景的測(cè)試數(shù)據(jù)跑完后處理算法用標(biāo)注工具比如分析追蹤結(jié)果的腳本腳本自動(dòng)統(tǒng)計(jì)上述指標(biāo)。每次改動(dòng)關(guān)聯(lián)閾值、卡爾曼參數(shù)或者生命周期參數(shù)都要跑一遍回歸對(duì)比指標(biāo)變化。我調(diào)參時(shí)最常遇到的情況是某個(gè)場(chǎng)景ID Switch變好了另一個(gè)場(chǎng)景誤檢變多了。這種時(shí)候就需要定義場(chǎng)景權(quán)重不是簡(jiǎn)單求平均而是按場(chǎng)景安全性分配權(quán)重后綜合評(píng)分。4. 踩坑實(shí)錄視覺(jué)后處理常見(jiàn)問(wèn)題與排查經(jīng)驗(yàn)4.1 目標(biāo)ID頻繁切換先別改算法先看數(shù)據(jù)ID Switch算是后處理問(wèn)題里最讓人抓狂的一個(gè)。目標(biāo)ID頻繁切換會(huì)導(dǎo)致功能層對(duì)目標(biāo)狀態(tài)感知不連續(xù)AEB可能把同一個(gè)目標(biāo)當(dāng)成新目標(biāo)重新評(píng)估ACC會(huì)重新選目標(biāo)體感就是車(chē)在高速上“猶豫不決”。遇到ID Switch我的排查路徑是固定的。第一步把前后幾幀圖像數(shù)據(jù)抽出來(lái)看目標(biāo)在圖像上的重疊度。如果兩個(gè)相鄰目標(biāo)在圖像上幾乎完全重疊那是當(dāng)前匹配邏輯無(wú)法區(qū)分的正常現(xiàn)象需要考慮加入特征匹配比如目標(biāo)外觀(guān)特征或者用多傳感器融合輔助分離。第二步檢查檢測(cè)框的穩(wěn)定性。如果檢測(cè)框?qū)挾仍谶B續(xù)幀內(nèi)劇烈變化導(dǎo)致IoU不穩(wěn)定優(yōu)先解決檢測(cè)框抖動(dòng)比如對(duì)檢測(cè)框做寬高比平滑。第三步調(diào)整匈牙利算法的代價(jià)矩陣。這個(gè)我在前面提過(guò)IoU閾值太嚴(yán)格會(huì)導(dǎo)致同一目標(biāo)短暫失配然后重新分配ID太寬松又會(huì)讓兩個(gè)目標(biāo)交叉時(shí)錯(cuò)配。我最終的做法是把IoU閾值作為場(chǎng)景參數(shù)緩存在不同場(chǎng)景高速、城市、隧道波動(dòng)而不是全局固定一個(gè)值。4.2 高速上的目標(biāo)速度突然跳到離譜值這是我自己踩過(guò)比較深的一個(gè)坑。某次測(cè)試中前方目標(biāo)速度在200多公里每小時(shí)和正常值之間來(lái)回跳。后來(lái)排查發(fā)現(xiàn)問(wèn)題不在卡爾曼增益而在坐標(biāo)轉(zhuǎn)換。車(chē)輛在彎道上行駛時(shí)如果是做純像素到地面的投影目標(biāo)框底邊中心點(diǎn)在地面上的投影位置會(huì)有很大的系統(tǒng)偏差因?yàn)橄鄼C(jī)外參中的俯仰角在車(chē)輛加減速時(shí)會(huì)變化車(chē)輛抬頭點(diǎn)頭導(dǎo)致目標(biāo)底邊投影位置在前后方向上劇烈漂移速度自然就跳變了。解決思路有兩個(gè)方向。一是做俯仰角補(bǔ)償利用車(chē)道線(xiàn)消失點(diǎn)、或者IMU數(shù)據(jù)來(lái)實(shí)時(shí)估計(jì)相機(jī)俯仰角變化。二是目標(biāo)位置濾波時(shí)增加觀(guān)測(cè)噪聲的自適應(yīng)調(diào)整當(dāng)檢測(cè)到目標(biāo)在圖像上處于遠(yuǎn)距離、且地面投影不穩(wěn)定的邊緣區(qū)域時(shí)增大觀(guān)測(cè)噪聲R讓濾波器更信任預(yù)測(cè)而不是觀(guān)測(cè)。注意這是過(guò)濾問(wèn)題不是根治問(wèn)題根治還是需要前端做穩(wěn)定的相機(jī)姿態(tài)補(bǔ)償。但后處理端的這個(gè)自適應(yīng)R能極大緩解功能層面的體感問(wèn)題。4.3 低置信度目標(biāo)造成誤檢置信度閾值不是一拍腦袋定的很多人一開(kāi)始面試時(shí)問(wèn)“置信度閾值設(shè)多少”脫口而出0.5。但0.5根本不具備普適性。檢測(cè)模型在不同天氣、不同距離上的置信度分布完全不一樣。遠(yuǎn)距離的行人置信度普遍在0.3~0.5之間你要是全局設(shè)0.5行人目標(biāo)全被濾掉AEB對(duì)行人功能就失效了。夜間大燈照射下目標(biāo)的置信度整體偏低但目標(biāo)往往是真的。所以閾值設(shè)定要考慮場(chǎng)景和距離維度。我的做法是把圖像劃分成近、中、遠(yuǎn)三個(gè)區(qū)域?qū)?yīng)不同閾值同時(shí)結(jié)合時(shí)間信息連續(xù)低置信度但穩(wěn)定的軌跡可以作為候選目標(biāo)不立即丟棄。還有一個(gè)技巧是利用“消失一致性”——如果一個(gè)低置信度的目標(biāo)軌跡在連續(xù)幾幀內(nèi)保持了穩(wěn)定的運(yùn)動(dòng)趨勢(shì)它比一個(gè)突然出現(xiàn)的高置信度目標(biāo)更值得保留。功能層更怕的是那種“突然冒出來(lái)、又突然消失”的不穩(wěn)定目標(biāo)。4.4 雨夜、逆光、隧道口的經(jīng)典翻車(chē)場(chǎng)景這幾個(gè)場(chǎng)景幾乎每個(gè)做后處理的人都會(huì)遇到我就直接給結(jié)論和經(jīng)驗(yàn)。白天進(jìn)隧道那一瞬間相機(jī)自動(dòng)曝光來(lái)不及調(diào)整畫(huà)面要么過(guò)曝要么全黑檢測(cè)結(jié)果基本沒(méi)法用。后處理這時(shí)候要做兩件事一是對(duì)感知結(jié)果的時(shí)間戳做“無(wú)效標(biāo)記”告訴下游這一幀數(shù)據(jù)不可信二是利用軌跡預(yù)測(cè)維持目標(biāo)輸出但不能讓目標(biāo)速度產(chǎn)生假變化。如果功能層因?yàn)檫M(jìn)隧道瞬間感知失效而退出ACC體驗(yàn)很糟糕但如果后處理強(qiáng)行輸出預(yù)測(cè)位置又可能因?yàn)轭A(yù)測(cè)誤差積累導(dǎo)致目標(biāo)位置偏差很大。折中方案是輸出預(yù)測(cè)軌跡但降低置信度同時(shí)告訴功能層數(shù)據(jù)處于“感知降級(jí)”狀態(tài)ACC可以繼續(xù)保持但限制加減速幅度。雨夜場(chǎng)景則是另一個(gè)問(wèn)題。地面反光、雨滴在鏡頭前形成光暈檢測(cè)模型容易把水漬、燈光反射誤檢成障礙物。后處理層面能做的是加大確認(rèn)幀數(shù)讓這類(lèi)誤檢因?yàn)闀r(shí)空不一致而被過(guò)濾掉。逆光場(chǎng)景目標(biāo)往往只檢測(cè)到上半部分或者出現(xiàn)“局部檢測(cè)”框高度偏矮這會(huì)導(dǎo)致目標(biāo)實(shí)際位置投影偏差。后處理可以加一個(gè)針對(duì)性的箱體過(guò)濾目標(biāo)高度低于物理合理高度比如0.5米以下且ID又是首次出現(xiàn)就提高確認(rèn)門(mén)檻。5. 一些個(gè)人經(jīng)驗(yàn)與后續(xù)擴(kuò)展方向說(shuō)到這再補(bǔ)充一個(gè)我實(shí)際調(diào)試中摸索出來(lái)的經(jīng)驗(yàn)。后處理里面參數(shù)“跟著場(chǎng)景走”這件事不要只靠感覺(jué)去調(diào)最好做成一張場(chǎng)景參數(shù)表。高速、城市、隧道、雨天、夜晚分別配一組不同的確認(rèn)幀數(shù)、IoU閾值、置信度閾值、卡爾曼Q/R參數(shù)。運(yùn)行的時(shí)候根據(jù)當(dāng)前的場(chǎng)景識(shí)別結(jié)果光照、車(chē)速、雨刮狀態(tài)、車(chē)道場(chǎng)景自動(dòng)切換參數(shù)組。這比用一個(gè)全局參數(shù)跑所有場(chǎng)景要穩(wěn)得多。但也要注意參數(shù)不能切得太頻繁否則場(chǎng)景識(shí)別抖動(dòng)會(huì)造成參數(shù)反復(fù)切換目標(biāo)狀態(tài)也跟著抖。我一般對(duì)場(chǎng)景標(biāo)簽做5秒以上的“粘滯”處理標(biāo)簽變了至少保持幾秒再切換參數(shù)。另一個(gè)值得擴(kuò)展的方向是和雷達(dá)、超聲波的融合問(wèn)題。純視覺(jué)后處理做到最后你會(huì)發(fā)現(xiàn)一些結(jié)構(gòu)性問(wèn)題靠視覺(jué)本身很難解決比如單目視覺(jué)對(duì)目標(biāo)絕對(duì)距離估計(jì)天生不精確尤其是遠(yuǎn)距離目標(biāo)。這時(shí)候就需要多傳感器融合來(lái)做互補(bǔ)。視覺(jué)后處理的輸出結(jié)果可以作為融合的輸入之一而融合后的目標(biāo)質(zhì)量反過(guò)來(lái)也可以校驗(yàn)視覺(jué)后處理的好壞。這個(gè)我后續(xù)準(zhǔn)備單獨(dú)寫(xiě)一篇這里先提一個(gè)核心觀(guān)點(diǎn)視覺(jué)后處理做到后半段目標(biāo)已經(jīng)不是“檢不出來(lái)”的問(wèn)題而是“信不信得過(guò)”的問(wèn)題而融合恰好是解決“信得過(guò)”的另一條關(guān)鍵路徑。最后再分享一個(gè)小技巧調(diào)試后處理算法時(shí)記得做一個(gè)可視化的調(diào)試工具在圖像上同時(shí)繪制檢測(cè)框和目標(biāo)軌跡、目標(biāo)ID、速度矢量能極大提升排查問(wèn)題的效率。很多復(fù)雜問(wèn)題比如ID切換、速度跳變、軌跡漂移你光看數(shù)字是看不出來(lái)的但在圖上放慢播放一眼就能定位。好的可視化調(diào)試工具是后處理算法迭代效率的分水嶺——這個(gè)工具值得你花時(shí)間建好越早越好。