簡(jiǎn)介視覺(jué)技術(shù)在汽車(chē)行業(yè)的應(yīng)用.ppt是一份面向工業(yè)視覺(jué)與智能制造從業(yè)者的基礎(chǔ)培訓(xùn)資料系統(tǒng)講解機(jī)器視覺(jué)在汽車(chē)制造中的核心原理與落地場(chǎng)景。內(nèi)容圍繞質(zhì)量檢測(cè)、機(jī)器人引導(dǎo)、測(cè)量、OCR/OCV、存在/缺失判斷及代碼讀取六大關(guān)鍵應(yīng)用展開(kāi)并結(jié)合沖壓、白車(chē)身、油漆、總裝等真實(shí)產(chǎn)線(xiàn)流程演示如何通過(guò)視覺(jué)系統(tǒng)提升產(chǎn)品質(zhì)量與生產(chǎn)效率。PPT中穿插康耐視In-Sight、VisionPro等實(shí)際案例涵蓋車(chē)身面板3D機(jī)器人引導(dǎo)、凸耳螺母自動(dòng)緊固、玻璃裝配等典型應(yīng)用可幫助讀者理解從圖像采集、特征定位到與PLC/機(jī)器人通信的完整技術(shù)路徑。資源為單文件PPT演示文稿大小約13.27MB適合作為工業(yè)視覺(jué)入門(mén)培訓(xùn)、汽車(chē)行業(yè)自動(dòng)化項(xiàng)目方案參考或內(nèi)部技術(shù)分享材料。目前已有109人學(xué)習(xí)內(nèi)容結(jié)構(gòu)完整、圖文并茂便于快速掌握機(jī)器視覺(jué)在汽車(chē)行業(yè)的應(yīng)用方向。1. 視覺(jué)技術(shù)上車(chē)真正的量不在自動(dòng)駕駛而在產(chǎn)線(xiàn)上這份標(biāo)題叫“視覺(jué)技術(shù)在汽車(chē)行業(yè)的應(yīng)用.ppt”擴(kuò)展開(kāi)來(lái)其實(shí)就是一句話(huà)把攝像頭和算法變成產(chǎn)線(xiàn)和車(chē)上的“眼睛”去替代人眼做判斷、做測(cè)量、做定位。視覺(jué)技術(shù)在汽車(chē)行業(yè)的落地有三個(gè)典型場(chǎng)景產(chǎn)線(xiàn)上的缺陷檢測(cè)與裝配校驗(yàn)、ADAS 里的目標(biāo)感知、以及近年越來(lái)越熱的視覺(jué) SLAM 在泊車(chē)和艙內(nèi)場(chǎng)景的部署。三個(gè)場(chǎng)景解決的問(wèn)題完全不同選型邏輯沒(méi)有一套通用的答案參數(shù)更是各調(diào)各的。這篇筆記就按這三條線(xiàn)拆開(kāi)講把方案選型、最小實(shí)現(xiàn)、必調(diào)參數(shù)和典型坑都說(shuō)清楚。適合正在做產(chǎn)線(xiàn)視覺(jué)項(xiàng)目選型、準(zhǔn)備上車(chē)做感知方案驗(yàn)證或者想從傳統(tǒng) CV 轉(zhuǎn)向深度學(xué)習(xí)落地的工程師。2. 產(chǎn)線(xiàn)質(zhì)檢視覺(jué)技術(shù)最成熟的落地場(chǎng)景用差影法和深度學(xué)習(xí)兩套方案把缺陷找出來(lái)2.1 為什么產(chǎn)線(xiàn)質(zhì)檢是視覺(jué)技術(shù)最先跑通的地方環(huán)境可控問(wèn)題定義清晰汽車(chē)行業(yè)的產(chǎn)線(xiàn)質(zhì)檢是視覺(jué)技術(shù)落地最成熟、ROI 最清晰的方向。原因在于產(chǎn)線(xiàn)環(huán)境相對(duì)可控光照可以做成恒定的相機(jī)位置可以固定被測(cè)物體的姿態(tài)也可以通過(guò)工裝約束住。環(huán)境可控意味著變量少變量少意味著算法不需要處理極端情況模型穩(wěn)定性就能做得很高。相比之下ADAS 感知要面對(duì)的是隨時(shí)變化的光線(xiàn)、天氣和道路環(huán)境難度完全不是一個(gè)量級(jí)。產(chǎn)線(xiàn)視覺(jué)檢測(cè)的典型任務(wù)包括發(fā)動(dòng)機(jī)缸體表面缺陷檢測(cè)、車(chē)身漆面劃痕檢測(cè)、輪胎外觀檢測(cè)、螺栓是否漏裝、焊點(diǎn)位置是否偏移、標(biāo)簽貼合位置是否準(zhǔn)確。這些任務(wù)的共同特點(diǎn)是“背景固定、目標(biāo)明確”先做圖像配準(zhǔn)再做差影用模板比對(duì)找異常最后把異常區(qū)域分類(lèi)成缺陷或誤報(bào)。早期行業(yè)普遍用這類(lèi)傳統(tǒng) CV 方案到現(xiàn)在仍有大量產(chǎn)線(xiàn)在用因?yàn)樗怀詳?shù)據(jù)、不吃 GPU一臺(tái)工控機(jī)就能跑起來(lái)。深度學(xué)習(xí)介入之后解決的核心問(wèn)題從“能不能檢出”變成了“誤檢能不能壓得住”。傳統(tǒng)差影法的問(wèn)題是只要光照稍變、灰塵落在傳感器上、或者產(chǎn)品本身有允許范圍內(nèi)的變形就會(huì)產(chǎn)生大量偽缺陷。深度學(xué)習(xí)模型能學(xué)到“什么樣的亮度差異是正常的”從而大幅降低誤檢率。但深度學(xué)習(xí)需要標(biāo)注數(shù)據(jù)而汽車(chē)零部件的缺陷樣本往往很少——良品幾萬(wàn)個(gè)缺陷只有幾百個(gè)。所以實(shí)際產(chǎn)線(xiàn)方案基本都是兩套結(jié)合差影法做初篩深度學(xué)習(xí)做二次分類(lèi)。2.2 用差影法做最小可驗(yàn)證方案代碼、參數(shù)與驗(yàn)收邏輯先寫(xiě)一個(gè)最簡(jiǎn)的差影法缺陷檢測(cè)流程用 OpenCV 就能跑。這套代碼在機(jī)油泵殼體、制動(dòng)盤(pán)、輪轂等規(guī)則金屬件的表面缺陷檢測(cè)上都能直接套用。import cv2 import numpy as np # 加載灰度圖像產(chǎn)線(xiàn)采集建議用黑白相機(jī)彩色信息在缺陷檢測(cè)里是干擾 img cv2.imread(part_sample.jpg, cv2.IMREAD_GRAYSCALE) # 中值濾波去掉傳感器噪聲避免把噪點(diǎn)當(dāng)缺陷 filtered cv2.medianBlur(img, 5) # 差影與離線(xiàn)標(biāo)定好的良品模板做逐像素差分 diff cv2.absdiff(filtered, template) # 閾值分割超過(guò)閾值的像素記為候選缺陷 _, mask cv2.threshold(diff, 60, 255, cv2.THRESH_BINARY) # 形態(tài)學(xué)開(kāi)運(yùn)算去掉孤立噪點(diǎn)保留連通面積較大的缺陷塊 mask cv2.morphologyEx(mask, cv2.MORPH_OPEN, np.ones((5, 5), np.uint8)) # 連通域分析面積和長(zhǎng)寬比過(guò)濾 contours, _ cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) for cnt in contours: area cv2.contourArea(cnt) if area 80: # 面積閾值要按實(shí)際缺陷樣本標(biāo)定不能拍腦袋 x, y, w, h cv2.boundingRect(cnt) print(f缺陷候選: 位置({x},{y}), 寬高({w},{h}), 面積{area})這段代碼里有三個(gè)參數(shù)直接影響誤檢率。第一個(gè)是閾值 60它決定了多大的灰度差會(huì)被當(dāng)作缺陷。設(shè)置方法不是取經(jīng)驗(yàn)值而是找至少 20 個(gè)良品樣本算灰度差分布取均值加 5 到 8 倍標(biāo)準(zhǔn)差。第二個(gè)是形態(tài)學(xué)核大小 5×5它和相機(jī)分辨率有關(guān)像素尺寸越大核就越大一半乘以 3 到 5。第三個(gè)是面積閾值 80這個(gè)必須對(duì)著真實(shí)缺陷的標(biāo)注框來(lái)標(biāo)定——選 10 個(gè)真實(shí)缺陷樣本算它們的最小連通域面積再除以 1.5 作為閾值才能留出余量。差影法最大的不穩(wěn)定因素不是算法而是模板和實(shí)際采集圖像沒(méi)對(duì)齊。哪怕偏差兩三個(gè)像素邊緣都會(huì)產(chǎn)生嚴(yán)重差分。所以真正上產(chǎn)線(xiàn)之前要做兩步一是把產(chǎn)品用治具夾緊確保每次拍照位姿偏差低于相機(jī)單像素對(duì)應(yīng)的物理尺寸二是先做配準(zhǔn)用特征點(diǎn)匹配或相位相關(guān)求出偏移量再對(duì)齊不要拿原始圖直接做差影。2.3 深度學(xué)習(xí)二次分類(lèi)缺陷樣本不夠怎么訓(xùn)練以及數(shù)據(jù)閉環(huán)的搭建差影法篩出來(lái)的候選區(qū)域里會(huì)有不少良品誤報(bào)比如加工紋路的正常變化、表面的油漬、灰塵等。這時(shí)需要深度學(xué)習(xí)來(lái)做二次分類(lèi)把候選區(qū)域分成“真缺陷”和“偽缺陷”甚至細(xì)分缺陷類(lèi)型比如劃傷、氣孔、毛刺。模型選擇上產(chǎn)線(xiàn)場(chǎng)景推薦直接用輕量分類(lèi)網(wǎng)絡(luò)或者小型目標(biāo)檢測(cè)網(wǎng)絡(luò)比如 ResNet-18 或者 YOLOv8n 加一個(gè)分類(lèi)頭。不要一上來(lái)就上大模型產(chǎn)線(xiàn)上對(duì)延遲極其敏感一個(gè)檢測(cè)節(jié)拍只有幾十秒而分類(lèi)推理要控制在幾十毫秒內(nèi)。數(shù)據(jù)方面缺陷樣本不夠是普遍問(wèn)題第一套方案通常只有幾百個(gè)真實(shí)缺陷樣本。這時(shí)候做三類(lèi)數(shù)據(jù)增強(qiáng)最有效一是幾何增強(qiáng)旋轉(zhuǎn)、平移、鏡像二是灰度增強(qiáng)亮度抖動(dòng)、對(duì)比度抖動(dòng)、高斯噪聲三是仿真增強(qiáng)把真實(shí)缺陷裁剪下來(lái)通過(guò) Alpha 混合貼到良品圖的不同位置。Alpha 混合在工業(yè)缺陷場(chǎng)景下非常有效因?yàn)槿毕荼举|(zhì)上是局部光度異常合成樣本和真實(shí)樣本之間的域差異比自然場(chǎng)景小得多。訓(xùn)練完成后模型評(píng)估要盯兩個(gè)指標(biāo)一是“缺陷召回率”要求不低于 99%漏檢一個(gè)缺陷流到下游裝配線(xiàn)上損失是返工成本的上百倍二是“良品通過(guò)率”也就是把良品判成缺陷的比例這個(gè)指標(biāo)直接決定了產(chǎn)線(xiàn)配置多少個(gè)復(fù)檢工位。如果良品通過(guò)率低于 95%缺陷攔截下來(lái)也要人工復(fù)檢視覺(jué)系統(tǒng)省人力就成了空話(huà)。實(shí)際項(xiàng)目里這兩個(gè)指標(biāo)經(jīng)常沖突壓了誤檢召回就掉所以方案上要留一個(gè)置信度滑塊讓產(chǎn)線(xiàn)工藝人員根據(jù)當(dāng)周缺陷率動(dòng)態(tài)調(diào)整。數(shù)據(jù)閉環(huán)是深度學(xué)習(xí)方案能不能持續(xù)用的關(guān)鍵。每一臺(tái)過(guò)檢相機(jī)都要自動(dòng)保存觸發(fā)圖像模型判斷為缺陷的要保存原圖和預(yù)測(cè)框判斷為良品但差影法報(bào)警的也要保存。每周人工復(fù)檢的結(jié)果回填到數(shù)據(jù)集里做增量訓(xùn)練形成“產(chǎn)線(xiàn)采集-自動(dòng)標(biāo)注-人工確認(rèn)-增量訓(xùn)練-模型更新”的閉環(huán)。沒(méi)有這套閉環(huán)深度學(xué)習(xí)方案上線(xiàn)三個(gè)月后準(zhǔn)確率就會(huì)開(kāi)始退化因?yàn)楫a(chǎn)線(xiàn)換料、光源老化都會(huì)讓數(shù)據(jù)分布慢慢漂移。3. ADAS 感知從 YOLO 到 BEV 架構(gòu)傳感器標(biāo)定和模型部署是兩道硬門(mén)檻3.1 感知架構(gòu)演進(jìn)路線(xiàn)目標(biāo)檢測(cè)、多傳感器融合、BEV 與 TransformerADAS 感知是視覺(jué)技術(shù)在汽車(chē)行業(yè)里另一個(gè)核心場(chǎng)景解決的問(wèn)題是讓車(chē)“看懂”周邊環(huán)境前方有沒(méi)有車(chē)、行人、騎行者車(chē)道線(xiàn)在哪可行駛空間有多大障礙物距離多遠(yuǎn)。早期 ADAS 用傳統(tǒng) CV 做車(chē)道線(xiàn)檢測(cè)和毫米波雷達(dá)做前向碰撞預(yù)警后來(lái)引入深度學(xué)習(xí)做目標(biāo)檢測(cè)方案從單目攝像頭加 YOLO 系列模型逐步演進(jìn)到多傳感器融合。當(dāng)前量產(chǎn) ADAS 的主流架構(gòu)是 BEV 感知把多個(gè)攝像頭和雷達(dá)的特征統(tǒng)一投影到鳥(niǎo)瞰視角下做融合輸出的是 3D 邊界框和占據(jù)柵格。BEV 方案相比前融合方案的優(yōu)勢(shì)是空間統(tǒng)一所有傳感器都在同一坐標(biāo)系下輸出不需要為每個(gè)傳感器單獨(dú)做目標(biāo)列表關(guān)聯(lián)。主流實(shí)現(xiàn)里攝像頭分支負(fù)責(zé)提供豐富的語(yǔ)義信息比如車(chē)道線(xiàn)、交通標(biāo)志、目標(biāo)類(lèi)別點(diǎn)云分支負(fù)責(zé)提供精準(zhǔn)距離和速度。純視覺(jué)方案則只有攝像頭用 Transformer 的 attention 機(jī)制在不同攝像頭視角之間共享信息。對(duì)工程師來(lái)說(shuō)真正要關(guān)注的是算力與精度的權(quán)衡。量產(chǎn)車(chē)規(guī)級(jí)芯片的算力有限BEV 模型上車(chē)的常用做法是把視覺(jué) backbone 用輕量網(wǎng)絡(luò)替換掉在相同精度下把模型體積縮小到原版的三分之一。量化是另一道必過(guò)的關(guān)訓(xùn)練時(shí)用 FP32部署時(shí)轉(zhuǎn) INT8精度損失控制在 2% 以?xún)?nèi)是合格線(xiàn)。這塊沒(méi)有捷徑只能用大量實(shí)車(chē)數(shù)據(jù)去驗(yàn)證。3.2 相機(jī)標(biāo)定與傳感器同步BEV 模型準(zhǔn)不準(zhǔn)一半看標(biāo)定一半看數(shù)據(jù)BEV 感知模型輸出精度上限由輸入質(zhì)量決定而輸入質(zhì)量核心是兩塊相機(jī)內(nèi)外參是否準(zhǔn)確以及多個(gè)傳感器的時(shí)間戳是否對(duì)齊。不管是換裝后視鏡、碰撞維修還是產(chǎn)線(xiàn)下線(xiàn)標(biāo)定都是 ADAS 系統(tǒng)上線(xiàn)前必做的步驟。內(nèi)參標(biāo)定的標(biāo)準(zhǔn)做法是用棋盤(pán)格或者 AprilGrid 標(biāo)定板拍攝 20 到 30 張不同位姿的圖像然后用 Kalibr 工具解算焦距、主點(diǎn)和畸變系數(shù)。外參標(biāo)定則是把相機(jī)坐標(biāo)系和車(chē)體坐標(biāo)系對(duì)齊量產(chǎn)工藝?yán)锍Ｓ脴?biāo)定間里的靶標(biāo)完成。外參標(biāo)定的關(guān)鍵是靶標(biāo)要平整、光源要均勻反光會(huì)直接導(dǎo)致角點(diǎn)檢測(cè)失敗。后端工程上更隱蔽的問(wèn)題是時(shí)間同步。常見(jiàn)做法是用 PTP 或者自定義硬件同步信號(hào)保證各傳感器時(shí)間戳一致然后在對(duì)齊時(shí)間窗口內(nèi)做插值。如果時(shí)間戳偏差達(dá)到 30 毫秒以上高速場(chǎng)景下目標(biāo)距離誤差就可能超過(guò) 80 厘米這對(duì) AEB 功能來(lái)說(shuō)是不可接受的。所以上車(chē)前要寫(xiě)一個(gè)驗(yàn)證腳本統(tǒng)計(jì)每個(gè)傳感器消息的時(shí)間戳間隔畫(huà)分布圖凡是出現(xiàn)周期性峰值就要查同步鏈路。這是我在項(xiàng)目里踩過(guò)的坑一次高架上對(duì)前車(chē)距離忽大忽小查了兩天才發(fā)現(xiàn)是攝像頭輸出幀率因?yàn)闇囟缺Ｗo(hù)從 30fps 掉到了 27fps。3.3 模型上車(chē)部署ONNX 轉(zhuǎn) TensorRT 的量化與性能驗(yàn)證模型訓(xùn)練完成后上車(chē)部署的典型流程是 PyTorch 訓(xùn)練、導(dǎo)出 ONNX、轉(zhuǎn) TensorRT、做 INT8 量化、最后在嵌入式 GPU 或 NPU 上做延遲測(cè)試。這里給一段典型的轉(zhuǎn)換命令# 將訓(xùn)練好的 BEV 感知模型從 ONNX 轉(zhuǎn)為 TensorRT FP16 引擎 trtexec --onnxbev_model.onnx \ --saveEnginebev_model.engine \ --fp16 \ --workspace4096 \ --minShapesinput:1x6x256x704 \ --optShapesinput:1x6x256x704 \ --maxShapesinput:1x6x256x704 \ --calibcalibration.cache參數(shù)含義分別是--fp16表示使用半精度推理--workspace指定轉(zhuǎn)換時(shí)的最大顯存上限--minShapes、--optShapes、--maxShapes定義了動(dòng)態(tài)輸入尺寸的動(dòng)態(tài)范圍。--calib是 INT8 量化的校準(zhǔn)緩存文件用實(shí)車(chē)采集的圖像數(shù)據(jù)離線(xiàn)生成量化后的模型精度損失需要單獨(dú)驗(yàn)證。部署完成后要做兩件事延遲測(cè)試和長(zhǎng)時(shí)間穩(wěn)定性測(cè)試。延遲測(cè)試要覆蓋最壞情況——多個(gè)目標(biāo)的復(fù)雜場(chǎng)景下模型推理延遲波動(dòng)不能超過(guò)均值的 20%。長(zhǎng)時(shí)間穩(wěn)定性測(cè)試至少跑 72 小時(shí)重點(diǎn)觀察顯存是否持續(xù)增長(zhǎng)如果顯存曲線(xiàn)一路向上基本可以斷定有張量泄漏這個(gè)在 PyTorch 轉(zhuǎn) ONNX 時(shí)最容易出現(xiàn)檢查點(diǎn)是在導(dǎo)出后設(shè)置torch.cuda.empty_cache()和在推理循環(huán)里避免反復(fù)創(chuàng)建新 tensor。4. 視覺(jué) SLAM 在汽車(chē)場(chǎng)景落地從自動(dòng)泊車(chē)到產(chǎn)線(xiàn) AGV定位精度和回環(huán)檢測(cè)是核心4.1 視覺(jué) SLAM 上車(chē)的第一站自動(dòng)泊車(chē)與記憶泊車(chē)2025 年前后機(jī)器人視覺(jué) SLAM 已經(jīng)從實(shí)驗(yàn)室階段進(jìn)入量產(chǎn)方案汽車(chē)行業(yè)落地最集中的場(chǎng)景是自動(dòng)泊車(chē)和記憶泊車(chē)。自動(dòng)泊車(chē)的特點(diǎn)是低速、場(chǎng)景結(jié)構(gòu)化、環(huán)境相對(duì)封閉視覺(jué) SLAM 可以用環(huán)視魚(yú)眼相機(jī)估計(jì)車(chē)輛位移融合輪速計(jì)輸出停車(chē)位識(shí)別和泊車(chē)路徑。記憶泊車(chē)則是在停車(chē)場(chǎng)固定路線(xiàn)上的重復(fù)定位視覺(jué) SLAM 提供的就是一條可復(fù)用的先驗(yàn)地圖。視覺(jué) SLAM 在泊車(chē)場(chǎng)景里的核心痛點(diǎn)不是算法精度而是魯棒性。停車(chē)場(chǎng)的光線(xiàn)變化非常劇烈白天太陽(yáng)直射導(dǎo)致魚(yú)眼相機(jī)過(guò)曝、夜晚燈光昏暗導(dǎo)致特征點(diǎn)不足、地下車(chē)庫(kù)的立柱反光導(dǎo)致誤匹配。實(shí)際項(xiàng)目里解決過(guò)曝問(wèn)題的方法是開(kāi)啟相機(jī) HDR 模式但 HDR 會(huì)增加曝光時(shí)間造成運(yùn)動(dòng)模糊。所以要在采集頻率和曝光時(shí)間上做平衡低速泊車(chē)時(shí)幀率降到 15fps曝光時(shí)間放寬到 30 毫秒以?xún)?nèi)角點(diǎn)提取的質(zhì)量比數(shù)量更重要。4.2 產(chǎn)線(xiàn) AGV 與機(jī)械臂抓取視覺(jué) SLAM 在制造環(huán)節(jié)的復(fù)用視覺(jué) SLAM 技術(shù)在汽車(chē)行業(yè)的另一個(gè)落地點(diǎn)是產(chǎn)線(xiàn)物流和上下料環(huán)節(jié)AGV 搬運(yùn)料架時(shí)需要知道自己在地圖里的位置機(jī)械臂抓取發(fā)動(dòng)機(jī)缸體時(shí)需要識(shí)別工件位姿。這兩類(lèi)場(chǎng)景和泊車(chē)有相似之處也有本質(zhì)區(qū)別。相似之處是都需要實(shí)時(shí)定位區(qū)別在于 AGV 和機(jī)械臂對(duì)重復(fù)定位精度的要求遠(yuǎn)高于泊車(chē)。AGV 的視覺(jué) SLAM 方案通常用二維碼地標(biāo)或者反射板配合里程計(jì)做修正純視覺(jué) SLAM 跑長(zhǎng)距離之后會(huì)有累積漂移。解決思路是做“視覺(jué) SLAM 地標(biāo)修正”的混合方案視覺(jué) SLAM 負(fù)責(zé)連續(xù)定位每隔 3 到 5 米識(shí)別一個(gè)地標(biāo)做絕對(duì)位置校正。地標(biāo)可以是柱形反光條或者貼在地面的高對(duì)比二維碼。每次經(jīng)過(guò)地標(biāo)時(shí)把當(dāng)前估計(jì)位置與地標(biāo)已知坐標(biāo)做差用這個(gè)差值更新地圖和狀態(tài)估計(jì)里的漂移項(xiàng)。機(jī)械臂抓取則不太依賴(lài) SLAM更多用“眼在手上”的相機(jī)做目標(biāo)檢測(cè)和位姿估計(jì)。這里要說(shuō)的是不要把 SLAM 用在不該用的地方——固定工位的抓取不需要建圖你需要的是精準(zhǔn)的 3D 位姿估計(jì)而不是里程計(jì)。4.3 視覺(jué) SLAM 的工程落地內(nèi)參標(biāo)定、特征提取參數(shù)和回環(huán)檢測(cè)的調(diào)參思路視覺(jué) SLAM 系統(tǒng)真正的坑在工程參數(shù)。我用 VINS-Fusion 類(lèi)方案做過(guò)泊車(chē)定位第一步就卡在相機(jī)內(nèi)參標(biāo)定上。魚(yú)眼相機(jī)的畸變模型和普通針孔相機(jī)不同用錯(cuò)模型整個(gè)系統(tǒng)在圖像邊緣的誤差會(huì)明顯增大。標(biāo)定命令參考如下# 用 Kalibr 標(biāo)定魚(yú)眼相機(jī)內(nèi)參 kalibr_calibrate_cameras \ --target aprilgrid_6x6.yaml \ --models pinhole-equi \ --bag parking_lot.bag \ --topics /cam0/image_raw \ --show-extraction--models pinhole-equi指定了近似的魚(yú)眼模型標(biāo)定板要打印在鋁基啞光材料上不能用普通噴墨紙——表面反光會(huì)導(dǎo)致角點(diǎn)提取出現(xiàn) 0.2 像素級(jí)別的位置偏差對(duì)重投影誤差的指標(biāo)來(lái)說(shuō)有顯著影響。特征提取的參數(shù)對(duì)定位精度的影響也很大。視覺(jué) SLAM 里常見(jiàn)的幾個(gè)參數(shù)是特征點(diǎn)數(shù)量、金字塔層數(shù)、描述子尺度不變性權(quán)重。特征點(diǎn)數(shù)量不是越多越好在嵌入式平臺(tái)上特征點(diǎn)多了每幀處理耗時(shí)會(huì)顯著上升而且過(guò)多的遠(yuǎn)距離特征點(diǎn)會(huì)在車(chē)輛轉(zhuǎn)向時(shí)頻繁丟失反而引入錯(cuò)誤約束。一般車(chē)載場(chǎng)景取每幀 150 到 300 個(gè)特征點(diǎn)是一個(gè)合適的值同時(shí)要保證特征點(diǎn)在圖像中均勻分布如果某一幀特征全部集中在一側(cè)定位精度會(huì)明顯劣化?；丨h(huán)檢測(cè)是另外一個(gè)容易翻車(chē)的地方。停車(chē)場(chǎng)整天有車(chē)進(jìn)進(jìn)出出場(chǎng)景不斷變化回環(huán)檢測(cè)很容易被“看起來(lái)像但實(shí)際不同”的位置誤導(dǎo)。解決的辦法是回環(huán)檢測(cè)只看結(jié)構(gòu)信息不看動(dòng)態(tài)物體——停車(chē)位線(xiàn)、立柱、消防管道這些靜態(tài)特征才是判斷回環(huán)的錨點(diǎn)。工程上簡(jiǎn)單有效的做法是把圖像切分為 4×4 的塊只提取每塊里響應(yīng)最強(qiáng)的特征然后對(duì)特征描述子做 PCA 降維后再做相似度計(jì)算動(dòng)態(tài)物體上的特征因?yàn)轫憫?yīng)值不穩(wěn)定會(huì)被過(guò)濾掉大部分。5. 視覺(jué)系統(tǒng)上車(chē)的五個(gè)常見(jiàn)坑從成像到部署的排查清單5.1 坑一過(guò)曝丟細(xì)節(jié)自動(dòng)曝光在隧道口把車(chē)道線(xiàn)抹掉了現(xiàn)象是車(chē)輛白天進(jìn)出隧道時(shí)視覺(jué)感知突然丟失車(chē)道線(xiàn)或者前車(chē)目標(biāo)持續(xù)一到三秒足以觸發(fā)一次不必要的減速或者誤判。原因是相機(jī)自動(dòng)曝光跟不上光照突變畫(huà)面過(guò)曝導(dǎo)致高光區(qū)域完全變成白色車(chē)道線(xiàn)對(duì)比度接近零算法自然什么都看不到。解決方案是把相機(jī)曝光模式改為 AE 加亮度上限約束同時(shí)對(duì)感知結(jié)果加時(shí)間戳和置信度緩存。當(dāng)曝光亮度超過(guò)預(yù)設(shè)上限時(shí)強(qiáng)制切換為短曝光模式并把前一幀的感知結(jié)果保持到曝光恢復(fù)穩(wěn)定。感知模塊里要加一個(gè)狀態(tài)機(jī)“曝光恢復(fù)中”的幀不參與決策避免誤觸發(fā)。5.2 坑二光源老化產(chǎn)線(xiàn)換燈后誤檢率飆升現(xiàn)象是同一套差影法代碼同一型號(hào)產(chǎn)品某天開(kāi)始誤檢率從 2% 飆升到 15%復(fù)檢工位排起長(zhǎng)隊(duì)。原因是產(chǎn)線(xiàn)某個(gè)工位的鹵素?zé)衾匣庾V和光強(qiáng)發(fā)生變化模板還是舊光照下標(biāo)定的整幅圖像灰度分布都變了。解決方法是給視覺(jué)機(jī)柜和光源加監(jiān)控采集圖像的同時(shí)記錄光源控制器輸出的電流值定期用照度計(jì)在相機(jī)視野中心測(cè)光亮度偏離初始值超過(guò) 15% 時(shí)觸發(fā)預(yù)警。差影法模板標(biāo)定前先做一次光照歸一化用視野中固定背景區(qū)域的平均灰度做基準(zhǔn)乘以一個(gè)增益系數(shù)把全場(chǎng)灰度扳回模板標(biāo)定時(shí)的水平。5.3 坑三標(biāo)定板反光導(dǎo)致外參標(biāo)定偏了感知地圖對(duì)不齊現(xiàn)象是車(chē)輛下線(xiàn)標(biāo)定后BEV 視角下多個(gè)相機(jī)的拼接邊界出現(xiàn)明顯的錯(cuò)位車(chē)道線(xiàn)在拼接縫處斷掉。原因是標(biāo)定間用的標(biāo)定板表面反光或者標(biāo)定燈光有強(qiáng)反射導(dǎo)致角點(diǎn)檢測(cè)位置偏移。解決方法是標(biāo)定板換用啞光材質(zhì)標(biāo)定光源加偏振片并且標(biāo)定圖像采集時(shí)加一個(gè)質(zhì)量檢查——每個(gè)視角的有效角點(diǎn)數(shù)低于 30 個(gè)就重新采集。生產(chǎn)節(jié)拍允許的話(huà)連續(xù)標(biāo)定三次取結(jié)果的中位數(shù)能有效避免單次標(biāo)定異常數(shù)據(jù)污染外參。5.4 坑四INT8 量化后小目標(biāo)漏檢行人距離被高估現(xiàn)象是模型從 FP16 轉(zhuǎn) INT8 之后夜間場(chǎng)景下行人檢測(cè)置信度從 0.85 掉到 0.3目標(biāo)距離被算法高估。原因是 INT8 量化對(duì)低對(duì)比度目標(biāo)的特征響應(yīng)損害更大夜間行人對(duì)比度低加上量化損失直接掉到置信度門(mén)檻以下。解決方法是量化校準(zhǔn)數(shù)據(jù)集里必須包含大量夜間和多云天氣的樣本校準(zhǔn)集分布要和實(shí)際運(yùn)營(yíng)場(chǎng)景匹配不能只用白天數(shù)據(jù)。如果量化后精度損失超過(guò)規(guī)定值采用混合量化方案保留第一層卷積和最后的檢測(cè)頭為 FP16中間層做 INT8精度損失通常能收回一半以上代價(jià)是延遲增加百分之十到十五這部分在推理速度預(yù)算里提前留好余量。5.5 坑五回傳數(shù)據(jù)壓縮過(guò)度模型訓(xùn)練越訓(xùn)越瞎現(xiàn)象是車(chē)端采集圖像回傳到云端做訓(xùn)練模型迭代后準(zhǔn)確率不但沒(méi)漲反而在幾個(gè)真實(shí)事故場(chǎng)景里表現(xiàn)退化。原因是車(chē)端回傳圖像為了節(jié)省流量做了 JPEG 壓縮缺陷細(xì)節(jié)和低對(duì)比度目標(biāo)在壓縮過(guò)程中丟失訓(xùn)練數(shù)據(jù)變成了失真數(shù)據(jù)。解決方法是建立數(shù)據(jù)回傳的編碼規(guī)范用于 SLAM 和感知訓(xùn)練的關(guān)鍵圖片關(guān)閉壓縮或采用 ROI 內(nèi)無(wú)損、背景有損的壓縮策略。數(shù)據(jù)平臺(tái)要記錄每一張圖的壓縮失真指標(biāo)比如與原始圖的 PSNR低于 35 分貝的樣本不能進(jìn)入訓(xùn)練集。6. 驗(yàn)證方法論離線(xiàn)回放、影子模式和切片分析缺一個(gè)都不算驗(yàn)證完視覺(jué)系統(tǒng)上車(chē)前驗(yàn)證不能只依賴(lài)封閉場(chǎng)地測(cè)試更完整的方法是離線(xiàn)回放、影子模式和切片分析三件套。離線(xiàn)回放就是把路采的原始相機(jī)流和傳感器時(shí)間戳喂給感知算法重跑一遍輸出感知結(jié)果和事先標(biāo)注的真值框做對(duì)比。這一步的意義是能精確復(fù)現(xiàn)問(wèn)題而且每次代碼改動(dòng)后都能用同一份數(shù)據(jù)做回歸測(cè)試。做法是寫(xiě)一個(gè)簡(jiǎn)單的數(shù)據(jù)回放工具把 ROS bag 里的圖像和時(shí)間戳按原速度讀取喂給感知節(jié)點(diǎn)。影子模式是指新算法與量產(chǎn)算法并行跑但新算法輸出不參與車(chē)輛控制只用于收集差異。產(chǎn)線(xiàn)上在用的舊版模型和新版模型同時(shí)推理每次輸出不一致的情況被記錄下來(lái)人工確認(rèn)到底誰(shuí)對(duì)。這樣可以在不影響車(chē)輛安全的前提下連續(xù)試運(yùn)行兩周覆蓋白天、夜晚、雨天、隧道等真實(shí)工況比開(kāi)環(huán)測(cè)試完整得多。切片分析是定位問(wèn)題的最后一公里。當(dāng)影子模式發(fā)現(xiàn)新舊算法輸出不一致時(shí)不能只看整體指標(biāo)要把不一致的幀做時(shí)間切片標(biāo)注出當(dāng)時(shí)的天氣、光照、車(chē)速、目標(biāo)距離。一個(gè)實(shí)用的做法是把每一幀的感知輸出和關(guān)鍵輸入圖保存為一個(gè)結(jié)構(gòu)化記錄包含目標(biāo)數(shù)、平均置信度、曝光時(shí)長(zhǎng)、車(chē)輛速度、轉(zhuǎn)向角。出了問(wèn)題后直接拉出來(lái)看這些維度的分布通常很快就能定位到是哪個(gè)場(chǎng)景觸發(fā)了劣化。我自己的習(xí)慣是每臺(tái)測(cè)試車(chē)上都放一套自動(dòng)記錄程序每 10 秒寫(xiě)一行摘要數(shù)據(jù)。某個(gè)版本在雨天晚上出現(xiàn)車(chē)道線(xiàn)抖動(dòng)回看記錄發(fā)現(xiàn)抖動(dòng)發(fā)生時(shí)相機(jī)曝光時(shí)間恰好卡在 35 毫秒的臨界點(diǎn)上這才鎖定了曝光策略的問(wèn)題。記錄摘要數(shù)據(jù)的成本極低排查時(shí)價(jià)值極高算是視覺(jué)系統(tǒng)上車(chē)投入產(chǎn)出比最高的一件小事。希望這篇筆記能幫你在做視覺(jué)技術(shù)落地方案時(shí)少走一圈彎路也希望你從第一個(gè)模型上車(chē)開(kāi)始就建好數(shù)據(jù)閉環(huán)和匯總記錄的習(xí)慣。本文還有配套的精品資源點(diǎn)擊獲取