1. 從“為什么照片會變形”說起針孔模型到底解決了什么問題很多人第一次接觸機(jī)器視覺是從“相機(jī)拍出來的圖怎么和實(shí)際尺寸對不上”開始的。明明一個正方形的金屬塊標(biāo)定前拍出來邊緣是斜的角落還帶點(diǎn)弧度換一個鏡頭同樣的物體在畫面里大小又變了。這些現(xiàn)象背后其實(shí)都指向同一個底層問題三維世界到二維圖像的映射關(guān)系沒有被正確描述。而針孔模型就是描述這個映射關(guān)系最基礎(chǔ)、也最實(shí)用的一套數(shù)學(xué)工具。我剛開始做視覺項目時總覺得標(biāo)定就是“跑個程序、拿個矩陣”后來才發(fā)現(xiàn)如果不理解針孔模型里每個參數(shù)代表什么標(biāo)定結(jié)果對不對根本判斷不了。針孔模型的核心思想非常樸素假設(shè)光線從物體表面出發(fā)穿過一個理想的小孔投影到成像平面上。這個過程中三維點(diǎn)(X, Y, Z)到圖像點(diǎn)(u, v)的變換可以用一個3×4的投影矩陣來描述。這個矩陣?yán)锇藘?nèi)參和外參兩部分。內(nèi)參描述的是相機(jī)自身的“性格”焦距決定視野寬窄主點(diǎn)決定光軸打在傳感器上的位置像素尺寸決定物理尺寸和像素坐標(biāo)的換算關(guān)系。外參描述的是相機(jī)在世界坐標(biāo)系里的“站位”旋轉(zhuǎn)矩陣告訴相機(jī)朝哪個方向看平移向量告訴相機(jī)在什么位置。很多人標(biāo)定完只關(guān)心重投影誤差卻忽略了內(nèi)參的物理意義結(jié)果換一個工作距離發(fā)現(xiàn)精度完全不對——這就是因為針孔模型假設(shè)的是理想透視投影而實(shí)際鏡頭存在畸變尤其是短焦鏡頭邊緣畸變能到幾個像素甚至十幾個像素。這里有個容易被忽略的點(diǎn)針孔模型本身不包含畸變項。它描述的是理想情況下的線性投影。所以完整的成像模型應(yīng)該是“針孔模型 畸變模型”?；兡Ｐ统Ｒ姷挠袕较蚧兒颓邢蚧儚较蚧冇址滞靶魏驼硇?。工業(yè)相機(jī)配遠(yuǎn)心鏡頭時畸變往往很小針孔模型加一點(diǎn)點(diǎn)徑向畸變系數(shù)就能擬合得很好但如果是普通FA鏡頭尤其是焦距小于12mm的畸變系數(shù)可能要到k1、k2、k3三項才夠用。理解針孔模型的另一個價值是它能幫你判斷一個視覺任務(wù)到底能不能做。比如你要測量一個零件的尺寸精度要求0.02mm工作距離300mm視野100mm。用針孔模型反推如果相機(jī)分辨率是500萬像素2448×2048視野100mm對應(yīng)2448像素單像素物理尺寸約0.04mm。理論上一個像素對應(yīng)0.04mm要測到0.02mm至少需要亞像素精度。這時候你就知道光靠針孔模型不夠還得考慮鏡頭的MTF、傳感器的信噪比、光源的均勻性。針孔模型給了你一個理論下限實(shí)際能不能達(dá)到還要看整條成像鏈路。提示針孔模型是理想模型實(shí)際標(biāo)定時一定要把畸變系數(shù)一起優(yōu)化否則邊緣區(qū)域的測量誤差會遠(yuǎn)大于中心區(qū)域。2. 工業(yè)相機(jī)的成像鏈路從光子到像素值到底經(jīng)歷了什么很多人把工業(yè)相機(jī)當(dāng)成一個“黑盒”覺得只要選好分辨率、幀率、接口插上就能用。但真正做過高精度測量或者復(fù)雜光照場景的人都知道成像鏈路里每一個環(huán)節(jié)都會影響最終圖像的質(zhì)量。從光子打到物體表面到最終輸出一個灰度值中間至少經(jīng)歷了光學(xué)系統(tǒng)、傳感器光電轉(zhuǎn)換、模擬前端處理、數(shù)字量化、接口傳輸這幾個階段。任何一個階段出問題后面算法再強(qiáng)也救不回來。先看光學(xué)系統(tǒng)。鏡頭的作用不只是“把光聚到傳感器上”它還要控制景深、分辨率、畸變、透光率。工業(yè)鏡頭和普通攝影鏡頭最大的區(qū)別在于工業(yè)鏡頭更看重一致性。同一批次的兩個鏡頭焦距偏差、畸變曲線、中心到邊緣的分辨率衰減都要控制在很小范圍內(nèi)。我見過一個項目用普通鏡頭做尺寸測量換鏡頭后系統(tǒng)誤差直接偏了0.1mm就是因為兩個鏡頭的實(shí)際焦距不一致。后來換成遠(yuǎn)心鏡頭問題才解決。遠(yuǎn)心鏡頭的特點(diǎn)是主光線平行于光軸放大倍率不隨工作距離變化特別適合測量有厚度的物體。傳感器環(huán)節(jié)是很多人忽略的重點(diǎn)。CCD和CMOS的差異在工業(yè)領(lǐng)域已經(jīng)沒那么絕對了現(xiàn)在大部分工業(yè)相機(jī)都用CMOS因為幀率高、功耗低、成本可控。但CMOS傳感器有個特性卷簾快門。逐行曝光意味著運(yùn)動物體在曝光期間位置在變拍出來的圖像會傾斜。如果你要拍運(yùn)動中的零件要么用全局快門傳感器要么用閃光燈把曝光時間壓到極短。我吃過這個虧用卷簾快門相機(jī)拍傳送帶上的零件靜止時標(biāo)定得好好的一動起來測量值就偏后來換成全局快門才穩(wěn)定。模擬前端和數(shù)字量化決定了灰度值的線性度和噪聲水平。工業(yè)相機(jī)通常輸出8bit、10bit或12bit圖像。8bit就是256級灰度對于高動態(tài)范圍場景比如同時有反光金屬和暗色橡膠8bit很容易過曝或欠曝。12bit有4096級后期做HDR合成或者局部對比度增強(qiáng)時余地大很多。但要注意很多相機(jī)標(biāo)稱12bit實(shí)際有效位數(shù)可能只有10bit左右低位是噪聲。選型時最好看廠家的信噪比和動態(tài)范圍指標(biāo)而不是只看ADC位數(shù)。接口傳輸環(huán)節(jié)GigE、USB3.0、Camera Link、CoaXPress各有適用場景。GigE傳輸距離長、成本低但帶寬有限高分辨率高幀率時容易丟包USB3.0帶寬高、供電方便但線纜長度受限工業(yè)現(xiàn)場電磁干擾大的話容易斷連Camera Link和CoaXPress更穩(wěn)定但需要采集卡成本高。我一般建議如果分辨率在500萬以下、幀率30fps以內(nèi)GigE夠用如果2000萬像素還要跑60fps直接上CoaXPress或者萬兆網(wǎng)口別在接口上省錢。鏈路環(huán)節(jié)關(guān)鍵參數(shù)常見問題選型建議鏡頭焦距、光圈、畸變、遠(yuǎn)心度邊緣模糊、放大倍率不一致測量優(yōu)先遠(yuǎn)心普通檢測用FA傳感器快門類型、量子效率、讀出噪聲運(yùn)動模糊、暗部噪聲大運(yùn)動物體用全局快門量化ADC位數(shù)、有效位數(shù)過曝、暗部細(xì)節(jié)丟失高動態(tài)場景選10bit以上接口帶寬、線纜長度、抗干擾丟包、斷連、延遲高帶寬用CoaXPress/萬兆網(wǎng)注意成像鏈路是串聯(lián)系統(tǒng)最終圖像質(zhì)量取決于最弱的那一環(huán)。別只盯著相機(jī)分辨率鏡頭和光源往往才是瓶頸。3. 標(biāo)定實(shí)操從棋盤格到重投影誤差每一步都在驗證什么標(biāo)定這件事說簡單也簡單OpenCV幾行代碼就能跑出內(nèi)參和畸變系數(shù)說復(fù)雜也復(fù)雜因為標(biāo)定結(jié)果的好壞直接決定了后續(xù)測量的精度。我見過太多人標(biāo)定完只看重投影誤差誤差小于0.1像素就覺得萬事大吉結(jié)果實(shí)際測量時發(fā)現(xiàn)不同位置的誤差分布完全不一樣。問題出在重投影誤差是平均指標(biāo)它掩蓋了局部誤差。標(biāo)定的本質(zhì)是求解一個優(yōu)化問題找到一組內(nèi)參、外參、畸變系數(shù)使得三維標(biāo)定板上的角點(diǎn)投影到圖像上的位置和實(shí)際檢測到的角點(diǎn)位置之間的差異最小。這個差異就是重投影誤差。但優(yōu)化算法容易陷入局部最優(yōu)尤其是標(biāo)定板姿態(tài)不夠豐富的時候。如果所有標(biāo)定板圖像都是正對著相機(jī)拍的那外參的旋轉(zhuǎn)分量估計會很不準(zhǔn)畸變系數(shù)也會和焦距耦合在一起導(dǎo)致標(biāo)定結(jié)果看起來誤差小實(shí)際用起來偏得離譜。我的經(jīng)驗是標(biāo)定板姿態(tài)要覆蓋整個視野并且要有足夠的傾斜角度。一般建議至少15到20張圖其中要有幾張是明顯傾斜的讓標(biāo)定板平面和成像平面夾角在30度以上。這樣做的目的是讓優(yōu)化算法能區(qū)分焦距和畸變——如果標(biāo)定板總是正對相機(jī)徑向畸變和焦距變化在圖像上的表現(xiàn)很相似算法分不清。傾斜之后畸變的非線性特征就明顯了解算更穩(wěn)定。標(biāo)定板本身也有講究。棋盤格是最常用的因為角點(diǎn)檢測精度高、算法成熟。但棋盤格的角點(diǎn)檢測依賴黑白邊界如果鏡頭畸變很大邊緣的棋盤格會變形角點(diǎn)檢測可能失敗。這時候可以用圓點(diǎn)標(biāo)定板圓心的檢測對畸變沒那么敏感。另外標(biāo)定板的平整度很關(guān)鍵。我買過一塊便宜的陶瓷標(biāo)定板看著挺平實(shí)際用激光干涉儀一測中間凸了0.05mm標(biāo)定出來的畸變系數(shù)怎么都不對。后來換成玻璃基底的問題才解決。標(biāo)定流程大致是這樣的先采集不同姿態(tài)的標(biāo)定板圖像然后檢測角點(diǎn)接著初始化內(nèi)參再用非線性優(yōu)化求解所有參數(shù)最后評估重投影誤差。OpenCV的calibrateCamera函數(shù)把這些步驟都封裝好了但有幾個參數(shù)需要特別注意。flags參數(shù)控制哪些參數(shù)參與優(yōu)化如果一開始就讓所有參數(shù)自由優(yōu)化容易過擬合。我一般先用CALIB_FIX_ASPECT_RATIO固定縱橫比跑一遍得到初值再放開所有參數(shù)精調(diào)。criteria參數(shù)控制迭代終止條件默認(rèn)是30次迭代或者誤差變化小于1e-6對于高精度標(biāo)定可以適當(dāng)放寬迭代次數(shù)。標(biāo)定完之后一定要做驗證。驗證的方法不是看重投影誤差而是用標(biāo)定結(jié)果去測量一個已知尺寸的物體看測量值和真實(shí)值的偏差。我通常會用標(biāo)準(zhǔn)量塊或者高精度棋盤格在視野的四個角和中心分別測量看誤差分布。如果中心誤差小、邊緣誤差大說明畸變模型不夠如果整體都有固定偏差說明外參或者像素尺寸有問題。這個驗證步驟比標(biāo)定本身更重要因為它直接告訴你標(biāo)定結(jié)果能不能用。import cv2 import numpy as np # 棋盤格內(nèi)角點(diǎn)數(shù)量比如9x6 pattern_size (9, 6) objp np.zeros((pattern_size[0]*pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) objpoints [] # 三維點(diǎn) imgpoints [] # 二維點(diǎn) # 讀取標(biāo)定圖像 images [calib_01.jpg, calib_02.jpg, calib_03.jpg] for fname in images: img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, pattern_size, None) if ret: objpoints.append(objp) # 亞像素優(yōu)化 corners2 cv2.cornerSubPix(gray, corners, (11,11), (-1,-1), criteria(cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)) imgpoints.append(corners2) # 標(biāo)定 ret, mtx, dist, rvecs, tvecs cv2.calibrateCamera( objpoints, imgpoints, gray.shape[::-1], None, None) print(內(nèi)參矩陣:\n, mtx) print(畸變系數(shù):, dist.ravel())提示標(biāo)定圖像不要只拍十幾張就完事建議拍30張以上覆蓋不同距離、不同角度、不同位置最后用重投影誤差和實(shí)際測量雙重驗證。4. 光源與成像質(zhì)量為什么同樣的相機(jī)換光源就像換了一臺設(shè)備在機(jī)器視覺里光源的重要性經(jīng)常被低估。很多人愿意花幾萬塊買相機(jī)和鏡頭卻在光源上隨便找個環(huán)形燈湊合。結(jié)果就是圖像對比度低、邊緣模糊、反光嚴(yán)重算法調(diào)來調(diào)去都不穩(wěn)定。我個人的經(jīng)驗是光源對成像質(zhì)量的影響不亞于相機(jī)和鏡頭。同樣的相機(jī)和鏡頭換一個合適的光源圖像質(zhì)量能有質(zhì)的飛躍。光源的核心作用不是“照亮物體”而是“制造對比度”。機(jī)器視覺算法依賴的是圖像中的灰度差異如果目標(biāo)和背景的灰度值差不多邊緣檢測、閾值分割、模板匹配都會失效。好的光源設(shè)計能讓目標(biāo)特征和背景形成明顯的灰度差同時抑制不需要的特征。比如檢測金屬表面的劃痕用低角度暗場照明劃痕會散射光線在暗背景上形成亮線如果用同軸光劃痕和表面的反射率差不多根本看不出來。常見的光源類型有環(huán)形光、條形光、背光、同軸光、穹頂光、點(diǎn)光源。環(huán)形光最常用安裝方便適合一般表面檢測條形光靈活可以組合成各種角度背光用于測量輪廓和透明物體同軸光適合反光表面的均勻照明穹頂光提供無影照明適合曲面和復(fù)雜形狀點(diǎn)光源配合光纖適合狹小空間。選光源的時候先問自己我要突出什么特征這個特征和背景在光學(xué)特性上有什么差異然后根據(jù)差異選照明方式。光源的顏色也很有講究。單色光可以增強(qiáng)特定顏色的對比度。比如檢測紅色物體上的黑色標(biāo)記用紅色光源紅色物體反射紅光變成亮背景黑色標(biāo)記吸收光變成暗目標(biāo)對比度就出來了。如果用白光紅色物體和黑色標(biāo)記的灰度差可能不夠。另外紅外光可以穿透某些材料用于檢測內(nèi)部缺陷紫外光可以激發(fā)熒光用于特殊標(biāo)記檢測。我做過一個項目檢測透明薄膜上的微小缺陷用普通白光怎么都拍不清楚后來換成紫外光配合熒光標(biāo)記缺陷一目了然。光源的穩(wěn)定性同樣關(guān)鍵。LED光源用久了會光衰溫度變化也會影響亮度。如果視覺系統(tǒng)依賴固定的灰度閾值光源亮度漂移會導(dǎo)致誤判。解決辦法有兩個一是用恒流驅(qū)動保持電流穩(wěn)定二是定期用標(biāo)準(zhǔn)白板校準(zhǔn)動態(tài)調(diào)整曝光或閾值。我一般會在系統(tǒng)里加一個亮度監(jiān)測模塊每次開機(jī)先拍一張標(biāo)準(zhǔn)白板自動調(diào)整曝光時間保證灰度值一致。光源類型適用場景優(yōu)點(diǎn)缺點(diǎn)環(huán)形光一般表面檢測安裝方便、均勻反光表面易產(chǎn)生光暈條形光邊緣檢測、劃痕角度靈活、對比度高需要多角度組合背光輪廓測量、透明物體邊緣銳利、對比度極高占用空間、不適用表面檢測同軸光反光表面均勻無陰影成本高、工作距離短穹頂光曲面、復(fù)雜形狀無影、均勻體積大、亮度較低注意光源不是越亮越好。過亮?xí)?dǎo)致傳感器飽和過暗會信噪比不足。調(diào)光源的時候先固定相機(jī)曝光再調(diào)光源亮度讓目標(biāo)區(qū)域的灰度值落在傳感器線性區(qū)間的中間偏上位置。5. 從圖像到測量針孔模型在實(shí)際項目中的誤差來源與補(bǔ)償理解了針孔模型和成像鏈路最終還是要落到實(shí)際測量上。很多人標(biāo)定完、搭好光源以為就能直接測了結(jié)果發(fā)現(xiàn)測量值和真實(shí)值總有偏差而且偏差還不穩(wěn)定。這時候就需要系統(tǒng)地分析誤差來源。機(jī)器視覺測量的誤差從來不是單一因素造成的而是多個環(huán)節(jié)誤差的累積和耦合。第一個誤差來源是鏡頭畸變。雖然標(biāo)定時已經(jīng)補(bǔ)償了徑向和切向畸變但畸變模型是近似不可能完全擬合。尤其是視野邊緣殘余畸變可能還有0.1到0.5個像素。如果測量精度要求亞像素這個殘余畸變就不能忽略。解決辦法是盡量讓被測特征落在視野中心區(qū)域或者用更高階的畸變模型再或者用遠(yuǎn)心鏡頭從根本上減小畸變。第二個誤差來源是透視誤差。針孔模型是透視投影物體離相機(jī)越遠(yuǎn)成像越小。如果被測物體有厚度上下表面的放大倍率不一樣測量邊緣時就會引入誤差。比如測量一個圓柱的直徑如果從側(cè)面拍圓柱的輪廓邊緣對應(yīng)的是切點(diǎn)不是直徑端點(diǎn)測量值會偏小。這時候要么用遠(yuǎn)心鏡頭消除透視要么用背光只測輪廓要么通過多視角重建來補(bǔ)償。第三個誤差來源是像素當(dāng)量標(biāo)定誤差。像素當(dāng)量就是每個像素對應(yīng)多少物理尺寸通常用標(biāo)準(zhǔn)量塊或者標(biāo)定板來標(biāo)定。但標(biāo)定板的制造精度、放置角度、溫度變化都會影響像素當(dāng)量。我一般會用多個標(biāo)準(zhǔn)件在不同位置測量取平均值作為像素當(dāng)量并且定期復(fù)檢。如果工作距離變了像素當(dāng)量必須重新標(biāo)定因為放大倍率變了。第四個誤差來源是圖像處理算法的偏差。邊緣檢測算法有很多種基于梯度的、基于矩的、基于擬合的不同算法對同一個邊緣的定位結(jié)果可能差0.1到0.3個像素。選擇算法時要考慮邊緣的對比度、噪聲水平、曲率。比如直線邊緣用Canny加亞像素擬合圓弧邊緣用圓擬合或者卡尺工具。另外閾值的選擇也會影響邊緣位置閾值偏高邊緣往亮區(qū)偏閾值偏低邊緣往暗區(qū)偏。我通常會用多個閾值跑一遍看邊緣位置的穩(wěn)定性選最穩(wěn)定的那個。第五個誤差來源是環(huán)境因素。溫度變化會導(dǎo)致相機(jī)傳感器熱脹冷縮機(jī)械結(jié)構(gòu)變形鏡頭焦距漂移。振動會導(dǎo)致圖像模糊等效于降低分辨率。環(huán)境光變化會影響光源的穩(wěn)定性。這些因素在實(shí)驗室里不明顯到了產(chǎn)線上就暴露了。我做過一個項目白天和晚上測量結(jié)果差0.05mm后來發(fā)現(xiàn)是空調(diào)出風(fēng)口對著相機(jī)吹溫度變化導(dǎo)致鏡頭輕微變形。加了隔熱罩和恒溫措施后問題才解決。補(bǔ)償這些誤差沒有一勞永逸的辦法只能逐項分析、逐項控制。我的做法是先做誤差預(yù)算列出所有可能的誤差源估算每個誤差源的大小然后看總誤差是否滿足要求。如果不夠就針對最大的誤差源采取措施。比如畸變殘余是主要誤差就換遠(yuǎn)心鏡頭透視誤差是主要誤差就改背光或者多視角環(huán)境振動是主要誤差就加防振臺。誤差預(yù)算這個習(xí)慣能讓你在項目初期就判斷方案可不可行而不是做到一半才發(fā)現(xiàn)精度達(dá)不到。# 亞像素邊緣定位示例一維灰度矩方法 import numpy as np def subpixel_edge(gray_line): 輸入一維灰度剖面輸出亞像素邊緣位置 # 計算梯度 grad np.abs(np.diff(gray_line)) # 找到梯度最大位置 peak np.argmax(grad) # 用前后三點(diǎn)做拋物線擬合 if peak 0 or peak len(grad)-1: return peak y0, y1, y2 grad[peak-1], grad[peak], grad[peak1] denom 2 * (y0 - 2*y1 y2) if denom 0: return peak offset (y0 - y2) / denom return peak offset提示誤差預(yù)算是視覺項目立項階段最重要的文檔之一。把每個誤差源的量級寫清楚比事后反復(fù)調(diào)參高效得多。6. 選型與調(diào)試中的幾個反直覺經(jīng)驗做了這么多年視覺項目踩過的坑不少有些經(jīng)驗跟教科書上寫的不太一樣但確實(shí)管用。這里挑幾個反直覺的分享一下希望能幫你少走彎路。第一個反直覺經(jīng)驗高分辨率相機(jī)不一定帶來高精度。很多人覺得像素越多測量越準(zhǔn)。但實(shí)際上像素多了單像素的進(jìn)光量減少信噪比下降邊緣定位的噪聲反而可能變大。而且高分辨率對鏡頭的解析力要求更高如果鏡頭喂不飽傳感器多出來的像素全是模糊的。我對比過500萬和2000萬像素相機(jī)測同一個零件在同樣視野下2000萬像素的重復(fù)性并沒有明顯提升反而因為噪聲大了邊緣波動更明顯。后來換了高信噪比的傳感器才把精度提上去。所以選相機(jī)時先看信噪比和量子效率再看分辨率。第二個反直覺經(jīng)驗幀率不是越高越好。高幀率意味著曝光時間短進(jìn)光量少圖像暗、噪聲大。如果產(chǎn)線速度不快用低幀率長曝光圖像質(zhì)量會好很多。我見過一個項目為了追求速度用了200fps的相機(jī)結(jié)果曝光時間只有幾十微秒光源得開到極亮LED發(fā)熱嚴(yán)重光衰很快。后來降到50fps曝光時間長了光源亮度降下來系統(tǒng)反而更穩(wěn)定。幀率夠用就行別為了參數(shù)好看犧牲圖像質(zhì)量。第三個反直覺經(jīng)驗標(biāo)定板不是越貴越好但太便宜的肯定不行。標(biāo)定板的精度直接影響標(biāo)定結(jié)果但也不是說非要買干涉儀級別的。對于一般工業(yè)測量標(biāo)定板平整度在5微米以內(nèi)就夠用了。關(guān)鍵是標(biāo)定板的圖案要清晰、對比度高、角點(diǎn)銳利。我買過一塊便宜的打印標(biāo)定板角點(diǎn)模糊檢測出來的角點(diǎn)位置波動好幾個像素標(biāo)定結(jié)果完全不能用。后來換成陶瓷基底的雖然貴一點(diǎn)但一次標(biāo)定就能穩(wěn)定用半年。第四個反直覺經(jīng)驗光源角度比光源亮度更重要。很多人調(diào)光源就是調(diào)亮度調(diào)來調(diào)去效果都不好。其實(shí)改變光源角度往往能帶來質(zhì)的改變。比如檢測玻璃表面的劃痕正面打光什么都看不到把光源移到側(cè)面用暗場照明劃痕立刻顯現(xiàn)。再比如檢測金屬表面的字符同軸光下字符和背景對比度很低換成低角度環(huán)形光字符的凹凸產(chǎn)生陰影對比度就出來了。調(diào)光源的時候先別動亮度先試角度角度對了再調(diào)亮度。第五個反直覺經(jīng)驗算法不是越復(fù)雜越好。有些項目一上來就用深度學(xué)習(xí)結(jié)果數(shù)據(jù)不夠、標(biāo)注成本高、推理速度慢最后效果還不如傳統(tǒng)算法。傳統(tǒng)算法在特征明確、光照可控的場景下穩(wěn)定性和速度都有優(yōu)勢。我一般建議先用傳統(tǒng)算法跑一遍如果精度和穩(wěn)定性滿足要求就別上深度學(xué)習(xí)如果傳統(tǒng)算法確實(shí)搞不定再考慮深度學(xué)習(xí)并且要做好數(shù)據(jù)采集和標(biāo)注的準(zhǔn)備。算法選型要看場景不是看熱度。反直覺經(jīng)驗常見做法更優(yōu)做法原因分辨率越高越好看信噪比和鏡頭解析力高像素可能噪聲大、鏡頭喂不飽幀率越高越好夠用即可優(yōu)先圖像質(zhì)量高幀率導(dǎo)致曝光短、噪聲大標(biāo)定板越貴越好平整度5微米以內(nèi)即可關(guān)鍵是圖案清晰、角點(diǎn)銳利光源調(diào)亮度先調(diào)角度再調(diào)亮度角度決定對比度亮度只是輔助算法越復(fù)雜越好傳統(tǒng)算法優(yōu)先簡單場景傳統(tǒng)算法更穩(wěn)更快提示視覺系統(tǒng)調(diào)試時先固定所有變量只調(diào)一個參數(shù)觀察效果變化。同時調(diào)多個參數(shù)出了問題根本不知道是哪個引起的。7. 寫在最后幾個能幫你省時間的實(shí)操習(xí)慣做機(jī)器視覺項目技術(shù)是一方面習(xí)慣是另一方面。好的習(xí)慣能讓你少加班、少背鍋。我分享幾個自己一直在用的實(shí)操習(xí)慣都是踩坑之后總結(jié)出來的。第一個習(xí)慣每次實(shí)驗都記錄參數(shù)和結(jié)果。相機(jī)型號、鏡頭焦距、光圈值、工作距離、光源類型和角度、曝光時間、增益、標(biāo)定結(jié)果、測量數(shù)據(jù)全部記下來。視覺項目參數(shù)多過兩天就忘了當(dāng)時怎么調(diào)的。有記錄的話復(fù)現(xiàn)和對比都方便。我一般用表格記錄每次實(shí)驗一行時間、參數(shù)、結(jié)果、備注。這個習(xí)慣看起來麻煩但關(guān)鍵時刻能救命。第二個習(xí)慣標(biāo)定之后立刻做驗證不要等。標(biāo)定完馬上用標(biāo)準(zhǔn)件測一遍看誤差分布。如果誤差大立刻找原因別等到項目后期才發(fā)現(xiàn)。標(biāo)定和驗證之間的時間越短越容易定位問題。我見過有人標(biāo)定完就扔一邊過了兩周才用結(jié)果發(fā)現(xiàn)標(biāo)定板已經(jīng)動過了只能重來。第三個習(xí)慣光源和相機(jī)分開調(diào)試。先調(diào)光源把圖像對比度調(diào)到最好再調(diào)相機(jī)曝光和增益讓灰度值落在合適區(qū)間。如果同時調(diào)很容易互相干擾。調(diào)光源的時候相機(jī)參數(shù)固定調(diào)相機(jī)的時候光源固定。這樣每一步的效果都清晰。第四個習(xí)慣保留原始圖像。不管算法怎么處理原始圖像一定要存。后期如果發(fā)現(xiàn)算法有問題還能用原始圖像重新跑。我一般會存一批典型圖像包括合格品、不合格品、邊界情況作為回歸測試集。每次改算法先跑一遍測試集看有沒有把原來對的搞錯了。第五個習(xí)慣定期復(fù)檢系統(tǒng)精度。視覺系統(tǒng)不是裝好就一勞永逸的鏡頭會松動、光源會光衰、相機(jī)傳感器會老化。我一般每周用標(biāo)準(zhǔn)件復(fù)檢一次記錄測量值的變化趨勢。如果發(fā)現(xiàn)漂移及時校準(zhǔn)。這個習(xí)慣能避免批量誤判減少產(chǎn)線損失。這些習(xí)慣都不復(fù)雜但堅持下來項目成功率會高很多。機(jī)器視覺入門不難難的是把每個細(xì)節(jié)都做到位。針孔模型、成像鏈路、標(biāo)定、光源、誤差分析每一塊都有坑但每一塊也都有方法。希望這篇內(nèi)容能幫你建立完整的知識框架在實(shí)際項目中少踩幾個坑。