相機內(nèi)參標定這件事做視覺的人早晚都要碰一次。不管你做的是SLAM、三維重建、工業(yè)測量還是機器人抓取只要涉及“從圖像反推空間信息”內(nèi)參不準就是繞不過去的坎。我見過不少朋友拿著一套隨手跑出來的內(nèi)參用了大半年項目出了奇怪問題才回頭查標定結(jié)果發(fā)現(xiàn)主點偏移了幾十個像素——這種坑一旦踩進去排查成本非常高。這篇內(nèi)容從相機成像模型出發(fā)把內(nèi)參標定涉及的針孔模型、畸變模型、標定實操全流程都拆開講包括重投影誤差怎么判斷、標定結(jié)果不穩(wěn)定怎么排查以及我在實際項目里反復踩過的坑和總結(jié)的經(jīng)驗。適合剛開始接觸視覺測量、正在搭SLAM或三維重建的開發(fā)者也適合那些標定流程跑得很熟但對底層原理說不清的老手重新梳理一遍底層邏輯。1. 內(nèi)參標定到底在解決什么問題1.1 標定的本質(zhì)建立像素坐標與空間方向的對應對相機做內(nèi)參標定本質(zhì)上就是在做一件事確定圖像像素坐標和相機坐標系下空間方向之間的換算關系。你可以把相機想象成一個“像素映射器”三維世界里的物體通過鏡頭最終落在感光元件上變成一個個像素。但這個映射不是隨意的它由鏡頭的光學結(jié)構(gòu)、感光元件的物理尺寸和裝配工藝共同決定。內(nèi)參標定就是用一個數(shù)學模型去擬合這套映射關系把這套關系中的全部參數(shù)估計出來。很多初學者容易把內(nèi)參和外參搞混。簡單說內(nèi)參描述的是“相機自己內(nèi)部”的映射屬性跟相機擺在什么位置、朝哪個方向無關外參描述的是相機坐標系相對于某個世界坐標系的姿態(tài)和位置。每次你移動相機外參都會變但內(nèi)參是不變的前提是焦距、分辨率這些硬件屬性沒動過。平時標定得到的K矩陣和畸變系數(shù)就是內(nèi)參的核心內(nèi)容它們一旦標錯后面做空間變換的所有環(huán)節(jié)都會跟著錯。1.2 內(nèi)參不準會帶來什么后果內(nèi)參不準的影響在不同應用里表現(xiàn)不一樣。在單目測距系統(tǒng)里內(nèi)參偏差會讓測得的距離整體偏移而且這種偏移往往不是線性的——近處誤差小、遠處誤差大很難通過簡單加個補償值解決。在三維重建里內(nèi)參不準會造成重建物體的表面扭曲比如平面變成曲面、直線變成弧線。在視覺定位里內(nèi)參不準會讓特征點的投影誤差增大導致位姿估計抖動甚至發(fā)散。一個典型的例子如果內(nèi)參矩陣中的主點cx, cy標錯了相當于你用錯誤的幾何中心來反解空間方向那么圖像邊緣的區(qū)域受影響最明顯因為離主點越遠角度偏差越大。這種誤差在“圖像中心區(qū)域”看起來還行一到視野邊緣就露餡。所以做高精度應用時尤其是要看圖像邊緣區(qū)域的應用內(nèi)參標定的質(zhì)量會直接決定系統(tǒng)能不能用。這也是為什么很多工業(yè)視覺項目對標定流程要求那么嚴格因為他們要處理的就是整個視野范圍里的測量邊緣精度一點都不能含糊。1.3 什么時候需要重新標定不少人不清楚相機在什么情況下必須重新標定。我的經(jīng)驗是動了鏡頭、換了相機分辨率、調(diào)過對焦環(huán)這三個動作任何一個發(fā)生內(nèi)參都可能變化最好重新標一遍。尤其是工業(yè)相機配定焦鏡頭很多人覺得“鏡頭裝上去就固定了”其實運輸震動、溫度變化都可能讓鏡頭和相機法蘭之間的位置發(fā)生微小改變內(nèi)參也會跟著漂移。所以我一般在項目啟動時標一次設備搬運之后再看一眼如果重投影誤差明顯變大就重標。2. 相機成像模型針孔模型與四坐標系變換2.1 針孔模型的核心公式針孔模型是相機成像最基礎的抽象它假設光線通過一個小孔在后面的成像平面上形成倒像。雖然真實鏡頭用的是透鏡組但針孔模型的數(shù)學框架依然是理解相機映射的起點。在不考慮畸變的情況下三維空間點P[X, Y, Z]在相機坐標系下投影到圖像物理平面上的坐標是x f * X / Zy f * Y / Z其中Z就是物距f是焦距。這個公式的本質(zhì)是相似三角形物體離相機越遠成像越小焦距越長成像越大?？梢阅猛队皟x做類比——投影儀離墻越遠畫面越大、亮度越暗這就是同一個幾何關系在反向工作。把這個物理坐標換算到像素坐標系考慮到像素在x和y方向上的物理尺寸不同dx、dy以及主點的偏移cx、cy就得到u fx * X / Z cxv fy * Y / Z cy其中fx f / dxfy f / dy。寫成齊次坐標形式更簡潔λ·[u, v, 1]? K·[X, Y, Z]?這里的K就是內(nèi)參矩陣。2.2 四個坐標系的變換鏈路理解成像模型最怕的就是坐標系混亂。我建議畫一條鏈世界坐標系3D你定義的基準→ 相機坐標系3D光心為原點→ 圖像坐標系2D物理單位毫米→ 像素坐標系2D像素單位世界坐標系到相機坐標系由外參[R|t]完成也就是旋轉(zhuǎn)加平移相機坐標系到圖像坐標系由焦距f完成這一步是透視投影圖像坐標系到像素坐標系由像素尺寸和主點完成這一步相當于做了一次平移和縮放。這條鏈路在數(shù)學上可以一次性寫成λ·[u, v, 1]? K·[R|t]·[X, Y, Z, 1]?很多朋友看公式覺得抽象我建議動手拿一個真實點算一遍假設世界坐標系下有個點P[0, 0, 1000]單位毫米相機正好對著它外參是單位旋轉(zhuǎn)、零平移那么相機坐標也是[0, 0, 1000]代入公式再除以λ就能算出像素坐標。手算一次之后四個坐標系之間的關系就再也不會忘了。2.3 內(nèi)參矩陣K中的每個參數(shù)逐個說清內(nèi)參矩陣K [[fx, 0, cx], [0, fy, cy], [0, 0, 1]]fx表示焦距在像素列方向上的度量單位是像素。它的物理意義可以理解為“焦距長度內(nèi)含多少個像素寬度”。fy同理。fx和fy的比值通常接近1如果相差太遠說明鏡頭在橫縱方向的放大率不一致或者圖像被做過非等比縮放。這種情況在某些工業(yè)相機和熱成像相機里比較常見如果不做處理測量時會出現(xiàn)橫縱比例失真的問題。cx和cy是主點坐標理想情況下應該在圖像正中心但實際裝配中感光元件不可能精確位于鏡頭光軸中心所以主點通常會有幾個像素到幾十個像素的偏移。有些朋友標定后發(fā)現(xiàn)cx、cy不在中心就慌其實完全沒必要這正是標定要糾正的偏差。只要標定本身可靠cx、cy偏離中心幾十像素也是正常現(xiàn)象。3. 畸變模型成像不聽話的那部分3.1 徑向畸變鏡頭形狀帶來的偏差針孔模型是理想情況真實鏡頭是透鏡組透鏡的曲面形狀決定了光線并不會精確聚到理想位置這就是畸變的來源。徑向畸變是其中最顯著的一類表現(xiàn)為直線在圖像里變成彎曲的弧線。桶形畸變最典型圖像邊緣的直線向外彎像一個木桶的輪廓枕形畸變則相反邊緣向內(nèi)收縮。數(shù)學上徑向畸變可以表示為x_distorted x·(1 k1·r2 k2·r? k3·r?)y_distorted y·(1 k1·r2 k2·r? k3·r?)這里的x、y是歸一化平面坐標r2 x2 y2。k1影響畸變的主要量k2、k3用于糾正大視場或魚眼鏡頭的邊緣畸變。普通鏡頭通常只需要k1和k2魚眼類鏡頭才需要考慮k3。你可以這樣理解r的冪次越高這項對遠離中心的區(qū)域影響越大所以高階項管的就是圖像邊角那一片。3.2 切向畸變裝配誤差帶來的偏差切向畸變比徑向畸變更難直觀理解它是鏡頭與感光元件不完全平行導致的。想象一下鏡頭光軸和圖像傳感器平面之間存在一個微小的夾角那么圖像看起來就像被“斜著切了一刀”的感覺直線會變成斜線但這和透視關系無關。數(shù)學模型為x_corrected x [2·p1·x·y p2·(r2 2·x2)]y_corrected y [p1·(r2 2·y2) 2·p2·x·y]p1和p2是切向畸變系數(shù)通常數(shù)值很小。一般情況下切向畸變比徑向畸變小一個數(shù)量級但在高精度標定里不能忽略。如果你標定出來的p1、p2特別大比如超過0.1就要懷疑是不是硬件裝配出了問題而不是單純把畸變模型擬合完就完事。3.3 畸變校正的完整鏈路畸變校正這個概念容易把人繞暈我?guī)湍憷硪幌路较?。標定做的是“從畸變圖像反推理想圖像”的逆過程也就是給定一個畸變的像素坐標尋找它對應的理想坐標。由于畸變方程是非線性的直接反解需要迭代OpenCV的內(nèi)部實現(xiàn)就是做這件事。實際使用中有兩種常用方式一種是直接調(diào)用undistort函數(shù)簡單方便適合離線處理單張圖另一種是用initUndistortRectifyMap先生成映射表mapx、mapy再用remap做查表變換適合視頻流實時處理因為映射表只需要計算一次后面每幀就是兩次查表加插值速度非?？?。我在實時視覺里程計項目里用的就是第二種方式在嵌入式平臺上處理1080p圖像也能保持實時。4. 標定實操流程從拍照到出參數(shù)4.1 標定板的選擇與準備標定板的選擇直接影響標定質(zhì)量。棋盤格是最常用的選擇角點檢測算法成熟、子像素定位精度高適合大多數(shù)場景。圓形標定板acircles在某些運動模糊或大角度拍攝場景下表現(xiàn)更好因為圓形質(zhì)心的檢測在透視變形下依然穩(wěn)定但依賴不規(guī)則間距的同心圓圖案檢測魯棒性取決于制造商的設計質(zhì)量。打印棋盤格時三個細節(jié)必須注意一是用啞光紙或啞光覆膜避免反光造成角點附近過曝二是把紙貼在一塊平整的硬板上我用過鋁板和亞克力板效果都不錯千萬別直接拿在手里手部微小的抖動都會讓圖片模糊三是確認棋盤格圖案的內(nèi)角點數(shù)比如一個10×7格的棋盤內(nèi)角點數(shù)是9×6這是findChessboardCorners函數(shù)需要的參數(shù)寫錯一個數(shù)程序就直接報錯了。另外每個格子的實際邊長要量準我習慣用游標卡尺量多個格子取平均而不是只量一個格子再乘以數(shù)量因為打印機可能存在累積誤差。4.2 圖像采集的姿勢與數(shù)量采集標定圖像是整個流程中最耗時、也最影響結(jié)果的環(huán)節(jié)。我的建議是拍攝15到30張左右寧多勿少。角度分布要覆蓋正視、左右傾斜、上下傾斜、旋轉(zhuǎn)讓標定板在畫面四個角落和中心都出現(xiàn)過。拍攝距離也要有變化近處、遠處各來幾張這樣標定出的焦距對不同物距都適用。實際操作中有幾個容易忽略的細節(jié)。第一不要只在一個固定距離下拍攝那樣標定出的參數(shù)只對這個距離有效換到其他距離誤差會變大。第二標定板在畫面中不要太小否則角點檢測不穩(wěn)定一般讓標定板占據(jù)圖像的1/3到1/2比較合適。第三光照要均勻避免標定板上有高光斑或者陰影覆蓋。第四持機要穩(wěn)如果手抖導致圖像模糊這組數(shù)據(jù)就直接作廢我會在采集完一批后快速檢查一遍凡是模糊的都刪掉。4.3 OpenCV標定代碼與參數(shù)解讀下面這段是OpenCV標定的核心流程我用它跑過不少項目整理成一個可以直接參考的版本import cv2 import numpy as np import glob # 棋盤格內(nèi)角點數(shù)量比如10×7格的棋盤就是 (9, 6) CHECKERBOARD (9, 6) # 每個格子的實際邊長單位mm SQUARE_SIZE 30.0 # 角點細化迭代條件 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 1e-6) # 世界坐標系下的棋盤格角點坐標 objp np.zeros((CHECKERBOARD[0] * CHECKERBOARD[1], 3), np.float32) objp[:, :2] np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]].T.reshape(-1, 2) objp * SQUARE_SIZE objpoints [] # 世界坐標點 imgpoints [] # 圖像角點坐標 images glob.glob(calib_images/*.jpg) for fname in images: img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, CHECKERBOARD, None) if ret: # 角點細化到子像素精度這一步非常關鍵 corners_refined cv2.cornerSubPix( gray, corners, (11, 11), (-1, -1), criteria ) objpoints.append(objp) imgpoints.append(corners_refined) # 標定主函數(shù) ret, mtx, dist, rvecs, tvecs cv2.calibrateCamera( objpoints, imgpoints, gray.shape[::-1], None, None ) print(重投影RMS誤差:, ret) print(內(nèi)參矩陣:\n, mtx) print(畸變系數(shù) (k1, k2, p1, p2, k3):\n, dist)cornerSubPix這一步很多人會省掉我建議一定保留它能把角點定位精度從像素級提升到亞像素級對標定結(jié)果的穩(wěn)定性影響很大。另外要注意calibrateCamera返回的第一個值ret是RMS重投影誤差單位是像素不是“準確率”這個值后面專門講。標定完成后必須做一步驗證單獨計算每張圖的平均重投影誤差找出誤差特別大的“壞圖”。total_error 0 for i in range(len(objpoints)): imgpoints_proj, _ cv2.projectPoints( objpoints[i], rvecs[i], tvecs[i], mtx, dist ) error cv2.norm(imgpoints[i], imgpoints_proj, cv2.NORM_L2) / len(imgpoints_proj) total_error error print(f第{i1}張圖重投影誤差: {error:.4f} px) print(f平均誤差: {total_error / len(objpoints):.4f} px)如果某張圖的誤差明顯大于整體水平比如其他都是0.2像素它突然到0.8像素那張圖大概率有問題刪掉重新標定。4.4 去畸變與映射表生成標定拿到參數(shù)后實際使用中要做去畸變處理。這里我推薦用映射表方式h, w gray.shape[:2] # 計算最優(yōu)新內(nèi)參矩陣alpha控制摳圖范圍 newcameramtx, roi cv2.getOptimalNewCameraMatrix( mtx, dist, (w, h), 1, (w, h) ) # 生成映射表 mapx, mapy cv2.initUndistortRectifyMap( mtx, dist, None, newcameramtx, (w, h), cv2.CV_32FC1 ) # 每幀用remap查表 dst cv2.remap(img, mapx, mapy, cv2.INTER_LINEAR)alpha參數(shù)值得解釋一下。alpha1表示保留所有原始像素輸出圖像四角會出現(xiàn)黑色區(qū)域alpha0表示裁剪掉黑色區(qū)域同時會讓圖像稍微放大、損失一部分邊緣視野。實際項目中如果邊緣區(qū)域也要用alpha設成0.5左右是個不錯的折中如果只關心中心區(qū)域直接alpha0就行。4.5 關于畸變模型選擇的建議OpenCV默認的5參數(shù)模型k1, k2, p1, p2, k3覆蓋了絕大多數(shù)普通鏡頭。但有些場景需要調(diào)整工業(yè)遠心鏡頭畸變通常極小一兩個參數(shù)就夠了廣角鏡頭或魚眼鏡頭普通模型擬合不準確應該用OpenCV的fisheye模塊它的模型里包含k1、k2、k3、k4四個徑向畸變參數(shù)專門為大視場設計。在標定之前先弄清楚你的鏡頭屬于哪種類型比埋頭調(diào)參數(shù)更重要。5. 常見問題與排查技巧實錄5.1 重投影誤差到底看什么重投影誤差是標定質(zhì)量的直接指標但很多人對這個數(shù)字的理解有偏差。它的含義是把世界坐標點通過標定出的內(nèi)外參投影到圖像上得到投影點和實際檢測角點之間的距離差單位是像素。RMS誤差在0.3像素以下說明標定質(zhì)量很好0.5像素以內(nèi)大多數(shù)應用都能接受超過1像素就說明標定數(shù)據(jù)里有問題需要排查。我之前做過一個工業(yè)測量項目標定RMS一直在1.5像素左右怎么調(diào)都下不來。后來把每張圖的誤差打出來發(fā)現(xiàn)有一張圖誤差特別大仔細一看那張照片標定板邊緣有一小塊反光角點檢測被帶偏了。刪掉那張重標RMS直接降到0.25。這個經(jīng)驗讓我養(yǎng)成了習慣標定完第一件事不是看RMS而是檢查每張圖的單項誤差分布。5.2 結(jié)果不穩(wěn)定的幾個典型原因標定結(jié)果不穩(wěn)定指的是連續(xù)標定幾次內(nèi)參和畸變系數(shù)差異很大。這個問題常見原因有五個第一標定板不平整。紙貼在彎曲的紙箱上、板子有折痕都會讓空間點坐標和實際不符。第二圖像數(shù)量太少或者角度覆蓋太單一。只拍正面圖畸變參數(shù)約束不足標定結(jié)果會漂移。第三標定板在圖像里太小角點定位精度下降。第四圖片里有運動模糊。這一點在手持標定板拍攝時特別常見尤其是快門速度不夠時。第五不同批次的圖像分辨率或縮放不一致。如果你從視頻里抽幀標定注意別用不同的縮放尺寸混在一起。5.3 快速排查清單我把常遇到的問題整理成一張表方便對照排查現(xiàn)象可能原因排查對策RMS大于1像素部分圖像模糊、反光、角點檢測錯誤剔除單圖誤差大的圖片后重標fx和fy差異超過5%圖像被非等比縮放或傳感器/鏡頭異常檢查圖像處理流程確認未做拉伸cx、cy偏移非常大鏡頭裝配偏差大或標定板只拍了偏移角度確保圖像覆蓋四角和中心去畸變后邊緣仍明顯彎曲畸變模型階數(shù)不足或標定板覆蓋不夠增加邊緣區(qū)域的拍攝角度換高階模型連續(xù)標定結(jié)果差異大標定板不平整、圖像數(shù)量不足、光照不均檢查標定板狀態(tài)增加圖像數(shù)量改善光照標定結(jié)果在不同距離下測量的精度差采集距離太單一在近、中、遠多個距離下采集圖像排查時我建議每次只改一個變量。比如先增加圖像數(shù)量看RMS有沒有降再換更平整的標定板不要同時換標定板、換光照、換算法不然出了問題你根本不知道是哪一步引起的。6. 最后分享一點個人體會很多朋友標定完了內(nèi)參矩陣和畸變系數(shù)一存就再不管了。我的習慣是每次標定完順便做一次靜態(tài)驗證打印一張A4棋盤格放在已知距離的位置用標定出的參數(shù)去反測距離看看跟真實距離差多少。這個驗證成本很低但能幫你建立對整套參數(shù)的信心也能在后續(xù)系統(tǒng)出問題時快速確認標定到底有沒有問題。還有一個小技巧把標定的中間結(jié)果——每張圖的角點檢測圖、重投影誤差列表——保存下來放到項目目錄里。這樣過幾個月回來看如果設備或算法出了問題你還能知道當初采集的圖像是什么樣的重投影誤差是多少排查起來會方便很多。好的標定不只是拿一組參數(shù)而是留一條可以追溯的完整記錄。