1. 為什么是SGBM雙目立體匹配的選型邏輯1.1 雙目匹配解決的本質(zhì)問(wèn)題做機(jī)器視覺(jué)、自動(dòng)駕駛或者三維重建的朋友對(duì)“雙目立體匹配”這個(gè)詞一定不陌生。它要解決的根本問(wèn)題只有一個(gè)給定左右兩臺(tái)相機(jī)拍攝的同一場(chǎng)景的兩幅圖像如何找到空間中同一個(gè)物理點(diǎn)在左圖和右圖中對(duì)應(yīng)的像素位置從而計(jì)算出該點(diǎn)的視差disparity再根據(jù)視差和相機(jī)參數(shù)換算出深度信息。簡(jiǎn)單說(shuō)就是讓計(jì)算機(jī)擁有類似人眼的“立體感知”能力。人眼能判斷遠(yuǎn)近靠的是左右眼看到的畫(huà)面存在水平位置差異——離得近的物體在左右眼視網(wǎng)膜上的位置差大離得遠(yuǎn)的物體位置差小。這個(gè)位置差就是視差。雙目相機(jī)模仿的正是這個(gè)機(jī)制左圖和右圖來(lái)自兩個(gè)水平擺放的相機(jī)空間中某一點(diǎn)在左圖中落在像素坐標(biāo) (x_L)在右圖中落在像素坐標(biāo) (x_R)視差 (d x_L - x_R)。深度 (Z) 與視差 (d) 滿足關(guān)系 (Z \frac{f \cdot B}drlblxrh1)其中 (f) 是焦距(B) 是基線距離兩個(gè)相機(jī)光心之間的距離。所以只要能算準(zhǔn)每個(gè)像素的視差深度圖就出來(lái)了三維信息也就有了。1.2 SGBM的優(yōu)勢(shì)與定位立體匹配算法家族龐大從簡(jiǎn)單的塊匹配BM到全局方法Graph Cut、Belief Propagation再到近年火熱的端到端深度學(xué)習(xí)方法PSMNet、RAFT-Stereo等各有優(yōu)劣。SGBMSemi-Global Block Matching半全局塊匹配是Hirschmuller在2005年提出的經(jīng)典算法它的定位非常特別在不犧牲太多速度的前提下盡量逼近全局算法的精度。這句話怎么理解全局算法如Graph Cut是把整張圖的能量函數(shù)做最優(yōu)化精度高但計(jì)算量巨大實(shí)時(shí)性很差。樸素局部算法如BM只考慮一個(gè)局部窗口內(nèi)的匹配代價(jià)速度快但在弱紋理區(qū)域、重復(fù)紋理區(qū)域和遮擋區(qū)域經(jīng)常出錯(cuò)。SGBM走的是一條中間路線它在每個(gè)像素點(diǎn)沿多個(gè)方向通常是4路或8路做一維動(dòng)態(tài)規(guī)劃把二維圖像的能量最小化問(wèn)題近似分解成多個(gè)一維路徑上的代價(jià)聚合問(wèn)題。這樣做的好處是既保留了對(duì)全局平滑性的約束又大幅壓縮了計(jì)算復(fù)雜度在CPU上就能達(dá)到準(zhǔn)實(shí)時(shí)的速度。當(dāng)年我在做第一版雙目測(cè)距原型時(shí)對(duì)比過(guò)BM、SGBM和Graph Cut三者的實(shí)際效果。BM在實(shí)驗(yàn)室白墻場(chǎng)景下直接輸出一堆“洞”和“條紋噪聲”Graph Cut精度確實(shí)高但一幀要算好幾秒只有SGBM在精度和速度之間拿到了最佳平衡。直到今天在嵌入式平臺(tái)和實(shí)時(shí)性要求高的場(chǎng)景里SGBM依然是工程上非常可靠的選型。即便深度學(xué)習(xí)立體匹配已經(jīng)很強(qiáng)但SGBM不依賴GPU、不依賴大規(guī)模訓(xùn)練數(shù)據(jù)、模型通用性強(qiáng)的特點(diǎn)讓它依然是很多產(chǎn)品落地時(shí)的首選或兜底方案。2. SGBM核心原理拆解四步走完一幅視差圖2.1 匹配代價(jià)計(jì)算算法感知世界的起點(diǎn)SGBM的第一步是計(jì)算匹配代價(jià)也就是評(píng)估“左圖中的像素 (p) 在右圖中偏移視差 (d) 后對(duì)應(yīng)的像素與 (p) 有多像”。代價(jià)越小說(shuō)明越匹配。這一步是整個(gè)算法感知世界的起點(diǎn)直接決定了后續(xù)優(yōu)化的“初始原料”質(zhì)量。SGBM的經(jīng)典實(shí)現(xiàn)中代價(jià)計(jì)算通常采用互信息Mutual Information, MI或者基于圖像梯度與灰度相結(jié)合的代價(jià)函數(shù)。不過(guò)工程上更常用的是Birchfield-TomasiBT代價(jià)也就是OpenCV中SGBM默認(rèn)采用的方式。BT代價(jià)有一個(gè)顯著優(yōu)點(diǎn)它對(duì)圖像的采樣噪聲不敏感。傳統(tǒng)做法是直接比較左右像素的灰度值兩個(gè)像素如果是同一個(gè)點(diǎn)的投影理論上灰度應(yīng)該一致。但現(xiàn)實(shí)中左右相機(jī)曝光差異、鏡頭畸變殘余、物體表面非朗伯反射等都會(huì)導(dǎo)致同名點(diǎn)灰度不一致直接做灰度差容易出現(xiàn)大量誤匹配。BT代價(jià)允許像素在一定范圍內(nèi)“游走”通過(guò)線性插值尋找最優(yōu)匹配位置相當(dāng)于給灰度比較加了一層“容錯(cuò)”。在實(shí)現(xiàn)層面SGBM通常會(huì)在每個(gè)視差層級(jí)下計(jì)算左圖和右圖各自的梯度信息將“灰度絕對(duì)值差”AD與“梯度絕對(duì)值差”Gradient結(jié)合作為代價(jià)值。這樣做的意義在于梯度信息對(duì)光照變化相對(duì)魯棒可以在一定程度抵消左右圖像亮度不一致的影響。很多剛接觸SGBM的朋友以為它只比較灰度這是常見(jiàn)誤區(qū)。實(shí)際上好的代價(jià)函數(shù)設(shè)計(jì)往往是用兩個(gè)維度——強(qiáng)度與梯度——共同約束匹配這也是為什么參數(shù)調(diào)優(yōu)時(shí)針對(duì)不同場(chǎng)景要調(diào)整代價(jià)計(jì)算里的權(quán)重因子。2.2 代價(jià)聚合讓每一像素都有全局視野如果只做逐像素的代價(jià)計(jì)算然后每個(gè)像素獨(dú)立取最小代價(jià)對(duì)應(yīng)的視差結(jié)果通常慘不忍睹。原因很簡(jiǎn)單單像素的信息太有限了在紋理稀疏區(qū)域或者重復(fù)紋理區(qū)域很多候選視差下的代價(jià)都很接近選哪個(gè)純靠運(yùn)氣。這就是所謂的“局部最優(yōu)”陷阱。SGBM的核心創(chuàng)新就在這一步代價(jià)聚合。它的思路是如果在二維圖像上做全局能量最小化太慢那不如在多個(gè)一維方向上做動(dòng)態(tài)規(guī)劃再把每個(gè)方向的結(jié)果累加起來(lái)。每個(gè)方向上的動(dòng)態(tài)規(guī)劃本質(zhì)上是在做這樣一件事當(dāng)路徑掃過(guò)一個(gè)像素時(shí)它不僅僅看當(dāng)前像素自身的匹配代價(jià)還會(huì)參考路徑上之前掃描過(guò)的像素的視差變化情況。如果某個(gè)像素選了視差 (d)而它的鄰居選了另一個(gè)視差 (d)兩者相差越大懲罰越大。這種懲罰機(jī)制讓算法傾向于生成平滑的視差圖同時(shí)又能接受真實(shí)的深度跳變。用生活類比來(lái)解釋想象你在一個(gè)擁擠的集市里判斷每個(gè)人離你的距離。如果你只盯住一個(gè)人看很容易被遮擋和相似穿著的行人搞暈。但如果你同時(shí)觀察一條直線上的多個(gè)人利用“人與人之間的相對(duì)位置關(guān)系”來(lái)互相印證判斷就會(huì)準(zhǔn)確得多。SGBM的多路徑聚合就是這個(gè)道理——把一維路徑上的信息“串聯(lián)”起來(lái)讓每個(gè)像素的視差決策參考鄰居的決策形成一個(gè)全局趨勢(shì)。為什么要分多條路徑呢因?yàn)椴煌窂侥懿蹲讲煌较虻募y理和結(jié)構(gòu)信息。比如水平路徑對(duì)水平方向邊緣敏感垂直路徑對(duì)垂直邊緣敏感對(duì)角線路徑能捕捉斜向紋理。OpenCV默認(rèn)采用4路徑聚合理論上8路徑精度更高但耗時(shí)幾乎翻倍實(shí)際項(xiàng)目里可以根據(jù)場(chǎng)景紋理豐富度做取舍。如果場(chǎng)景中橫向紋理和縱向紋理都很豐富8路徑的優(yōu)勢(shì)會(huì)明顯一些如果場(chǎng)景結(jié)構(gòu)比較簡(jiǎn)單4路徑基本夠用。2.3 視差計(jì)算與優(yōu)化代價(jià)聚合完成后每個(gè)像素在不同視差值下都有一個(gè)聚集后的代價(jià)。此時(shí)最簡(jiǎn)單的視差計(jì)算方法是WTAWinner-Take-All贏者通吃對(duì)每個(gè)像素在所有候選視差中選代價(jià)最小的那個(gè)作為最終視差。這個(gè)操作非常直觀就像在一個(gè)班級(jí)里選成績(jī)最好的學(xué)生誰(shuí)的分?jǐn)?shù)高誰(shuí)就勝出。WTA計(jì)算出的初始視差圖已經(jīng)具備基本形態(tài)但直接用它去生成三維點(diǎn)云會(huì)發(fā)現(xiàn)不少問(wèn)題。最典型的是“毛刺”——在某些像素上視差值突然跳變到完全錯(cuò)誤的水平。這些毛刺通常來(lái)自遮擋區(qū)域、反光區(qū)域和低紋理區(qū)域。為了消除毛刺SGBM引入了視差后處理機(jī)制其中最核心的是左右一致性檢查L(zhǎng)eft-Right CheckLRC。左右一致性檢查的原理基于一個(gè)簡(jiǎn)單的事實(shí)對(duì)于非遮擋區(qū)域的正確匹配點(diǎn)從左圖出發(fā)找到它在右圖中的匹配點(diǎn)再?gòu)倪@個(gè)右圖匹配點(diǎn)出發(fā)應(yīng)該能找回原來(lái)的左圖點(diǎn)。如果這個(gè)“往返”過(guò)程對(duì)不上說(shuō)明匹配不可靠這些像素通常被視為遮擋點(diǎn)或誤匹配點(diǎn)。OpenCV中通過(guò)參數(shù)disp12MaxDiff控制允許的最大偏差超過(guò)這個(gè)閾值的像素會(huì)被標(biāo)記為無(wú)效。這個(gè)步驟極其重要可以說(shuō)它是SGBM后處理中最有“分量”的一環(huán)——在室外場(chǎng)景中它能清除掉大部分飛點(diǎn)。2.4 視差后處理讓結(jié)果真正可用左右一致性檢查之后視差圖里還有兩類“臟東西”需要清理一是不連續(xù)的孤立小連通域二是視差精度僅為整像素的問(wèn)題。孤立小連通域就是那些只有幾個(gè)像素大小、和周圍視差完全脫節(jié)的斑塊。它們通常來(lái)自圖像噪聲或局部誤匹配。OpenCV通過(guò)speckleWindowSize和speckleRange參數(shù)控制連通域過(guò)濾當(dāng)一個(gè)連通域包含的像素?cái)?shù)小于speckleWindowSize并且與周圍像素的最大視差差異大于speckleRange時(shí)整個(gè)連通域會(huì)被判為噪聲并剔除。這個(gè)操作很像圖像處理里的“去燥?！薄研「泶衲ǖ糇屢暡顖D更干凈。亞像素插值則解決精度問(wèn)題。整像素視差在大物體遠(yuǎn)距離測(cè)距時(shí)誤差明顯。舉例來(lái)說(shuō)一臺(tái)基線 120mm、焦距 1450px 的相機(jī)如果視差是10個(gè)像素深度約為1.74米如果視差變成11個(gè)像素深度降到1.58米。一個(gè)整像素的誤差導(dǎo)致了16厘米的深度跳變這在很多應(yīng)用里是不可接受的。SGBM通過(guò)拋物面插值在最優(yōu)視差及相鄰視差的代價(jià)之間擬合拋物線取拋物線頂點(diǎn)作為亞像素視差來(lái)逼近更精細(xì)的視差結(jié)果。這樣雖然不能消除系統(tǒng)誤差但能有效降低量化誤差對(duì)測(cè)距精度的提升非常明顯。3. OpenCV實(shí)操SGBM參數(shù)配置與調(diào)優(yōu)全過(guò)程3.1 環(huán)境準(zhǔn)備與基礎(chǔ)調(diào)用OpenCV對(duì)SGBM的支持非常成熟C和Python接口都有現(xiàn)成實(shí)現(xiàn)。Python端的調(diào)用代碼極其簡(jiǎn)潔幾行就能跑起來(lái)import cv2 import numpy as np # 讀取已校正的左右圖 imgL cv2.imread(left.png, cv2.IMREAD_GRAYSCALE) imgR cv2.imread(right.png, cv2.IMREAD_GRAYSCALE) # 創(chuàng)建SGBM對(duì)象 sgbm cv2.StereoSGBM_create( minDisparity0, numDisparities64, blockSize11, P18 * 3 * 11 ** 2, P232 * 3 * 11 ** 2, disp12MaxDiff1, uniquenessRatio10, speckleWindowSize100, speckleRange32, modecv2.STEREO_SGBM_MODE_SGBM ) # 計(jì)算視差圖 disparity sgbm.compute(imgL, imgR).astype(np.float32) / 16.0這段代碼里最容易被忽略的是最后一行/ 16.0。OpenCV返回的視差圖是定點(diǎn)數(shù)格式真實(shí)視差值需要除以16才能得到浮點(diǎn)像素值。很多初學(xué)者忘了這一步得到的深度圖數(shù)值整體大了16倍百思不得其解。這是SGBM使用中的一個(gè)非?；A(chǔ)但又極其常見(jiàn)的坑。需要注意的是SGBM要求輸入圖像已經(jīng)完成立體校正。在校正之后的圖像中左右視圖的同名點(diǎn)嚴(yán)格位于同一水平線上這就把二維搜索簡(jiǎn)化成了沿水平方向的一維搜索這也正是SGBM計(jì)算效率能保持較高水平的前提。如果直接拿未校正的原始圖像丟給SGBM結(jié)果必然失敗。3.2 核心參數(shù)逐一解析SGBM一共有8個(gè)核心參數(shù)每個(gè)參數(shù)都有明確的物理含義和調(diào)優(yōu)邏輯。我逐個(gè)說(shuō)并給出選擇這些參數(shù)時(shí)的思考方式。minDisparity與numDisparities這兩個(gè)參數(shù)共同決定視差搜索范圍。minDisparity是搜索起點(diǎn)numDisparities是搜索總層數(shù)。視差范圍必須覆蓋場(chǎng)景中從最近點(diǎn)到最遠(yuǎn)點(diǎn)的視差變化范圍。如果場(chǎng)景中最近物體視差是0最遠(yuǎn)物體視差是80那么numDisparities至少要設(shè)到80。注意numDisparities必須是16的倍數(shù)這是OpenCV底層SIMD優(yōu)化的約束。如果設(shè)置的搜索范圍過(guò)窄遠(yuǎn)景區(qū)域會(huì)出現(xiàn)大面積的“空洞”過(guò)寬則浪費(fèi)計(jì)算資源還可能引入更多誤匹配。正確做法是先估算場(chǎng)景最近距離和最遠(yuǎn)距離對(duì)應(yīng)的視差然后留出15%左右的余量。blockSize匹配代價(jià)計(jì)算時(shí)使用的窗口大小必須是奇數(shù)。窗口越大對(duì)紋理的平均效果越強(qiáng)在弱紋理區(qū)域降噪效果好但同時(shí)會(huì)把尖銳的邊緣“磨圓”導(dǎo)致視差圖在物體邊界附近變模糊。這個(gè)參數(shù)的經(jīng)驗(yàn)值范圍是5到21。在紋理豐富、結(jié)構(gòu)清晰的室內(nèi)場(chǎng)景blockSize設(shè)9左右效果不錯(cuò)在室外大場(chǎng)景或者低紋理墻面較多的場(chǎng)景需要增大到15或更大。需要注意blockSize不能盲目增大它和numDisparities共同影響內(nèi)存占用和計(jì)算速度。P1與P2這是SGBM算法核心的兩個(gè)平滑懲罰參數(shù)也是調(diào)參中最需要花心思的地方。P1是當(dāng)相鄰像素視差變化1個(gè)像素時(shí)的懲罰P2是視差變化超過(guò)1個(gè)像素時(shí)的懲罰。它們控制視差圖的平滑度。P1太小視差圖噪聲大容易出現(xiàn)“椒鹽”一般的錯(cuò)配點(diǎn)P1太大會(huì)把真實(shí)深度變化都給抹平了。P2通常是P1的數(shù)倍因?yàn)檎鎸?shí)的深度跳變比如物體邊緣在視差圖中往往表現(xiàn)為較大的視差突變我們希望算法允許這種情況存在但又不能允許太多所以設(shè)置一個(gè)比P1大很多的P2。OpenCV官方文檔里建議的經(jīng)驗(yàn)公式是P1 8 * num_channels * blockSize * blockSize P2 32 * num_channels * blockSize * blockSize注意這個(gè)公式已經(jīng)寫(xiě)進(jìn)了很多人的代碼里但它只是一個(gè)起點(diǎn)。實(shí)際調(diào)優(yōu)時(shí)要記住P2的取值往往需要根據(jù)圖像噪聲水平調(diào)整噪聲大的場(chǎng)景適當(dāng)增大P2讓算法更“果斷”地選擇平滑區(qū)域。disp12MaxDiff左右一致性檢查的閾值。一般設(shè)為1在噪聲較大的場(chǎng)景可以放寬到2或3。但如果設(shè)得過(guò)大左右一致性檢查就形同虛設(shè)。我一般控制在1到2之間。uniquenessRatio唯一性檢測(cè)閾值。它要求最優(yōu)視差的代價(jià)值與次優(yōu)視差的代價(jià)值之間要有足夠的差異差異不足則視為低置信度匹配置為無(wú)效。這個(gè)參數(shù)對(duì)消除重復(fù)紋理區(qū)域的誤匹配很有幫助。經(jīng)驗(yàn)值在5到15之間值越大能通過(guò)檢測(cè)的像素越少視差圖覆蓋率降低但留下的點(diǎn)質(zhì)量更高。speckleWindowSize與speckleRange連通域過(guò)濾參數(shù)。前者定義連通域大小閾值后者定義連通域內(nèi)視差允許的波動(dòng)范圍。在視差圖雜點(diǎn)較多的場(chǎng)景適當(dāng)調(diào)大這兩個(gè)值能有效清噪。但如果設(shè)置過(guò)大會(huì)把物體邊緣的真實(shí)細(xì)節(jié)也給去掉所以調(diào)試時(shí)要觀察視差圖的邊緣是否還清晰。3.3 參數(shù)調(diào)優(yōu)實(shí)戰(zhàn)一組室內(nèi)場(chǎng)景的調(diào)試記錄我以一次實(shí)際調(diào)試經(jīng)歷來(lái)展示調(diào)參過(guò)程。項(xiàng)目需求是在室內(nèi)桌面上測(cè)量物體尺寸相機(jī)距離物體大約0.5米到1.5米。相機(jī)基線60mm分辨率為1280x720。第一步我先用一個(gè)粗略的點(diǎn)云可視化工具觀察初始結(jié)果。設(shè)置初始參數(shù)為numDisparities64、blockSize9、P1648、P22592運(yùn)行后視差圖有大量噪點(diǎn)尤其在桌面這種無(wú)紋理區(qū)域出現(xiàn)嚴(yán)重“空洞”。這說(shuō)明P1和P2設(shè)置偏小算法沒(méi)有足夠的平滑性約束。第二步將blockSize增大到15P1和P2按照官方公式更新為1800和7200。運(yùn)行后桌面區(qū)域的空洞明顯減少視差圖整體平滑了不少。但物體的邊緣出現(xiàn)“膨脹”現(xiàn)象——物體輪廓比實(shí)際偏大一圈。這是因?yàn)榇翱诖罅宋矬w邊緣的視差受到背景視差的污染前景區(qū)和背景區(qū)在同一個(gè)匹配窗口內(nèi)競(jìng)爭(zhēng)。第三步將blockSize調(diào)回11保持P1968、P23872然后調(diào)整uniquenessRatio從5調(diào)到10。這一步顯著減少了重復(fù)紋理區(qū)域如桌面條紋的誤匹配視差圖的“亂碼”區(qū)域大幅減少而物體邊緣的膨脹問(wèn)題也隨窗口縮小得到緩解。第四步針對(duì)遠(yuǎn)景區(qū)域出現(xiàn)的一些零散飛點(diǎn)我把speckleWindowSize從100調(diào)到200speckleRange保持32飛點(diǎn)被成功抑制。整個(gè)調(diào)整過(guò)程耗費(fèi)了大概2個(gè)小時(shí)每一步都配合可視化檢查。調(diào)參的規(guī)律是先定視差范圍和窗口大小再調(diào)平滑懲罰最后做后處理參數(shù)微調(diào)。這個(gè)順序能讓調(diào)試過(guò)程可控每次只動(dòng)一個(gè)維度避免多個(gè)參數(shù)同時(shí)調(diào)整導(dǎo)致無(wú)法判斷是誰(shuí)在起作用。4. 踩坑實(shí)錄SGBM實(shí)戰(zhàn)中的常見(jiàn)問(wèn)題與排查4.1 常見(jiàn)問(wèn)題速查表我在多個(gè)項(xiàng)目里和SGBM打過(guò)交道整理了一份問(wèn)題速查表基本覆蓋了90%以上的常見(jiàn)異?，F(xiàn)象可能原因排查與解決視差圖大面積空洞視差搜索范圍不足增大numDisparities確認(rèn)minDisparity視差圖邊緣“毛邊”嚴(yán)重blockSize過(guò)大減小blockSize物體邊緣明顯膨脹blockSize過(guò)大 P1/P2失衡減小窗口適當(dāng)增大P2重復(fù)紋理區(qū)域大量錯(cuò)誤條紋uniquenessRatio過(guò)低增大uniquenessRatio到10-15視差圖出現(xiàn)大面積“階梯”狀亞像素精度不足或P1/P2偏大檢查插值邏輯適當(dāng)調(diào)低P1零散飛點(diǎn)遍布全圖speckleWindowSize過(guò)小增大連通域過(guò)濾閾值圖像邊緣部分無(wú)視差校正不徹底檢查立體校正標(biāo)定重投影誤差視差值整體偏大或偏小忘記除以16檢查數(shù)據(jù)類型除以16.0這些坑里最隱蔽的是“視差值整體偏大或偏小”。有人算出來(lái)的深度圖所有數(shù)值都對(duì)但整體偏移一截于是懷疑是標(biāo)定問(wèn)題重新標(biāo)定了幾次仍然如此。最后檢查發(fā)現(xiàn)OpenCV返回的disparity是int16類型需要除以16才是真實(shí)像素單位視差。這種小問(wèn)題排查起來(lái)極其浪費(fèi)時(shí)間建議代碼里在拿到disparity之后立刻打印幾個(gè)已知距離點(diǎn)的視差值驗(yàn)證數(shù)值是否合理防患于未然。4.2 獨(dú)家避坑技巧技巧一不要迷信相機(jī)標(biāo)定的理論參數(shù)。在做深度換算時(shí)你可能會(huì)用標(biāo)定得到的焦距和基線直接代入公式 (Z fB/d)。但實(shí)際操作中相機(jī)的有效基線可能因?yàn)榘惭b誤差、鏡頭畸變殘余等原因與理論值略有偏差。我的做法是拍攝一個(gè)已知距離的目標(biāo)比如放置一個(gè)標(biāo)定板在1米處反算出“有效 (fB) 值”再用于后續(xù)測(cè)距。這個(gè)操作能顯著提高實(shí)際測(cè)距精度比單純依賴標(biāo)定參數(shù)靠譜得多。技巧二前處理比調(diào)參更有效。很多人在SGBM的參數(shù)上反復(fù)嘗試效果不理想?yún)s忽視了圖像前處理。適當(dāng)?shù)母咚蛊交梢砸种茍D像噪聲但不建議用雙邊濾波因?yàn)殡p邊濾波會(huì)改變邊緣結(jié)構(gòu)對(duì)視差計(jì)算產(chǎn)生干擾。更有效的操作是直方圖均衡化——它能在光照不均的場(chǎng)景下統(tǒng)一左右圖的灰度分布讓匹配代價(jià)計(jì)算更穩(wěn)定。技巧三根據(jù)場(chǎng)景區(qū)分對(duì)待“無(wú)效像素”。SGBM輸出的視差圖里被左右一致性檢查標(biāo)記為無(wú)效的像素并不是完全沒(méi)用的信息。在遮擋邊界附近這些無(wú)效像素往往恰恰對(duì)應(yīng)真實(shí)現(xiàn)實(shí)中的遮擋區(qū)域。如果應(yīng)用對(duì)邊緣完整度要求較高可以考慮對(duì)這些區(qū)域做鄰域插值填充但如果應(yīng)用是障礙物檢測(cè)或避障這些無(wú)效像素寧可保留為空也不能盲目填充——填充錯(cuò)誤區(qū)域比缺失信息更危險(xiǎn)。技巧四關(guān)注運(yùn)行時(shí)性能瓶頸。SGBM雖然比全局算法快但在高分辨率圖上仍可能成為性能瓶頸。我實(shí)測(cè)過(guò)1280x720分辨率、視差范圍64層、blockSize11的情況下PC端耗時(shí)約30-50毫秒嵌入式設(shè)備上可能需要200毫秒以上。如果實(shí)時(shí)性要求高有兩條路一是降低輸入分辨率在縮小圖上算視差再上采樣二是適當(dāng)減小blockSize和numDisparities。從工程角度看先降分辨率再上采樣往往是最簡(jiǎn)單有效的方案代價(jià)是深度精度略微下降。5. SGBM之后從視差圖到三維信息的落地鏈路視差圖算出來(lái)之后很多項(xiàng)目才剛剛開(kāi)始。SGBM輸出的視差圖本質(zhì)上是一張二維的“偏移量地圖”要把它變成真正有用的三維信息還需要走完后續(xù)的坐標(biāo)轉(zhuǎn)換鏈路。這里我分享一下在實(shí)際項(xiàng)目中完整的處理流程。第一步是亞像素插值和無(wú)效像素標(biāo)記。OpenCV返回的disp64f其實(shí)就是亞像素視差但需要判斷哪些像素是可靠的。一般做法是結(jié)合“左右一致性檢查后的掩碼”和“最小代價(jià)掩碼”來(lái)生成可靠像素掩碼?？煽肯袼匮诖a可以過(guò)濾掉低紋理和遮擋區(qū)域的不可靠估計(jì)。第二步是視差到深度的轉(zhuǎn)換。對(duì)應(yīng)關(guān)系就是前面提到的 (Z \frac{f \cdot B}drlblxrh1)。這里要注意的是公式里的 (f) 是用像素單位表示的焦距等于焦距毫米值除以像元尺寸不是標(biāo)定文件里的相機(jī)內(nèi)參矩陣中的 (f_x)。在很多實(shí)現(xiàn)里直接取內(nèi)參矩陣的 (f_x) 值使用即可因?yàn)檫@個(gè)值本身已經(jīng)是像素單位。但要確認(rèn)你的標(biāo)定文件是正確的。第三步是生成三維點(diǎn)云。對(duì)每個(gè)有效像素 ((u, v))知道了深度 (Z)就可以利用相機(jī)內(nèi)參反投影得到三維坐標(biāo)def disparity_to_pointcloud(disparity, Q, mask): points_3d cv2.reprojectImageTo3D(disparity, Q) points points_3d[mask].reshape(-1, 3) colors imgL_color[mask].reshape(-1, 3) return points, colorsOpenCV提供了reprojectImageTo3D函數(shù)通過(guò)預(yù)先計(jì)算好的重投影矩陣Q直接得到三維坐標(biāo)。這種實(shí)現(xiàn)效率高配合SGBM輸出可以直接接入后續(xù)的PCL處理、點(diǎn)云濾波、目標(biāo)分割等環(huán)節(jié)。第四步是根據(jù)應(yīng)用需求做進(jìn)一步處理。如果是障礙物檢測(cè)可以在深度圖上設(shè)置ROI區(qū)域用深度閾值做前景分割如果是三維重建需要做點(diǎn)云后處理去噪、平滑、法向量估計(jì)如果是工業(yè)精密測(cè)量還可能需要做平面擬合、邊緣提取等后續(xù)步驟。SGBM輸出的深度圖在這個(gè)鏈條中扮演的是“原材料”角色后續(xù)的算法選擇會(huì)直接影響最終精度。以我做過(guò)的工業(yè)零件尺寸測(cè)量項(xiàng)目為例SGBM輸出深度圖后還需要做三步處理第一步用Z方向深度直方圖統(tǒng)計(jì)找到目標(biāo)平面的深度范圍做平面分割第二步對(duì)分割出的平面上的點(diǎn)云做最小二乘平面擬合修正相機(jī)安裝角度偏差第三步在擬合平面上做邊緣提取和尺寸測(cè)量。這個(gè)流程下最終測(cè)量精度可以達(dá)到毫米級(jí)配合亞像素視差插值甚至能做到0.5mm以內(nèi)的重復(fù)精度。所以說(shuō)SGBM不是終點(diǎn)而是整個(gè)立體視覺(jué)系統(tǒng)的核心引擎。把這個(gè)引擎調(diào)好了后續(xù)的三維應(yīng)用才有可靠的數(shù)據(jù)基礎(chǔ)。而調(diào)優(yōu)SGBM的關(guān)鍵不是死記硬背參數(shù)公式而是理解每個(gè)參數(shù)在算法流程中到底在控制什么拿著可視化工具一幀一幀觀察效果讓參數(shù)調(diào)整有據(jù)可依。這也是我從多次調(diào)參經(jīng)歷中體會(huì)到的最重要的經(jīng)驗(yàn)。