3D傳感器這幾年在搞機(jī)器人、AR、工業(yè)檢測、自動駕駛的人都繞不開。就在前幾年一個靠譜一點(diǎn)的深度相機(jī)還要幾千上萬現(xiàn)在幾百塊搞個入門模塊回來玩也已經(jīng)很常見。不過東西多了就亂很多人來問我“結(jié)構(gòu)光、ToF、雙目到底怎么選”甚至搞不清它們本質(zhì)上的區(qū)別。這篇文章我就把三種常見的3D傳感器拉到一起從上手角度和工程落地角度給你盤個明白適合正在選型、剛?cè)腴T、或者手頭項(xiàng)目被深度測量卡住的人。1. 三種主流3D傳感器先看全局再聊細(xì)節(jié)1.1 為什么市場里基本是這三家說話市面上叫得上名的深度相機(jī)拆開看核心基本都是這三類結(jié)構(gòu)光、ToF飛行時間法、雙目視覺。你可能還聽說過激光雷達(dá)但消費(fèi)級和工業(yè)級的3D傳感器主力其實(shí)就是這三家在唱戲。原因很簡單要實(shí)現(xiàn)“測量深度”只有兩條路一是主動給場景打上已知的“記號”再觀察記號怎么變形結(jié)構(gòu)光就是這個思路二是主動測量光走一個來回的時間ToF就是這個思路還有就是完全被動地靠兩個視角的自然光圖像做三角測量也就是雙目。這三種路線各自把“硬件復(fù)雜度”“算法復(fù)雜度”“場景適應(yīng)性”放在不同側(cè)重上沒有哪個能通吃。理解了這一點(diǎn)你在選型時就不會被一堆宣傳參數(shù)帶偏。下面我先給一張對照表后面再逐個拆開講原理和實(shí)操。1.2 一張表看懂三者核心參數(shù)差異維度結(jié)構(gòu)光ToF雙目視覺典型量程0.2m-5m消費(fèi)級多在0.3-3m0.1m-15m遠(yuǎn)距離看激光功率0.2m-幾十米取決于相機(jī)布局近距精度很高可達(dá)0.1mm-1mm量級一般1-3cm遠(yuǎn)距離衰減不大基線合理時0.5-2cm隨距離平方惡化深度分辨率可以做到接近RGB分辨率通常320x240到640x480左右取決于相機(jī)分辨率可做高幀率30fps左右受匹配/解碼開銷影響可以做到60-90fps高幀率取決于立體匹配算力戶外強(qiáng)光基本是短板易失效相對抗光但強(qiáng)直射也有影響理想場景之一弱紋理物體強(qiáng)主動投影圖案一般弱像純白墻基本沒法測靜態(tài)/動態(tài)場景靜態(tài)精度極佳動態(tài)有偽影風(fēng)險動態(tài)場景表現(xiàn)好校準(zhǔn)和算力到位也能跑動態(tài)這張表先留著后面操作的時候會對得上“為什么會出現(xiàn)這種問題”。2. 核心細(xì)節(jié)解析三種方案到底在用什么邏輯測距2.1 結(jié)構(gòu)光投一組加密“碼書”再讀變形結(jié)構(gòu)光的基本邏輯特別像給物體蓋一層二維碼。相機(jī)不直接找物體身上的紋理而是把已知編碼圖案投射到物體表面圖案隨物體表面凹凸產(chǎn)生變形相機(jī)捕捉到變形后的圖案反解出每個像素對應(yīng)的高度信息。這里面有幾個工程點(diǎn)必須注意。首先是投影圖案的選擇常見的有格雷碼、正弦條紋、隨機(jī)散斑。格雷碼的好處是魯棒、每個區(qū)域都有唯一的編碼正弦條紋適合做相移法可以獲得亞像素級精度散斑則是Kinect初代和RealSense早期設(shè)備的思路通過局部窗口的散斑圖案相關(guān)性計(jì)算視差對動態(tài)物體也相對友好。其次是投射器與相機(jī)的標(biāo)定。結(jié)構(gòu)光系統(tǒng)本質(zhì)上是一個“帶有投影儀的雙目系統(tǒng)”投影儀相當(dāng)于一個反向相機(jī)。你用投影儀投射編碼那相機(jī)-投影儀之間的外參、內(nèi)參、畸變都必須標(biāo)定得明明白白。一個小教訓(xùn)投影儀自身也有鏡頭畸變很多人標(biāo)定時只標(biāo)相機(jī)不標(biāo)投影儀后期點(diǎn)云邊緣會出現(xiàn)明顯的彎曲越往視場邊緣越夸張。第三個坑是環(huán)境光干擾。結(jié)構(gòu)光依賴投影圖案對比度室外強(qiáng)光會把投影圖案直接淹沒導(dǎo)致深度圖大片空洞。解決辦法一般是提高投影光源功率、加對應(yīng)波段的窄帶濾光片、縮短相機(jī)曝光時間。實(shí)際項(xiàng)目中要在清晨的室外用結(jié)構(gòu)光濾光片是必備的不然點(diǎn)云質(zhì)量根本沒法看。結(jié)構(gòu)光適合在室內(nèi)的固定工位、近距離靜態(tài)或者慢動態(tài)場景里拿精度這樣的環(huán)境能把它的優(yōu)勢最大化。2.2 ToF光走個來回時間差就是距離ToF聽起來很簡單測激光/紅外光從發(fā)射到返回的時間差乘光速除2就是距離。不過消費(fèi)級和工業(yè)級絕大多數(shù)用的是間接飛行時間法iToF不是直接測納秒級的時間而是測發(fā)射波和接收波之間的相位差。相位差轉(zhuǎn)換距離公式大致是距離 d c * φ / (4π * f) 其中 c 是光速φ 是相位差f 是調(diào)制頻率這里就能引出一個關(guān)鍵概念——距離模糊。因?yàn)橄辔皇侵芷谛缘某^一定距離就會“繞圈”同一相位可能對應(yīng)多個距離這就是模糊距離。提高調(diào)制頻率可以提升近距離精度但模糊距離變短降低頻率則反過來。所以不少ToF方案會使用多個調(diào)制頻率做組合或者根據(jù)量程需求選擇固定頻率。iToF還有個先天的“多徑干擾”問題。光線打到場景里不會只反射一次尤其遇到墻角、金屬、玻璃這些位置接收器收到的是多重路徑反射光的疊加表現(xiàn)在深度圖上就是邊緣拖影、內(nèi)凹角距離被拉長。這一點(diǎn)在手機(jī)后攝ToF上極其常見拍柜子角的時候測出來的距離比實(shí)際要遠(yuǎn)。dToF直接飛行時間法就不一樣它真正在測單個光子的往返時間比如iPhone后置LiDAR用的就是dToF抗多徑能力明顯好精度也更均勻代價是分辨率通常做不高硬件成本更高。ToF的優(yōu)點(diǎn)是不依賴環(huán)境紋理也沒有基線長度限制體積可以做得很小動態(tài)場景效果好。缺點(diǎn)是分辨率上不去邊緣容易拖影多徑干擾會影響精度。適合做機(jī)器人避障、手勢交互、體感捕捉這類“要速度不要極致精度”的場景。2.3 雙目視覺靠“左右眼”的視差反推遠(yuǎn)近雙目視覺是我們?nèi)搜哿Ⅲw視覺的模仿。兩臺相機(jī)相隔一定距離基線同時拍攝同一場景同一個空間點(diǎn)在左右圖像上的成像位置會有差異這個差異叫視差。離得近的物體視差大離得遠(yuǎn)的視差小。通過三角測量就能反推出深度。核心公式經(jīng)典又簡潔深度 Z f * B / d f 是焦距B 是基線距離d 是視差這個式子引出了雙目的第一個工程特性深度與視差成反比所以越遠(yuǎn)的地方一點(diǎn)點(diǎn)視差誤差就會被放大成很大的深度誤差。用微分式表達(dá)更直觀深度誤差 σZ ≈ Z2 * σd / (f * B)什么意思如果你要求10米內(nèi)的深度誤差小于2厘米那視差匹配精度和基線長度就會有硬性要求。這也是為什么手機(jī)上的雙目做不遠(yuǎn)的原因——基線太短精度天然受限。反過來遠(yuǎn)距離監(jiān)控系統(tǒng)會把兩臺相機(jī)拉得很開基線幾十米也有。所以不是你相機(jī)買得貴就能測遠(yuǎn)基線長度決定了上限。雙目的另外一個痛點(diǎn)是沒有主動光場景紋理直接決定了匹配質(zhì)量。拿兩臺相機(jī)對著一面白墻拍邊角區(qū)域全都是空白因?yàn)檎也坏娇梢云ヅ涞奶卣鼽c(diǎn)。紋理豐富的書架沒問題純色地面、大白墻、反光金屬就非常吃力。方案通常是在相機(jī)前面加一個紅外紋理投影器用不可見光打出一堆散斑其實(shí)就是向主動方案妥協(xié)變成“主動立體”。雙目最大的好處是可以用普通CMOS傳感器成本低、升級靈活、戶外表現(xiàn)好RGB信息也是天然的。算法上需要做立體校正、代價計(jì)算、代價聚合、視差優(yōu)化一套流程走下來計(jì)算量不小實(shí)時性很吃算力。很多入門項(xiàng)目在PC上跑OpenCV的SGBM算法勉強(qiáng)有30幀邊緣還帶一大片噪聲真正要落地到嵌入式平臺得用專用深度引擎或者NPU上優(yōu)化過的立體匹配算法。3. 實(shí)操過程從選型到跑通一個深度模塊3.1 場景拆解后再做技術(shù)選型拿到一個要做深度測量的項(xiàng)目不要先看芯片廠家推薦什么先拆場景。你問自己三個問題距離多近多遠(yuǎn)室內(nèi)還是室外測靜態(tài)還是動態(tài)我舉個例子。之前有人做貨架抓取機(jī)器人要識別0.6到1.2米左右的貨物固定在室內(nèi)機(jī)械臂上方。這類場景要求的就是近距精度高、點(diǎn)云清晰動態(tài)性不急結(jié)構(gòu)光是最合適的。實(shí)際用的方案是RealSense D415類產(chǎn)品在0.5米到1米階段深度誤差可以控制在毫米級內(nèi)。選結(jié)構(gòu)光的決策點(diǎn)只有一個室內(nèi)、近距、高精度、慢靜態(tài)。如果是做掃地機(jī)器人或者服務(wù)機(jī)器人的避障需要0.1米到5米甚至更遠(yuǎn)的量程而且要實(shí)時快速響應(yīng)傳統(tǒng)結(jié)構(gòu)光就不太行了。一是量程不夠二是投影圖案在掃地機(jī)這種小設(shè)備上功耗撐不住。ToF在這里更合適幀率隨便能到30fps以上功耗也相對可控。當(dāng)時我們試過用ToF模塊深度圖上有邊緣拖影但因?yàn)橹挥脕碜霰苷喜皇亲鑫矬w重建拖影通過簡單濾波就能壓住。戶外巡檢、測繪、無人車這類場景首選雙目或者激光雷達(dá)。雙目能直接用環(huán)境光做被動測量沒有強(qiáng)光失效的問題。如果怕夜晚沒有光就配合主動補(bǔ)光和紅外投影。在戶外遠(yuǎn)距離的項(xiàng)目里雙目最大的優(yōu)勢是算法可控、分辨率可選、傳感器可以挑大靶面的不會被一顆專用ToF芯片鎖死。3.2 深度分辨率、FOV和量程的計(jì)算邏輯先算一個很實(shí)際的例子。假設(shè)你有一個雙目相機(jī)焦距f是6mm基線B是60mm傳感器像素尺寸是3μm視差匹配精度可以達(dá)到0.1像素。當(dāng)目標(biāo)距離Z是1米時深度誤差大約是σZ ≈ (10002 / (60 * 6)) * (0.1 * 0.003) mm ≈ (1,000,000 / 360) * 0.0003 mm ≈ 2777.8 * 0.0003 mm ≈ 0.83 mm聽起來挺不錯。但如果把距離拉到3米σZ ≈ (30002 / 360) * 0.0003 mm ≈ 25000 * 0.0003 mm ≈ 7.5 mm誤差一下子擴(kuò)大了約9倍原因就是深度誤差跟距離的平方成正比。所以在列方案時不要只看“最遠(yuǎn)能測多少米”要看“我關(guān)心的距離上誤差能不能滿足要求”。這個公式在寫方案匯報PPT時也非常好用拿著它跟老板解釋為什么晚上幾米精度差一算一個準(zhǔn)。ToF的精度計(jì)算則更依賴于調(diào)制頻率和信噪比。比如一個調(diào)制頻率30MHz的iToF方案模糊距離大概是5米理想信噪比下相位精度能到0.5%對應(yīng)距離誤差在幾個厘米量級。具體數(shù)字每家芯片手冊都會給但要注意那是在高反射率、低環(huán)境光下的實(shí)驗(yàn)室數(shù)據(jù)實(shí)際場景墻上刷的黑漆一測誤差可能翻倍。3.3 快速驗(yàn)證方案用一個現(xiàn)成的雙目模塊跑通深度圖選型前后我最建議的做法是先在PC上跑一遍數(shù)據(jù)鏈路再決定要不要量產(chǎn)方案。以雙目為例OpenCV的SGBM就是一個可用的參考實(shí)現(xiàn)。下面這段代碼是標(biāo)準(zhǔn)的快速驗(yàn)證流程import cv2 import numpy as np # 左右圖路徑 img_left cv2.imread(left.png, cv2.IMREAD_GRAYSCALE) img_right cv2.imread(right.png, cv2.IMREAD_GRAYSCALE) # 立體校正參數(shù)來自標(biāo)定文件這里為示意值 K1 np.array([[700, 0, 320], [0, 700, 240], [0, 0, 1]], dtypenp.float64) K2 np.array([[700, 0, 320], [0, 700, 240], [0, 0, 1]], dtypenp.float64) D1 np.zeros(5) D2 np.zeros(5) R np.eye(3, dtypenp.float64) T np.array([-0.06, 0.0, 0.0], dtypenp.float64) # 基線60mm R1, R2, P1, P2, Q, _, _ cv2.stereoRectify(K1, D1, K2, D2, img_left.shape[::-1], R, T) map1x, map1y cv2.initUndistortRectifyMap(K1, D1, R1, P1, img_left.shape[::-1], cv2.CV_32FC1) map2x, map2y cv2.initUndistortRectifyMap(K2, D2, R2, P2, img_right.shape[::-1], cv2.CV_32FC1) rect_left cv2.remap(img_left, map1x, map1y, cv2.INTER_LINEAR) rect_right cv2.remap(img_right, map2x, map2y, cv2.INTER_LINEAR) # 參數(shù)minDisparity、numDisparities、blockSize需要調(diào) stereo cv2.StereoSGBM_create(minDisparity0, numDisparities64, blockSize11) disparity stereo.compute(rect_left, rect_right).astype(np.float32) / 16.0 depth cv2.reprojectImageTo3D(disparity, Q) # 用中值濾波去掉明顯的噪聲 depth cv2.medianBlur(depth, 5)要注意的是這套SGBM只是讓你快速理解流程遠(yuǎn)達(dá)不到工業(yè)級水平。實(shí)際產(chǎn)品里要么用專門深度引擎芯片要么在GPU上跑優(yōu)化過的Census變換和代價聚合不然“勉強(qiáng)能看”和“能穩(wěn)定用”之間差很遠(yuǎn)。用現(xiàn)成的ToF或結(jié)構(gòu)光模塊更簡單一般廠商都會給SDK像RealSense的pyrealsense2一打開就能拿到對齊后的深度圖import pyrealsense2 as rs pipeline rs.pipeline() config rs.config() config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30) config.enable_stream(rs.stream.color, 640, 480, rs.format.rgb8, 30) pipeline.start(config) for _ in range(100): frames pipeline.wait_for_frames() depth_frame frames.get_depth_frame() color_frame frames.get_color_frame() if not depth_frame or not color_frame: continue depth_image np.asanyarray(depth_frame.get_data()) color_image np.asanyarray(color_frame.get_data()) # 此處可轉(zhuǎn)成點(diǎn)云或送入后續(xù)處理這類SDK最大的幫助是省掉標(biāo)定、同步、底層濾波的重復(fù)勞動讓你能立刻聚焦到業(yè)務(wù)層。3.4 從設(shè)備選型到集成的完整步驟復(fù)盤一個典型項(xiàng)目從選型到落地我理下來通常走七步量程、精度、幀率指標(biāo)先寫成表格不允許模糊詞。比如“誤差5mm1m”要比“高精度”靠譜得多。篩出2-3個候選傳感器去廠家官網(wǎng)下載真實(shí)depth圖的樣例跑自己的代表性物體。做光照和材質(zhì)對照測試?yán)粋€標(biāo)準(zhǔn)白墻、黑植絨布、啞光紙箱、鏡面不銹鋼來測優(yōu)先看出問題的場景。設(shè)計(jì)安裝方式檢查基線、傾斜角、震動等約束。特別是雙目和結(jié)構(gòu)光安裝角度的變化會直接影響標(biāo)定。進(jìn)行深度圖質(zhì)量評估不只看肉眼還要量化坑洞率、深度噪聲標(biāo)準(zhǔn)差、邊緣誤差。小批量試產(chǎn)前留出標(biāo)定產(chǎn)線或出廠自動標(biāo)定的時間手動標(biāo)定一只相機(jī)在量產(chǎn)時是噩夢。嵌入式端性能預(yù)研用目標(biāo)芯片跑一遍深度算法或SDK確認(rèn)算力夠用。這個流程走完踩坑比例會大幅下降。很多人一上來就裝個傳感器看圖像效果然后直接寫方案后面被量產(chǎn)卡得死死的多半是前兩步?jīng)]做扎實(shí)。4. 常見問題與排查技巧實(shí)錄4.1 戶外強(qiáng)光下為什么結(jié)構(gòu)光會集體“失明”不少結(jié)構(gòu)光用戶第一次拿到戶外去測深度圖直接黑白一大片第一反應(yīng)是“我傳感器壞了吧”。其實(shí)不是壞了是環(huán)境光太強(qiáng)。結(jié)構(gòu)光投影的紅外/近紅外圖案到達(dá)傳感器后本身反射信號就弱太陽光里的紅外成分又很強(qiáng)圖像信噪比急劇下降。你可以試的排查路徑是確認(rèn)是否配了對應(yīng)波段的窄帶濾光片。很多模塊默認(rèn)不帶需要自己加。在SDK里調(diào)短曝光時間和模擬增益但這是杯水車薪。加遮陽罩物理降低環(huán)境光進(jìn)入鏡頭。如果陰天或室內(nèi)表現(xiàn)正常說明光功率/濾光不匹配而不是模塊故障。在室外強(qiáng)烈陽光比如中午下市面主流結(jié)構(gòu)光產(chǎn)品基本都不好使這不是品牌問題是物理原理決定的。別硬撐直接換雙目或者ToF更省時間。4.2 純白墻、黑真空棉上為什么雙目視差全是花點(diǎn)雙目靠自然紋理找同名點(diǎn)。純白墻在左右相機(jī)里拍出來幾乎一模一樣每個窗口內(nèi)的特征都差不多匹配容易跳到錯誤位置輸出一堆隨機(jī)視差。黑植絨布則是反光率太低左右圖都太暗邊緣噪聲大。這類問題排查順序如下查看左右圖本身的對比度和紋理先用肉眼確認(rèn)“路人看了都能匹配嗎”。如果圖像清晰但沒有紋理加一個紅外散斑投射器是最直接的辦法。如果圖像本身就暗或者過曝先調(diào)曝光別急著調(diào)匹配參數(shù)。場景允許的話增加環(huán)境光方向性讓陰影多一點(diǎn)也能改善。我也見過有團(tuán)隊(duì)把雙目用于夜間無人巡檢結(jié)果沒有補(bǔ)光一到晚上就歇菜。這事在選型階段就要想到立體視覺的“被動性”在光線好的時候是優(yōu)點(diǎn)在光線差的時候就是硬傷。4.3 ToF邊緣拖影、測距偏大是怎么回事ToF的邊緣拖影是深度不連續(xù)處最容易犯的病。比如桌角邊緣前面桌面和后面背景的距離差距大接收器一個像素會同時收到兩條路徑的光算出來的相位就是兩者混合深度值可能出現(xiàn)突變或中間值。這也是為什么ToF深度圖邊緣看起來有一圈毛邊。另一個典型現(xiàn)象是測得比實(shí)際遠(yuǎn)常見于墻角凹面。凹面會形成二次反射光線多繞了一段距離相位差變大所以測得偏大。解決建議在深度后處理里做邊緣像素濾波用鄰域中值或形態(tài)學(xué)開運(yùn)算清理。排查曝光設(shè)置過高的曝光會讓低反射區(qū)域飽和干擾相位計(jì)算。用多頻率ToF方案或者dToF可以減少多徑影響但成本會上去。結(jié)構(gòu)上盡量避免讓傳感器正對鏡面或玻璃安裝漫反射優(yōu)先。4.4 工程問題速查表現(xiàn)象可能原因解決方向結(jié)構(gòu)光深度圖強(qiáng)光下大面積空洞紅外投影被環(huán)境光淹沒加窄帶濾光片、縮短曝光、遮陽結(jié)構(gòu)光近距離精度很好一拉遠(yuǎn)馬上崩編碼條紋周期在表面被拉伸得不夠明顯換多頻編碼或增加投影分辨率ToF深度圖玻璃區(qū)域出現(xiàn)“凹坑”玻璃透明導(dǎo)致光穿透反射丟失避開強(qiáng)鏡面場景考慮多傳感器融合ToF邊緣毛刺嚴(yán)重混合像素/多徑干擾收縮視場、中值濾波、調(diào)曝光雙目對白墻無法匹配缺少紋理加紅外散斑投影、加環(huán)境紋理雙目遠(yuǎn)距離深度誤差大基線和焦距限制算法無力回天增大基線、使用更長焦鏡頭或換ToF/LiDAR點(diǎn)云有系統(tǒng)性彎曲標(biāo)定畸變補(bǔ)償不足重新做整機(jī)內(nèi)參外參標(biāo)定重點(diǎn)檢查邊緣區(qū)域這個表基本覆蓋了新手上手最容易遇到的問題你把它打印出來放在工位上調(diào)試效率會快很多。5. 最后聊幾句選型心得折騰了這么多年三種方案都碰過我最深的體會是不要迷信參數(shù)表上的“最遠(yuǎn)距離”和“精度”那都是實(shí)驗(yàn)室條件下的靜態(tài)數(shù)值。真正決定項(xiàng)目成敗的是你選型時有沒有把自己的場景細(xì)節(jié)寫清楚。室內(nèi)固定工位、近距離、高精度結(jié)構(gòu)光大概率是最優(yōu)解動態(tài)、中遠(yuǎn)距、體積受限ToF更穩(wěn)戶外、低成本、分辨率高雙目是基本面。預(yù)算足的話多傳感器融合是更穩(wěn)的路子比如結(jié)構(gòu)光加雙目做補(bǔ)盲ToF加雙目補(bǔ)邊緣甚至ToF和RGB融合做語義深度。做項(xiàng)目最怕的不是技術(shù)太復(fù)雜而是中途發(fā)現(xiàn)選錯了方向返工成本遠(yuǎn)比前期多測幾輪要高。