據(jù)集評測避坑指南：TUM、KITTI、EuRoC細節(jié)剖析)
簡介面向SLAM、自動駕駛與微型無人機方向研究者的數(shù)據(jù)集總結(jié)文檔系統(tǒng)梳理了TUM RGB-D、KITTI、EuRoC三大公開數(shù)據(jù)集的采集設備、數(shù)據(jù)格式、真值標注與評估指標。壓縮包內(nèi)為單個docx文件共1個文件約1.93MB便于隨時查閱。目前已有9609人瀏覽學習適合作為入門數(shù)據(jù)集認知與選型參考。文檔內(nèi)容較為詳盡TUM部分涵蓋彩色圖與深度圖的PNG存儲、比例縮放規(guī)則、groundtruth軌跡txt格式以及ATE與RPE評價指標和點云生成方法KITTI部分介紹了采集平臺所搭載的慣性導航系統(tǒng)、激光掃描儀、灰度與彩色相機等傳感器配置以及raw data等數(shù)據(jù)組織方式EuRoC部分則說明微型無人機多傳感器數(shù)據(jù)特點。這些梳理能幫助讀者在SLAM、自動駕駛、無人機等實驗與論文復現(xiàn)中快速理解數(shù)據(jù)來源與評測方法。1. 三個數(shù)據(jù)集不只是“錄數(shù)據(jù)”而是一套精心布設的評測裝置大多數(shù)開發(fā)者第一次接觸 TUM、KITTI、EuRoC 時第一反應都是“找一段 rosbag 跑一下 SLAM”。但真正把這些數(shù)據(jù)集用明白的人會告訴你數(shù)據(jù)集的復雜度不在于傳感器多貴、場景多真實而在于它的“評測設計”——TUM 的深度圖為什么要縮放 5000 倍KITTI 為什么要拿激光雷達的正前方時刻當快門基準EuRoC 為什么非要把 IMU 中心定義為機體坐標系原點這些細節(jié)決定了你從數(shù)據(jù)集里讀出的軌跡精度數(shù)字到底可不可信。把三個數(shù)據(jù)集放在一起看本質(zhì)上是三種典型的 SLAM 傳感器配置RGB-D 單目加深度、多傳感器自動駕駛平臺、雙目加 IMU 的無人機。它們共享同一個難題——如何把一次 SLAM 運行的軌跡誤差變成一個可復現(xiàn)、可比較的量化指標。搞懂這套評測裝置比多跑幾個序列更有價值。2. TUM RGB-D深度圖縮放、四元數(shù)軌跡與 ATE/RPE 的數(shù)學本質(zhì)2.1 深度圖為什么是 16 位、為什么偏偏縮放 5000 倍TUM 的深度圖以 PNG 格式存儲為 640x480 的 16 位單色圖像彩色圖則是 8 位 RGB。這里最反直覺的是深度圖的編碼方式像素值 5000 對應 1 米也就是深度值等于像素值除以 5000.0而像素值 0 被規(guī)定為缺失值。為什么不用浮點深度、也不用 8 位整數(shù)16 位 PNG 在解碼上比浮點深度的二進制格式省事得多PNG 無損壓縮對 16 位數(shù)據(jù)的壓縮率也穩(wěn)定而且縮放 5000 倍后1 毫米的深度變化對應 5 個像素值量化精度對視覺 SLAM 足夠用。常見的實現(xiàn)思路是把depth_px / 5000.0當成實際米制深度但要注意一個坑0 像素值必須被過濾否則點云里會出現(xiàn)一堆位于相機光心處、距離為 0 的雜點。import numpy as np import imageio.v2 as imageio depth imageio.imread(depth.png).astype(np.float32) depth_m depth / 5000.0 mask depth 0 # 0 是缺失值不能用 points_z depth_m[mask]深度誤差在視覺 SLAM 里不是均勻分布的同樣的像素深度誤差在遠距離處會被放大因為三角化誤差與距離平方近似成正比。TUM 的室內(nèi)場景密度大、物體近能把這個誤差控制在小范圍內(nèi)。理解 5000 倍縮放本質(zhì)上就理解了 Kinect 這類消費級深度傳感器的量化噪聲邊界。2.2 groundtruth 軌跡格式為什么是 tx ty tz qx qy qz qwTUM 的真值存放在 txt 里每行格式為timestamp tx ty tz qx qy qz qwtimestamp 是 Unix 紀元以來的浮點秒數(shù)位置是彩色相機光學中心相對于運動捕捉系統(tǒng)世界原點的坐標姿態(tài)用單位四元數(shù)表示。這里值得追問的是為什么不用歐拉角或者干脆用旋轉(zhuǎn)矩陣四元數(shù)只有 4 個分量、沒有萬向鎖問題、插值方便更重要的是 SVD 對齊時四元數(shù)轉(zhuǎn)旋轉(zhuǎn)矩陣是線性操作。歐拉角的俯仰角接近 ±90° 時數(shù)據(jù)集的真值會突然出現(xiàn)跳變這種跳變不是傳感器誤差是表示方式的奇異性。用四元數(shù)存儲姿態(tài)的連續(xù)性在數(shù)學上是被保證的。另一個容易忽略的細節(jié)四元數(shù)給出的方向是彩色相機光學中心的朝向而不是深度相機或 IMU 的朝向。這意味著你在評估自己的 SLAM 系統(tǒng)時輸出的估計姿態(tài)必須是“彩色相機坐標系下的姿態(tài)”否則對齊后誤差會帶上一個固定旋轉(zhuǎn)偏移。# rgbd_dataset_freiburg1_xyz 某行真值結(jié)構(gòu) 1341845746.621552 -0.055673 0.010236 -0.007318 0.999504 -0.001873 0.011427 -0.028243 # 時間戳 tx ty tz qx qy qz qw該行含義是在 1341845746.62 秒時刻彩色相機光心位于運動捕捉系原點附近的 (-0.056, 0.010, -0.007) 米處朝向由最后一個四元數(shù)給出。注意位置和姿態(tài)都是相對于世界坐標系的而不是相對于上一幀。2.3 ATE 的 SVD 對齊到底在“消除”什么絕對軌跡誤差ATE的思路很直接把估計軌跡和真值軌跡按時間戳關(guān)聯(lián)后先做一個剛體變換對齊再計算逐點差異。但為什么要對齊因為你的 SLAM 系統(tǒng)估計出來的軌跡通常不在真值坐標系里——單目 SLAM 初始化任意RGB-D SLAM 的世界系也可能和運動捕捉系差一個旋轉(zhuǎn)平移。TUM 官方評估腳本用的正是 Kabsch 算法對兩組對應點求質(zhì)心用 SVD 分解協(xié)方差矩陣得到旋轉(zhuǎn)矩陣再算出平移。import numpy as np def kabsch_align(P, Q): # P: 估計軌跡位置 (N,3), Q: 真值軌跡位置 (N,3) centroid_P P.mean(axis0) centroid_Q Q.mean(axis0) H (P - centroid_P).T (Q - centroid_Q) U, _, Vt np.linalg.svd(H) R Vt.T U.T if np.linalg.det(R) 0: # 保證右手坐標系否則會出現(xiàn)鏡像旋轉(zhuǎn) Vt[-1, :] * -1 R Vt.T U.T t centroid_Q - R centroid_P aligned (R P.T).T t return aligned, np.linalg.norm(aligned - Q, axis1).mean()SVD 求出來的 R 一定是一個正交矩陣但正交矩陣包括鏡像反射行列式為 -1所以代碼里必須檢查行列式。這個細節(jié)是很多自寫評估腳本翻車的重災區(qū)——如果不處理對齊后的軌跡會被“鏡像”過去誤差大得離譜但你看不出哪不對。2.4 RPE 固定窗口與漂移測量的關(guān)系相對姿勢誤差RPE不關(guān)心全局坐標系它計算的是“一段時間間隔內(nèi)相對運動的誤差”。官方腳本默認計算所有時間戳對之間的誤差但這個數(shù)量是軌跡長度的平方級所以必須用-max_pairs下采樣或者用-fixed_delta固定窗口。RPE 測量的是視覺里程計的漂移率比如每秒漂移多少米。注意 TUM 對 RPE 的定位是“測量視覺測距系統(tǒng)的漂移”對 ATE 的定位是“測量可視 SLAM 系統(tǒng)的性能”。如果你的算法是帶閉環(huán)的 SLAMATE 更合適如果只是純里程計RPE 更能反映真實漂移。窗口太小RPE 只反映短時噪聲窗口太大漂移被平均掉。一般做法是先跑一個-delta_unit s -delta 1再跑一個-delta 5對比觀察漂移是否隨時間線性增長。3. KITTI激光雷達快門同步、syncedrectified 與自動駕駛數(shù)據(jù)的時間基準3.1 為什么要等激光雷達朝向正前方才釋放快門KITTI 的采集平臺上有兩個灰度相機、兩個彩色相機和一個 64 線激光掃描儀所有傳感器以 10Hz 采集。硬件設計里有個容易被忽略的細節(jié)相機快門在激光雷達朝向正前方時釋放。原因在于激光雷達是旋轉(zhuǎn)掃描的一幀 360° 點云不是瞬時采集的而是花 100ms 掃完一圈。如果相機快門和雷達掃描相位不對齊圖像時刻對應的車體姿態(tài)和雷達幀首尾時刻對應的姿態(tài)會差幾十毫秒這在車輛高速行駛時會導致目標在圖像和點云里錯位幾個像素到幾十像素。把快門對齊到雷達朝向正前方的時刻等于給所有數(shù)據(jù)定了一個統(tǒng)一的“時間錨點”。# 同步邏輯以10Hz雷達為節(jié)拍器 # 雷達打到正前方 - 觸發(fā)相機曝光 - 記錄GPS/IMU姿態(tài) - 組成一幀這套硬件同步的替代方案是軟件時間戳插值但插值依賴傳感器時鐘的穩(wěn)定性和驅(qū)動延遲精度遠不如快門硬件觸發(fā)。KITTI 選擇硬件同步換來的好處是所有傳感器在同一個時間語義下采樣評估時不需要再做復雜的時間對齊。3.2 raw data 與 syncedrectified兩個詞各自解決了什么raw data 里包含兩類數(shù)據(jù)原始的沒有同步、沒有矯正和處理過的同步且矯正。原始數(shù)據(jù)保留了畸變和未對齊的時間戳用于標定和傳感器建模syncedrectified 數(shù)據(jù)是經(jīng)過消除畸變和雙目矯正的、且和其他傳感器序列對齊過的圖像。雙止矯正的本質(zhì)是把左右相機圖像投影到同一個虛擬平面上使極線水平對齊。這樣做的直接收益是視差計算變成一維搜索深度估計和特征匹配的計算量大幅下降。對 SLAM 評估而言用 syncedrectified 數(shù)據(jù)可以省掉畸變矯正這一步直接喂給特征提取器。3.3 image_00 為什么是同步參考系KITTI 的 raw data 每個序列都包含 image_00 到 image_03 四路相機外加 velodyne 點云和 GPS/IMU 數(shù)據(jù)。官方文檔明確指出所有傳感器數(shù)據(jù)序列以 image_00 作為同步參考系。也就是說其他傳感器的時間戳需要向 image_00 對齊。這個設計動機很實際圖像幀率的抖動最小、曝光時間固定、并且彩色和灰度圖像成對出現(xiàn)以它為參考系可以保證“看到的就是同時刻的”。工程上的代價是你下載的每個數(shù)據(jù)包里GPS/IMU 時間戳并非整數(shù) 10Hz而是按圖像幀打點。評估自己的融合算法時要用插值把 IMU 采樣對齊到 image_00 的時間軸上不能直接拿原始時間戳硬比。3.4 object 是單幀tracking 是連續(xù)序列數(shù)據(jù)集結(jié)構(gòu)如何約束算法邊界KITTI 的 object 數(shù)據(jù)集按“2D 檢測、3D 檢測、鳥瞰圖檢測”三個任務組織數(shù)據(jù)本身是單幀訓練集帶標注、測試集不帶。tracking 數(shù)據(jù)集則是一段連續(xù)序列標注以 tracklets 形式給出。object 和 tracking 的差異不是文件組織方式不同而是任務本質(zhì)不同檢測算法不要求幀間關(guān)聯(lián)所以單幀采樣即可跟蹤算法必須驗證時間一致性所以需要連續(xù)幀。做多目標跟蹤時如果只拿 object 數(shù)據(jù)訓練、用 tracking 數(shù)據(jù)測試大概率翻車——因為 object 數(shù)據(jù)里沒有幀間遮擋和軌跡碎片這些跟蹤特有的難題。數(shù)據(jù)集結(jié)構(gòu)的邊界就是任務定義的邊界這個邊界在選數(shù)據(jù)時就要想清楚。4. EuRoCBody Frame 為什么以 IMU 為中心、T_BS 坐標變換約定的工程邏輯4.1 為什么機體坐標系的原點放在 IMU 中心EuRoC 的無人機飛行器上四個傳感器雙目相機兩個 cam0/cam1、慣性測量單元 imu0、激光測距儀 leica0各有各的坐標系但飛行器的 Body Frame 被定義在 IMU 的中心。這個選擇背后的邏輯是視覺慣性導航的狀態(tài)估計里IMU 是積分核心角速度和加速度都定義在 IMU 坐標系下把 Body Frame 定在 IMU 中心就把“積分坐標系”和“狀態(tài)變量坐標系”合成了同一個避免在每一個 IMU 采樣時刻都做一次從 Body 到 IMU 的外參旋轉(zhuǎn)。對慣導系統(tǒng)而言外參標定的誤差會二次方地累積進位置所以能省一次變換就省一次。配套地每個傳感器文件夾里都有一個 sensor.yaml描述該傳感器坐標系到 Body Frame 的變換關(guān)系以及內(nèi)參。這意味著 EuRoC 的數(shù)據(jù)不是“裸傳感器流”而是已經(jīng)帶上了完整的外參定義——用官方給的變換做初始化比從零標定雙目-IMU 外參的結(jié)果穩(wěn)定得多。4.2 R_WC 和 T_BS旋轉(zhuǎn)坐標系變換約定的讀法EuRoC 的文檔里定義了一個容易讀反的約定R_WC 表示“將 C 坐標系下表示的向量變換成 W 坐標系下表示”所以 R_WC 實際上是從 Camera 到 World 的旋轉(zhuǎn)矩陣而不是反過來。同理T_BS 表示將所有 Sensor 坐標系下的向量變?yōu)?Body Frame 下的向量。import numpy as np # 設 T_BS 是 sensor.yaml 給出的 Sensor-Body 變換 T_BS np.loadtxt(cam0/sensor.yaml的變換部分) # 設 T_WB 是 Vicon 給出的 Body-World 位姿groundtruth 提供 T_WB load_vicon_pose(data.csv, row100) # 鏈式變換Sensor - Body - World T_WS T_WB T_BS # 驗證旋轉(zhuǎn)部分的行列式必須為 1否則坐標系約定讀反了 assert np.linalg.det(T_WS[:3, :3]) 0這里最常見的錯誤是把矩陣乘法的順序?qū)懛?。T_WB 表示先取 Body 系下的點變換到 WorldT_BS 表示先取 Sensor 系下的點變換到 Body所以從 Sensor 到 World 必須執(zhí)行T_WS T_WB T_BS外面的變換矩陣在左邊。如果寫成T_BS T_WB語義就變成了“先到 World 再到 Sensor”結(jié)果軌跡會繞著一個奇怪的軸旋轉(zhuǎn)。4.3 Vicon 動作捕捉系統(tǒng)如何提供毫米級真值EuRoC 的 groundtruth 由 Vicon 動作捕捉系統(tǒng)提供在無人機上貼一組反射標志多臺高速紅外相機從不同角度觀測這些標志重建出剛體在單一坐標系下的 6D 位姿幀率 100Hz、精度毫米級。這套系統(tǒng)的本質(zhì)是外部基準它的精度比無人機上任何傳感器都高一個量級所以能當“真值”用。但注意 groundtruth 給出的是 Vicon 坐標系下的位姿不是你 SLAM 系統(tǒng)自己定義的世界系。所以在評估時你的估計軌跡仍然要做一次類似 TUM ATE 的剛體對齊才能和 Vicon 真值對比。EuRoC 數(shù)據(jù)里還包含 leica0激光測距儀提供的輔助測量用于校核 Vicon 系統(tǒng)自身的誤差。4.4 三個數(shù)據(jù)集的互補關(guān)系室內(nèi)、室外與空中把三個數(shù)據(jù)集串起來看它們覆蓋了三類典型場景TUM 是室內(nèi)手持 Kinect運動速度慢、深度信息豐富適合 RGB-D SLAMKITTI 是室外車載運動速度快、場景深度大適合雙目視覺和激光雷達融合的自動駕駛EuRoC 是室內(nèi)無人機快速旋轉(zhuǎn)加劇烈平移恰好是視覺慣性導航最吃緊的運動模式。這種互補決定了按數(shù)據(jù)集選算法的策略如果你的系統(tǒng)在 TUM 上精度好但在 KITTI 上會飛點多半是深度噪聲建模和遠距離三角化出了問題如果在 EuRoC 上發(fā)散多半是 IMU 與視覺的外參或時間戳對齊有偏差。一個數(shù)據(jù)集說明不了問題三個數(shù)據(jù)集的失敗模式放在一起才能定位瓶頸。5. 評測避坑時間戳單位、坐標系鏈式乘法與深度缺失值的五處翻車現(xiàn)場5.1 Unix 浮點秒、KITTI 基準、EuRoC 整數(shù)時間戳被混用現(xiàn)象跑通流程后 ATE 誤差在幾十米量級改哪個參數(shù)都沒用。原因三個數(shù)據(jù)集的時間戳語義不同。TUM 的 timestamp 是 Unix 紀元以來的浮點秒KITTI 的時間戳是相對于采集啟動時刻的毫秒/微秒整數(shù)EuRoC 的 groundtruth 是 18 位整數(shù)時間戳單位是納秒。直接拿兩套時間戳做最近鄰關(guān)聯(lián)結(jié)果自然是錯位到相隔幾分鐘的幀上。解決統(tǒng)一換算成 double 秒。TUM 直接用浮點秒KITTI 用start_time delta / 1e6EuRoC 用ts_ns / 1e9。關(guān)聯(lián)時再設置一個最大時間差閾值如 0.02 秒超過閾值的配對直接丟掉。從那以后我拿到新數(shù)據(jù)集的第一件事都是寫一個時間戳單位探測函數(shù)先打印三行樣本看量級再進評估流程。5.2 SVD 對齊被少數(shù)離群幀拉偏現(xiàn)象ATE 的均值看著不大但軌跡里某一小段明顯有鼓包標準差超大。原因Kabsch 算法是最小二乘意義下的對齊少數(shù)漂移嚴重的幀比如快速旋轉(zhuǎn)時特征丟失導致的跳變會把整個剛體變換“拽”向它們導致正常區(qū)間也被偏置。解決先做一次粗對齊計算逐點誤差后去掉超過 3 倍中位數(shù)的離群幀用剩余幀重新做精細對齊。評估腳本里看到的均值/中位數(shù)/標準差三個數(shù)字要對照著看——均值和中位數(shù)差太遠就是有離群幀存在。5.3 深度像素 0 值被當成“距離 0 米”生成點云現(xiàn)象點云在相機光心附近出現(xiàn)一團密集的黑色雜點肉眼上像是傳感器壞掉了。原因深度圖里 0 是缺失值沒有深度測量不是距離 0 米。直接把像素值除以 5000.0 再生成 PLY就把缺失點全部堆到了相機原點。解決生成點云前先構(gòu)建 mask像素值大于 0只保留有效深度像素同時把彩色圖像對應像素同步過濾保證點云的顏色和位置一一對應。凡是基于深度圖跑點云處理的算法第一步都該是“過濾 0 值”而不是先轉(zhuǎn)成米制浮點。5.4 EuRoC 的 T_BS 乘反了軌跡像被繞了一個軸翻轉(zhuǎn)現(xiàn)象視覺慣性里程計跑出來的軌跡和真值在形狀上一致但整體繞某個軸轉(zhuǎn)了 180 度ATE 算下來大得離譜。原因T_BS 的語義是 Sensor 系到 Body 系鏈式變換必須寫T_WB T_BS。把順序?qū)懗蒚_BS T_WB后幾何上變成先到世界再回傳感器軌跡被一個錯誤旋轉(zhuǎn)矩陣扭曲。解決用官方提供的位姿真值做一次單位檢查——變換矩陣旋轉(zhuǎn)部分行列式為 1、且用一組已知坐標點做正向變換驗證輸出方向。建議在工程里開一個“坐標系沙盒”腳本所有外參讀取后先在靜態(tài)數(shù)據(jù)上驗證一遍再做在線融合。5.5 KITTI 的 synced 與 rectified 分開下載后文件名對不上現(xiàn)象下載了同步數(shù)據(jù)又下載了矯正數(shù)據(jù)結(jié)果圖像文件名和點云時間戳對不上程序直接崩。原因KITTI 的 raw data 里 synced 數(shù)據(jù)和 rectified 數(shù)據(jù)的文件組織、時間戳基準可能不同。它把“同步”和“矯正”拆成兩個下載包兩者之間并沒有保證文件名一一對應尤其是不同版本解壓后目錄結(jié)構(gòu)有差異。解決統(tǒng)一用時間戳做關(guān)聯(lián)不要依賴文件名前綴。先讀所有數(shù)據(jù)源的 timestamp 字段按 10Hz 周期取公共時間節(jié)點再在這個節(jié)點上做傳感器數(shù)據(jù)拼接。以 image_00 時間戳為基準其他傳感器全部插值到該時間軸上。6. 設計取舍三套真值系統(tǒng)的共同哲學與“尺子”困境三個數(shù)據(jù)集都用了同一個策略外部運動捕捉系統(tǒng)提供真值而不是用傳感器自身的測量當基準。這背后的取舍是——真值系統(tǒng)的精度必須比被測系統(tǒng)高一個量級否則你量出來的“誤差”里混著基準自身的噪聲。Vicon 能做到毫米級所以它能刻 IMU 和相機運動捕捉系統(tǒng)做不到室外場景所以 KITTI 只能退而求其次用高精度 GPS/IMU 組合導航做基準。真值精度和場景真實度之間本身就是一對矛盾。ATE 與 RPE 的分工也藏著同一個設計取舍絕對精度和相對一致性是兩種不同的系統(tǒng)能力。ATE 對齊后比較全局軌跡適合閉環(huán) SLAMRPE 只關(guān)心局部窗口的相對運動適合漂移分析。沒有一個指標能同時回答“系統(tǒng)最終有多準”和“系統(tǒng)會不會隨時間飄”所以數(shù)據(jù)集才要同時提供兩個評測維度、兩份腳本、兩種參數(shù)調(diào)法。這種設計不是冗余而是把“SLAM 系統(tǒng)性能”這個模糊概念拆成了兩個可獨立優(yōu)化的目標。從那以后我每到一個新學到的數(shù)據(jù)集都會先問三個問題真值坐標系的原點定在哪時間戳的單位是什么傳感器外參的變換方向按什么約定書寫。這三個問題答對了評估腳本才有意義答錯了后面所有精度數(shù)字都是虛假的安慰。希望幫到你也祝你在 SLAM 這條路上少走我走過的彎路。本文還有配套的精品資源點擊獲取 SLAM數(shù)據(jù)集評測避坑指南：TUM、KITTI、EuRoC細節(jié)剖析
簡介面向SLAM、自動駕駛與微型無人機方向研究者的數(shù)據(jù)集總結(jié)文檔系統(tǒng)梳理了TUM RGB-D、KITTI、EuRoC三大公開數(shù)據(jù)集的采集設備、數(shù)據(jù)格式、真值標注與評估指標。壓縮包內(nèi)為單個docx文件共1個文件約1.93MB便于隨時查閱。目前已有9609人瀏覽學習適合作為入門數(shù)據(jù)集認知與選型參考。文檔內(nèi)容較為詳盡TUM部分涵蓋彩色圖與深度圖的PNG存儲、比例縮放規(guī)則、groundtruth軌跡txt格式以及ATE與RPE評價指標和點云生成方法KITTI部分介紹了采集平臺所搭載的慣性導航系統(tǒng)、激光掃描儀、灰度與彩色相機等傳感器配置以及raw data等數(shù)據(jù)組織方式EuRoC部分則說明微型無人機多傳感器數(shù)據(jù)特點。這些梳理能幫助讀者在SLAM、自動駕駛、無人機等實驗與論文復現(xiàn)中快速理解數(shù)據(jù)來源與評測方法。1. 三個數(shù)據(jù)集不只是“錄數(shù)據(jù)”而是一套精心布設的評測裝置大多數(shù)開發(fā)者第一次接觸 TUM、KITTI、EuRoC 時第一反應都是“找一段 rosbag 跑一下 SLAM”。但真正把這些數(shù)據(jù)集用明白的人會告訴你數(shù)據(jù)集的復雜度不在于傳感器多貴、場景多真實而在于它的“評測設計”——TUM 的深度圖為什么要縮放 5000 倍KITTI 為什么要拿激光雷達的正前方時刻當快門基準EuRoC 為什么非要把 IMU 中心定義為機體坐標系原點這些細節(jié)決定了你從數(shù)據(jù)集里讀出的軌跡精度數(shù)字到底可不可信。把三個數(shù)據(jù)集放在一起看本質(zhì)上是三種典型的 SLAM 傳感器配置RGB-D 單目加深度、多傳感器自動駕駛平臺、雙目加 IMU 的無人機。它們共享同一個難題——如何把一次 SLAM 運行的軌跡誤差變成一個可復現(xiàn)、可比較的量化指標。搞懂這套評測裝置比多跑幾個序列更有價值。2. TUM RGB-D深度圖縮放、四元數(shù)軌跡與 ATE/RPE 的數(shù)學本質(zhì)2.1 深度圖為什么是 16 位、為什么偏偏縮放 5000 倍TUM 的深度圖以 PNG 格式存儲為 640x480 的 16 位單色圖像彩色圖則是 8 位 RGB。這里最反直覺的是深度圖的編碼方式像素值 5000 對應 1 米也就是深度值等于像素值除以 5000.0而像素值 0 被規(guī)定為缺失值。為什么不用浮點深度、也不用 8 位整數(shù)16 位 PNG 在解碼上比浮點深度的二進制格式省事得多PNG 無損壓縮對 16 位數(shù)據(jù)的壓縮率也穩(wěn)定而且縮放 5000 倍后1 毫米的深度變化對應 5 個像素值量化精度對視覺 SLAM 足夠用。常見的實現(xiàn)思路是把depth_px / 5000.0當成實際米制深度但要注意一個坑0 像素值必須被過濾否則點云里會出現(xiàn)一堆位于相機光心處、距離為 0 的雜點。import numpy as np import imageio.v2 as imageio depth imageio.imread(depth.png).astype(np.float32) depth_m depth / 5000.0 mask depth 0 # 0 是缺失值不能用 points_z depth_m[mask]深度誤差在視覺 SLAM 里不是均勻分布的同樣的像素深度誤差在遠距離處會被放大因為三角化誤差與距離平方近似成正比。TUM 的室內(nèi)場景密度大、物體近能把這個誤差控制在小范圍內(nèi)。理解 5000 倍縮放本質(zhì)上就理解了 Kinect 這類消費級深度傳感器的量化噪聲邊界。2.2 groundtruth 軌跡格式為什么是 tx ty tz qx qy qz qwTUM 的真值存放在 txt 里每行格式為timestamp tx ty tz qx qy qz qwtimestamp 是 Unix 紀元以來的浮點秒數(shù)位置是彩色相機光學中心相對于運動捕捉系統(tǒng)世界原點的坐標姿態(tài)用單位四元數(shù)表示。這里值得追問的是為什么不用歐拉角或者干脆用旋轉(zhuǎn)矩陣四元數(shù)只有 4 個分量、沒有萬向鎖問題、插值方便更重要的是 SVD 對齊時四元數(shù)轉(zhuǎn)旋轉(zhuǎn)矩陣是線性操作。歐拉角的俯仰角接近 ±90° 時數(shù)據(jù)集的真值會突然出現(xiàn)跳變這種跳變不是傳感器誤差是表示方式的奇異性。用四元數(shù)存儲姿態(tài)的連續(xù)性在數(shù)學上是被保證的。另一個容易忽略的細節(jié)四元數(shù)給出的方向是彩色相機光學中心的朝向而不是深度相機或 IMU 的朝向。這意味著你在評估自己的 SLAM 系統(tǒng)時輸出的估計姿態(tài)必須是“彩色相機坐標系下的姿態(tài)”否則對齊后誤差會帶上一個固定旋轉(zhuǎn)偏移。# rgbd_dataset_freiburg1_xyz 某行真值結(jié)構(gòu) 1341845746.621552 -0.055673 0.010236 -0.007318 0.999504 -0.001873 0.011427 -0.028243 # 時間戳 tx ty tz qx qy qz qw該行含義是在 1341845746.62 秒時刻彩色相機光心位于運動捕捉系原點附近的 (-0.056, 0.010, -0.007) 米處朝向由最后一個四元數(shù)給出。注意位置和姿態(tài)都是相對于世界坐標系的而不是相對于上一幀。2.3 ATE 的 SVD 對齊到底在“消除”什么絕對軌跡誤差ATE的思路很直接把估計軌跡和真值軌跡按時間戳關(guān)聯(lián)后先做一個剛體變換對齊再計算逐點差異。但為什么要對齊因為你的 SLAM 系統(tǒng)估計出來的軌跡通常不在真值坐標系里——單目 SLAM 初始化任意RGB-D SLAM 的世界系也可能和運動捕捉系差一個旋轉(zhuǎn)平移。TUM 官方評估腳本用的正是 Kabsch 算法對兩組對應點求質(zhì)心用 SVD 分解協(xié)方差矩陣得到旋轉(zhuǎn)矩陣再算出平移。import numpy as np def kabsch_align(P, Q): # P: 估計軌跡位置 (N,3), Q: 真值軌跡位置 (N,3) centroid_P P.mean(axis0) centroid_Q Q.mean(axis0) H (P - centroid_P).T (Q - centroid_Q) U, _, Vt np.linalg.svd(H) R Vt.T U.T if np.linalg.det(R) 0: # 保證右手坐標系否則會出現(xiàn)鏡像旋轉(zhuǎn) Vt[-1, :] * -1 R Vt.T U.T t centroid_Q - R centroid_P aligned (R P.T).T t return aligned, np.linalg.norm(aligned - Q, axis1).mean()SVD 求出來的 R 一定是一個正交矩陣但正交矩陣包括鏡像反射行列式為 -1所以代碼里必須檢查行列式。這個細節(jié)是很多自寫評估腳本翻車的重災區(qū)——如果不處理對齊后的軌跡會被“鏡像”過去誤差大得離譜但你看不出哪不對。2.4 RPE 固定窗口與漂移測量的關(guān)系相對姿勢誤差RPE不關(guān)心全局坐標系它計算的是“一段時間間隔內(nèi)相對運動的誤差”。官方腳本默認計算所有時間戳對之間的誤差但這個數(shù)量是軌跡長度的平方級所以必須用-max_pairs下采樣或者用-fixed_delta固定窗口。RPE 測量的是視覺里程計的漂移率比如每秒漂移多少米。注意 TUM 對 RPE 的定位是“測量視覺測距系統(tǒng)的漂移”對 ATE 的定位是“測量可視 SLAM 系統(tǒng)的性能”。如果你的算法是帶閉環(huán)的 SLAMATE 更合適如果只是純里程計RPE 更能反映真實漂移。窗口太小RPE 只反映短時噪聲窗口太大漂移被平均掉。一般做法是先跑一個-delta_unit s -delta 1再跑一個-delta 5對比觀察漂移是否隨時間線性增長。3. KITTI激光雷達快門同步、syncedrectified 與自動駕駛數(shù)據(jù)的時間基準3.1 為什么要等激光雷達朝向正前方才釋放快門KITTI 的采集平臺上有兩個灰度相機、兩個彩色相機和一個 64 線激光掃描儀所有傳感器以 10Hz 采集。硬件設計里有個容易被忽略的細節(jié)相機快門在激光雷達朝向正前方時釋放。原因在于激光雷達是旋轉(zhuǎn)掃描的一幀 360° 點云不是瞬時采集的而是花 100ms 掃完一圈。如果相機快門和雷達掃描相位不對齊圖像時刻對應的車體姿態(tài)和雷達幀首尾時刻對應的姿態(tài)會差幾十毫秒這在車輛高速行駛時會導致目標在圖像和點云里錯位幾個像素到幾十像素。把快門對齊到雷達朝向正前方的時刻等于給所有數(shù)據(jù)定了一個統(tǒng)一的“時間錨點”。# 同步邏輯以10Hz雷達為節(jié)拍器 # 雷達打到正前方 - 觸發(fā)相機曝光 - 記錄GPS/IMU姿態(tài) - 組成一幀這套硬件同步的替代方案是軟件時間戳插值但插值依賴傳感器時鐘的穩(wěn)定性和驅(qū)動延遲精度遠不如快門硬件觸發(fā)。KITTI 選擇硬件同步換來的好處是所有傳感器在同一個時間語義下采樣評估時不需要再做復雜的時間對齊。3.2 raw data 與 syncedrectified兩個詞各自解決了什么raw data 里包含兩類數(shù)據(jù)原始的沒有同步、沒有矯正和處理過的同步且矯正。原始數(shù)據(jù)保留了畸變和未對齊的時間戳用于標定和傳感器建模syncedrectified 數(shù)據(jù)是經(jīng)過消除畸變和雙目矯正的、且和其他傳感器序列對齊過的圖像。雙止矯正的本質(zhì)是把左右相機圖像投影到同一個虛擬平面上使極線水平對齊。這樣做的直接收益是視差計算變成一維搜索深度估計和特征匹配的計算量大幅下降。對 SLAM 評估而言用 syncedrectified 數(shù)據(jù)可以省掉畸變矯正這一步直接喂給特征提取器。3.3 image_00 為什么是同步參考系KITTI 的 raw data 每個序列都包含 image_00 到 image_03 四路相機外加 velodyne 點云和 GPS/IMU 數(shù)據(jù)。官方文檔明確指出所有傳感器數(shù)據(jù)序列以 image_00 作為同步參考系。也就是說其他傳感器的時間戳需要向 image_00 對齊。這個設計動機很實際圖像幀率的抖動最小、曝光時間固定、并且彩色和灰度圖像成對出現(xiàn)以它為參考系可以保證“看到的就是同時刻的”。工程上的代價是你下載的每個數(shù)據(jù)包里GPS/IMU 時間戳并非整數(shù) 10Hz而是按圖像幀打點。評估自己的融合算法時要用插值把 IMU 采樣對齊到 image_00 的時間軸上不能直接拿原始時間戳硬比。3.4 object 是單幀tracking 是連續(xù)序列數(shù)據(jù)集結(jié)構(gòu)如何約束算法邊界KITTI 的 object 數(shù)據(jù)集按“2D 檢測、3D 檢測、鳥瞰圖檢測”三個任務組織數(shù)據(jù)本身是單幀訓練集帶標注、測試集不帶。tracking 數(shù)據(jù)集則是一段連續(xù)序列標注以 tracklets 形式給出。object 和 tracking 的差異不是文件組織方式不同而是任務本質(zhì)不同檢測算法不要求幀間關(guān)聯(lián)所以單幀采樣即可跟蹤算法必須驗證時間一致性所以需要連續(xù)幀。做多目標跟蹤時如果只拿 object 數(shù)據(jù)訓練、用 tracking 數(shù)據(jù)測試大概率翻車——因為 object 數(shù)據(jù)里沒有幀間遮擋和軌跡碎片這些跟蹤特有的難題。數(shù)據(jù)集結(jié)構(gòu)的邊界就是任務定義的邊界這個邊界在選數(shù)據(jù)時就要想清楚。4. EuRoCBody Frame 為什么以 IMU 為中心、T_BS 坐標變換約定的工程邏輯4.1 為什么機體坐標系的原點放在 IMU 中心EuRoC 的無人機飛行器上四個傳感器雙目相機兩個 cam0/cam1、慣性測量單元 imu0、激光測距儀 leica0各有各的坐標系但飛行器的 Body Frame 被定義在 IMU 的中心。這個選擇背后的邏輯是視覺慣性導航的狀態(tài)估計里IMU 是積分核心角速度和加速度都定義在 IMU 坐標系下把 Body Frame 定在 IMU 中心就把“積分坐標系”和“狀態(tài)變量坐標系”合成了同一個避免在每一個 IMU 采樣時刻都做一次從 Body 到 IMU 的外參旋轉(zhuǎn)。對慣導系統(tǒng)而言外參標定的誤差會二次方地累積進位置所以能省一次變換就省一次。配套地每個傳感器文件夾里都有一個 sensor.yaml描述該傳感器坐標系到 Body Frame 的變換關(guān)系以及內(nèi)參。這意味著 EuRoC 的數(shù)據(jù)不是“裸傳感器流”而是已經(jīng)帶上了完整的外參定義——用官方給的變換做初始化比從零標定雙目-IMU 外參的結(jié)果穩(wěn)定得多。4.2 R_WC 和 T_BS旋轉(zhuǎn)坐標系變換約定的讀法EuRoC 的文檔里定義了一個容易讀反的約定R_WC 表示“將 C 坐標系下表示的向量變換成 W 坐標系下表示”所以 R_WC 實際上是從 Camera 到 World 的旋轉(zhuǎn)矩陣而不是反過來。同理T_BS 表示將所有 Sensor 坐標系下的向量變?yōu)?Body Frame 下的向量。import numpy as np # 設 T_BS 是 sensor.yaml 給出的 Sensor-Body 變換 T_BS np.loadtxt(cam0/sensor.yaml的變換部分) # 設 T_WB 是 Vicon 給出的 Body-World 位姿groundtruth 提供 T_WB load_vicon_pose(data.csv, row100) # 鏈式變換Sensor - Body - World T_WS T_WB T_BS # 驗證旋轉(zhuǎn)部分的行列式必須為 1否則坐標系約定讀反了 assert np.linalg.det(T_WS[:3, :3]) 0這里最常見的錯誤是把矩陣乘法的順序?qū)懛?。T_WB 表示先取 Body 系下的點變換到 WorldT_BS 表示先取 Sensor 系下的點變換到 Body所以從 Sensor 到 World 必須執(zhí)行T_WS T_WB T_BS外面的變換矩陣在左邊。如果寫成T_BS T_WB語義就變成了“先到 World 再到 Sensor”結(jié)果軌跡會繞著一個奇怪的軸旋轉(zhuǎn)。4.3 Vicon 動作捕捉系統(tǒng)如何提供毫米級真值EuRoC 的 groundtruth 由 Vicon 動作捕捉系統(tǒng)提供在無人機上貼一組反射標志多臺高速紅外相機從不同角度觀測這些標志重建出剛體在單一坐標系下的 6D 位姿幀率 100Hz、精度毫米級。這套系統(tǒng)的本質(zhì)是外部基準它的精度比無人機上任何傳感器都高一個量級所以能當“真值”用。但注意 groundtruth 給出的是 Vicon 坐標系下的位姿不是你 SLAM 系統(tǒng)自己定義的世界系。所以在評估時你的估計軌跡仍然要做一次類似 TUM ATE 的剛體對齊才能和 Vicon 真值對比。EuRoC 數(shù)據(jù)里還包含 leica0激光測距儀提供的輔助測量用于校核 Vicon 系統(tǒng)自身的誤差。4.4 三個數(shù)據(jù)集的互補關(guān)系室內(nèi)、室外與空中把三個數(shù)據(jù)集串起來看它們覆蓋了三類典型場景TUM 是室內(nèi)手持 Kinect運動速度慢、深度信息豐富適合 RGB-D SLAMKITTI 是室外車載運動速度快、場景深度大適合雙目視覺和激光雷達融合的自動駕駛EuRoC 是室內(nèi)無人機快速旋轉(zhuǎn)加劇烈平移恰好是視覺慣性導航最吃緊的運動模式。這種互補決定了按數(shù)據(jù)集選算法的策略如果你的系統(tǒng)在 TUM 上精度好但在 KITTI 上會飛點多半是深度噪聲建模和遠距離三角化出了問題如果在 EuRoC 上發(fā)散多半是 IMU 與視覺的外參或時間戳對齊有偏差。一個數(shù)據(jù)集說明不了問題三個數(shù)據(jù)集的失敗模式放在一起才能定位瓶頸。5. 評測避坑時間戳單位、坐標系鏈式乘法與深度缺失值的五處翻車現(xiàn)場5.1 Unix 浮點秒、KITTI 基準、EuRoC 整數(shù)時間戳被混用現(xiàn)象跑通流程后 ATE 誤差在幾十米量級改哪個參數(shù)都沒用。原因三個數(shù)據(jù)集的時間戳語義不同。TUM 的 timestamp 是 Unix 紀元以來的浮點秒KITTI 的時間戳是相對于采集啟動時刻的毫秒/微秒整數(shù)EuRoC 的 groundtruth 是 18 位整數(shù)時間戳單位是納秒。直接拿兩套時間戳做最近鄰關(guān)聯(lián)結(jié)果自然是錯位到相隔幾分鐘的幀上。解決統(tǒng)一換算成 double 秒。TUM 直接用浮點秒KITTI 用start_time delta / 1e6EuRoC 用ts_ns / 1e9。關(guān)聯(lián)時再設置一個最大時間差閾值如 0.02 秒超過閾值的配對直接丟掉。從那以后我拿到新數(shù)據(jù)集的第一件事都是寫一個時間戳單位探測函數(shù)先打印三行樣本看量級再進評估流程。5.2 SVD 對齊被少數(shù)離群幀拉偏現(xiàn)象ATE 的均值看著不大但軌跡里某一小段明顯有鼓包標準差超大。原因Kabsch 算法是最小二乘意義下的對齊少數(shù)漂移嚴重的幀比如快速旋轉(zhuǎn)時特征丟失導致的跳變會把整個剛體變換“拽”向它們導致正常區(qū)間也被偏置。解決先做一次粗對齊計算逐點誤差后去掉超過 3 倍中位數(shù)的離群幀用剩余幀重新做精細對齊。評估腳本里看到的均值/中位數(shù)/標準差三個數(shù)字要對照著看——均值和中位數(shù)差太遠就是有離群幀存在。5.3 深度像素 0 值被當成“距離 0 米”生成點云現(xiàn)象點云在相機光心附近出現(xiàn)一團密集的黑色雜點肉眼上像是傳感器壞掉了。原因深度圖里 0 是缺失值沒有深度測量不是距離 0 米。直接把像素值除以 5000.0 再生成 PLY就把缺失點全部堆到了相機原點。解決生成點云前先構(gòu)建 mask像素值大于 0只保留有效深度像素同時把彩色圖像對應像素同步過濾保證點云的顏色和位置一一對應。凡是基于深度圖跑點云處理的算法第一步都該是“過濾 0 值”而不是先轉(zhuǎn)成米制浮點。5.4 EuRoC 的 T_BS 乘反了軌跡像被繞了一個軸翻轉(zhuǎn)現(xiàn)象視覺慣性里程計跑出來的軌跡和真值在形狀上一致但整體繞某個軸轉(zhuǎn)了 180 度ATE 算下來大得離譜。原因T_BS 的語義是 Sensor 系到 Body 系鏈式變換必須寫T_WB T_BS。把順序?qū)懗蒚_BS T_WB后幾何上變成先到世界再回傳感器軌跡被一個錯誤旋轉(zhuǎn)矩陣扭曲。解決用官方提供的位姿真值做一次單位檢查——變換矩陣旋轉(zhuǎn)部分行列式為 1、且用一組已知坐標點做正向變換驗證輸出方向。建議在工程里開一個“坐標系沙盒”腳本所有外參讀取后先在靜態(tài)數(shù)據(jù)上驗證一遍再做在線融合。5.5 KITTI 的 synced 與 rectified 分開下載后文件名對不上現(xiàn)象下載了同步數(shù)據(jù)又下載了矯正數(shù)據(jù)結(jié)果圖像文件名和點云時間戳對不上程序直接崩。原因KITTI 的 raw data 里 synced 數(shù)據(jù)和 rectified 數(shù)據(jù)的文件組織、時間戳基準可能不同。它把“同步”和“矯正”拆成兩個下載包兩者之間并沒有保證文件名一一對應尤其是不同版本解壓后目錄結(jié)構(gòu)有差異。解決統(tǒng)一用時間戳做關(guān)聯(lián)不要依賴文件名前綴。先讀所有數(shù)據(jù)源的 timestamp 字段按 10Hz 周期取公共時間節(jié)點再在這個節(jié)點上做傳感器數(shù)據(jù)拼接。以 image_00 時間戳為基準其他傳感器全部插值到該時間軸上。6. 設計取舍三套真值系統(tǒng)的共同哲學與“尺子”困境三個數(shù)據(jù)集都用了同一個策略外部運動捕捉系統(tǒng)提供真值而不是用傳感器自身的測量當基準。這背后的取舍是——真值系統(tǒng)的精度必須比被測系統(tǒng)高一個量級否則你量出來的“誤差”里混著基準自身的噪聲。Vicon 能做到毫米級所以它能刻 IMU 和相機運動捕捉系統(tǒng)做不到室外場景所以 KITTI 只能退而求其次用高精度 GPS/IMU 組合導航做基準。真值精度和場景真實度之間本身就是一對矛盾。ATE 與 RPE 的分工也藏著同一個設計取舍絕對精度和相對一致性是兩種不同的系統(tǒng)能力。ATE 對齊后比較全局軌跡適合閉環(huán) SLAMRPE 只關(guān)心局部窗口的相對運動適合漂移分析。沒有一個指標能同時回答“系統(tǒng)最終有多準”和“系統(tǒng)會不會隨時間飄”所以數(shù)據(jù)集才要同時提供兩個評測維度、兩份腳本、兩種參數(shù)調(diào)法。這種設計不是冗余而是把“SLAM 系統(tǒng)性能”這個模糊概念拆成了兩個可獨立優(yōu)化的目標。從那以后我每到一個新學到的數(shù)據(jù)集都會先問三個問題真值坐標系的原點定在哪時間戳的單位是什么傳感器外參的變換方向按什么約定書寫。這三個問題答對了評估腳本才有意義答錯了后面所有精度數(shù)字都是虛假的安慰。希望幫到你也祝你在 SLAM 這條路上少走我走過的彎路。本文還有配套的精品資源點擊獲取