簡介這個項(xiàng)目圍繞激光雷達(dá)點(diǎn)云分割中的場景視點(diǎn)偏移優(yōu)化展開面向自動駕駛與機(jī)器人導(dǎo)航領(lǐng)域的開發(fā)者以及需要完成畢業(yè)設(shè)計(jì)或課程設(shè)計(jì)的計(jì)算機(jī)視覺專業(yè)學(xué)生。采用Python實(shí)現(xiàn)涉及點(diǎn)云數(shù)據(jù)預(yù)處理、矩陣變換模擬多視角觀察、特征提取以及基于密度或聚類的分割算法。資源包共135個文件壓縮后約15.68MB包含73個py源碼文件、28個pyc編譯文件、16個txt說明文檔及5個npy點(diǎn)云數(shù)據(jù)文件另有模型檢查點(diǎn)文件index/meta/data與訓(xùn)練日志便于快速加載預(yù)訓(xùn)練權(quán)重并繼續(xù)實(shí)驗(yàn)。已有148人下載學(xué)習(xí)。通過閱讀源碼可掌握點(diǎn)云濾波、地面分割、視點(diǎn)偏移矩陣構(gòu)造、特征提取與分割后處理等完整流程配套的md/txt文檔和多組KITTI數(shù)據(jù)集npy樣例為復(fù)現(xiàn)與二次開發(fā)提供了直接可用的數(shù)據(jù)輸入和代碼骨架。1. 場景視點(diǎn)偏移改善點(diǎn)云分割這個項(xiàng)目到底改進(jìn)了什么第一次看到場景視點(diǎn)偏移這幾個字我以為只是給點(diǎn)云數(shù)據(jù)加個隨機(jī)抖動結(jié)果看完源碼才發(fā)現(xiàn)完全不是一回事。激光雷達(dá)點(diǎn)云分割一直是自動駕駛感知里的硬骨頭點(diǎn)云稀疏、遮擋嚴(yán)重、物體尺度差異大傳統(tǒng)的固定視角分割很容易把相鄰物體黏在一起。視點(diǎn)偏移的思路很直接把同一幀點(diǎn)云繞不同軸做輕微的旋轉(zhuǎn)平移變換讓算法從多個虛擬視角觀察同一個場景相當(dāng)于一次推理里塞進(jìn)了多幀的上下文信息。這個項(xiàng)目打包了完整的 Python 源碼、訓(xùn)練好的 TensorFlow checkpoint 模型和 KITTI 數(shù)據(jù)集預(yù)處理后的 .npy 點(diǎn)云幀適合做畢業(yè)設(shè)計(jì)、課程設(shè)計(jì)也適合剛?cè)腴T的開發(fā)者拆著玩——既能看清數(shù)據(jù)流入模型的完整鏈路又能直接拿現(xiàn)成權(quán)重跑推理。2. 數(shù)據(jù)怎么進(jìn)來.npy 點(diǎn)云幀與預(yù)處理鏈路2.1 從文件結(jié)構(gòu)反推數(shù)據(jù)格式拿到項(xiàng)目先把壓縮包解了里面除了model.ckpt-23000開頭的四個模型文件就是一堆.npy文件。2011_09_26_0051_0000000011.npy、2011_09_26_0061_0000000400.npy這種命名方式很有特征——前半段是日期后半段是序列號這是從 KITTI 原始數(shù)據(jù)里按時間戳抽出來的點(diǎn)云幀。000000.npy和000000_r_05.npy則有意思得多_r_05大概率是 rotated 0.5也就是原始幀做了 0.5 弧度約 28.6 度旋轉(zhuǎn)變換后的結(jié)果正好對應(yīng)視點(diǎn)偏移的實(shí)現(xiàn)邏輯。讀取.npy文件用 NumPy 就夠了不需要引入額外的點(diǎn)云庫先做一次解析import numpy as np # 讀取原始點(diǎn)云幀 cloud np.load(2011_09_26_0051_0000000011.npy) print(shape:, cloud.shape) print(dtype:, cloud.dtype) print(前5行:\n, cloud[:5])這段代碼首先用np.load直接加載.npy文件然后打印點(diǎn)云的形狀、數(shù)據(jù)類型和前五行內(nèi)容。KITTI 的原始點(diǎn)云一般是(N, 4)的數(shù)組四列分別代表 x、y、z 坐標(biāo)和反射強(qiáng)度值。如果打印出來的shape是(N, 3)說明數(shù)據(jù)已經(jīng)被預(yù)處理過了只保留了空間坐標(biāo)如果看到的是(N, 4)后續(xù)操作就要考慮到第四列的強(qiáng)度信息。dtype通常是float32或float64這會影響內(nèi)存占用和計(jì)算速度建議用float32精度足夠而且顯存占用減半。# 檢查數(shù)據(jù)統(tǒng)計(jì)特征 print(點(diǎn)數(shù):, cloud.shape[0]) print(坐標(biāo)范圍 x:, cloud[:, 0].min(), ~, cloud[:, 0].max()) print(坐標(biāo)范圍 y:, cloud[:, 1].min(), ~, cloud[:, 1].max()) print(坐標(biāo)范圍 z:, cloud[:, 2].min(), ~, cloud[:, 2].max())點(diǎn)云數(shù)據(jù)的坐標(biāo)范圍是最容易忽略的信息。如果 z 軸的數(shù)值范圍在 0 到 3 米之間說明這套數(shù)據(jù)大概率是做過地面分割或者已經(jīng)經(jīng)過了坐標(biāo)變換如果 z 軸出現(xiàn)負(fù)值說明雷達(dá)的安裝高度已經(jīng)通過外參校準(zhǔn)到了全局坐標(biāo)系里。拿到數(shù)據(jù)先看統(tǒng)計(jì)信息能避免后面做視點(diǎn)偏移時對旋轉(zhuǎn)中心產(chǎn)生誤判。預(yù)處理鏈路一般是這幾步體素降采樣減點(diǎn)數(shù)保留空間輪廓去掉冗余點(diǎn)、統(tǒng)計(jì)濾波去掉離群噪點(diǎn)、地面分割把地面點(diǎn)和非地面點(diǎn)分開。這套流程在自動駕駛數(shù)據(jù)集里幾乎是標(biāo)配因?yàn)榈孛纥c(diǎn)數(shù)量太多直接喂給分割網(wǎng)絡(luò)會嚴(yán)重干擾前景物體的特征提取。2.2 視點(diǎn)偏移的數(shù)學(xué)本質(zhì)旋轉(zhuǎn)與平移的組合視點(diǎn)偏移的核心就是剛體變換。剛體變換保證點(diǎn)與點(diǎn)之間的相對距離不變只是整體換個位姿觀察。數(shù)學(xué)表達(dá)式寫成齊次形式P R * P T其中 P 是原始點(diǎn)坐標(biāo)(x, y, z, 1)R 是 3x3 旋轉(zhuǎn)矩陣T 是 3x1 平移向量P 是變換后的點(diǎn)坐標(biāo)。繞 z 軸旋轉(zhuǎn) theta 角度的旋轉(zhuǎn)矩陣就是R_z(theta) [[cos(theta), -sin(theta), 0], [sin(theta), cos(theta), 0], [0, 0, 1]]對應(yīng)到代碼實(shí)現(xiàn)用 SciPy 的Rotation模塊生成旋轉(zhuǎn)矩陣最省事import numpy as np from scipy.spatial.transform import Rotation def apply_viewpoint_offset(cloud, yawnp.radians(10), pitch0.0, roll0.0, translationNone): 對點(diǎn)云做視點(diǎn)偏移變換 :param cloud: 輸入的 (N, 3) 或 (N, 4) 點(diǎn)云數(shù)組 :param yaw: 繞 z 軸旋轉(zhuǎn)角度弧度制 :param pitch: 繞 y 軸旋轉(zhuǎn)角度 :param roll: 繞 x 軸旋轉(zhuǎn)角度 :param translation: 平移向量默認(rèn) None 表示不平移 :return: 變換后的點(diǎn)云與輸入同形狀 # 分離坐標(biāo)和強(qiáng)度信息 if cloud.shape[1] 4: coords cloud[:, :3] intensity cloud[:, 3:4] else: coords cloud[:, :3] intensity None # 生成旋轉(zhuǎn)矩陣 rotation Rotation.from_euler(xyz, [roll, pitch, yaw]).as_matrix() # 旋轉(zhuǎn)點(diǎn)坐標(biāo) rotated coords rotation.T # 平移 if translation is not None: rotated rotated np.array(translation) if intensity is not None: return np.hstack([rotated, intensity]) return rotated # 測試加載原始幀后做偏移 orig np.load(2011_09_26_0051_0000000011.npy) offset_cloud apply_viewpoint_offset(orig, yawnp.radians(15)) print(原始范圍:, orig[:, :3].min(axis0), orig[:, :3].max(axis0)) print(偏移后范圍:, offset_cloud[:, :3].min(axis0), offset_cloud[:, :3].max(axis0))這段代碼里有幾個細(xì)節(jié)值得展開。Rotation.from_euler(xyz, [roll, pitch, yaw])里的xyz指的是旋轉(zhuǎn)順序先繞 x 軸、再繞 y 軸、最后繞 z 軸。旋轉(zhuǎn)順序不同結(jié)果完全不同這是最容易出錯的參數(shù)。coords rotation.T里為什么要轉(zhuǎn)置因?yàn)?SciPy 的旋轉(zhuǎn)矩陣把列向量當(dāng)作點(diǎn)的表示點(diǎn)坐標(biāo)是行向量時就要右乘矩陣的轉(zhuǎn)置。如果寫成rotation coords.T然后再轉(zhuǎn)置回來效果一樣但直接 rotation.T更簡潔且不容易搞混。旋轉(zhuǎn)角度建議用弧度制。很多第一次用的人習(xí)慣寫 30、45 這種角度制數(shù)值但np.radians和Rotation內(nèi)部都是弧度制——傳 30 進(jìn)去等于轉(zhuǎn)了 30 弧度結(jié)果直接把點(diǎn)云旋到面目全非這就是視點(diǎn)偏移參數(shù)設(shè)置的第一大坑。2.3 多個視角怎么組合從單幀到多幀融合視點(diǎn)偏移不是只做一次旋轉(zhuǎn)而是把同一幀點(diǎn)云通過多個角度變換后拼接起來形成多視角的超級幀。常見做法是取{-15°, -7.5°, 0°, 7.5°, 15°}這樣一組小角度分別變換后再合并。為什么要小角度而不是大角度旋轉(zhuǎn)因?yàn)橐朁c(diǎn)偏移的目的不是生成一個新場景而是讓分割算法在推理時能通過多視角看到同一個物體的不同側(cè)面。角度太大物體的朝向變了語義標(biāo)簽就失去了意義角度太小變換前后的點(diǎn)云幾乎重合等于重復(fù)計(jì)算。5~15度的偏移量是實(shí)踐中最常用的區(qū)間。import numpy as np def multi_view_fusion(cloud, angles_deg(-15, -7.5, 0, 7.5, 15)): 多視點(diǎn)偏移融合對同一幀點(diǎn)云應(yīng)用多個旋轉(zhuǎn)角拼接結(jié)果 :param cloud: 輸入點(diǎn)云 (N, 3) 或 (N, 4) :param angles_deg: 旋轉(zhuǎn)角度列表單位度 :return: 融合后的點(diǎn)云數(shù)組 fused [] for angle in angles_deg: transformed apply_viewpoint_offset(cloud, yawnp.radians(angle)) fused.append(transformed) # 沿第一個維度拼接 result np.vstack(fused) return result cloud np.load(2011_09_26_0051_0000000011.npy) multi_cloud multi_view_fusion(cloud) print(融合前點(diǎn)數(shù):, cloud.shape[0]) print(融合后點(diǎn)數(shù):, multi_cloud.shape[0])融合后的點(diǎn)云點(diǎn)數(shù)會變成原來的 5 倍這是正常的。但要注意多視角融合后的點(diǎn)云會引入一個隱患同一個物理點(diǎn)在不同視角下的坐標(biāo)有微小偏差這會在物體邊緣產(chǎn)生重影。所以融合之后一般還要做一次體素降采樣把距離過近的點(diǎn)合并掉。體素大小選 0.05 米到 0.1 米比較合適——太小起不到去重效果太大又會把物體的精細(xì)結(jié)構(gòu)磨平。這里還需要考慮類別標(biāo)簽的問題。做監(jiān)督學(xué)習(xí)訓(xùn)練時視點(diǎn)偏移之后的點(diǎn)云標(biāo)簽也要跟著做同樣的變換不能只變換輸入不變換標(biāo)簽。好在旋轉(zhuǎn)變化不改變點(diǎn)的語義類別只需要對每個點(diǎn)應(yīng)用相同的旋轉(zhuǎn)矩陣就行。3. 分割模型怎么跑checkpoint 恢復(fù)與推理3.1 checkpoint 文件結(jié)構(gòu)與 TensorFlow 恢復(fù)項(xiàng)目里那組model.ckpt-23000.data-00000-of-00001、model.ckpt-23000.index、model.ckpt-23000.meta文件從命名規(guī)則看是 TensorFlow 1.x 的 checkpoint 產(chǎn)物。meta文件存的是計(jì)算圖結(jié)構(gòu)index文件存的是張量索引表data文件存的是實(shí)際的權(quán)重數(shù)值。23000 是訓(xùn)練步數(shù)說明模型訓(xùn)練了 23000 步之后保存的。如果是做推理而不是繼續(xù)訓(xùn)練直接恢復(fù)這張圖最省事import tensorflow as tf # 恢復(fù)計(jì)算圖 saver tf.train.import_meta_graph(model.ckpt-23000.meta) with tf.Session() as sess: # 恢復(fù)權(quán)重 saver.restore(sess, model.ckpt-23000) # 從圖中取出輸入輸出節(jié)點(diǎn) graph tf.get_default_graph() input_cloud graph.get_tensor_by_name(input_cloud:0) output_seg graph.get_tensor_by_name(output_seg:0) # 加載點(diǎn)云并送入模型 cloud np.load(2011_09_26_0051_0000000011.npy) feed_cloud np.expand_dims(cloud[:, :3], axis0) # 加 batch 維 result sess.run(output_seg, feed_dict{input_cloud: feed_cloud}) print(分割結(jié)果 shape:, result.shape)這段代碼首先通過import_meta_graph把圖結(jié)構(gòu)加載進(jìn)來然后用saver.restore恢復(fù)權(quán)重。get_tensor_by_name是獲取輸入輸出節(jié)點(diǎn)的常用方式但前提是你知道節(jié)點(diǎn)名字。怎么知道節(jié)點(diǎn)名打開readme.md看網(wǎng)絡(luò)定義或者用graph.get_operations()列出所有操作找到最后一個輸出操作的名字。這是第一個隱藏的坑tf.train.import_meta_graph對 TensorFlow 版本敏感。TF 1.x 的.meta文件無法直接在 TF 2.x 里加載如果環(huán)境是 TF 2.x需要開啟兼容模式。項(xiàng)目 README 里如果沒有明確標(biāo)注版本建議先裝tensorflow-gpu1.15這個版本兼容性最好NVIDIA 驅(qū)動要求也不算苛刻。3.2 模型輸入與輸出維度、歸一化和解碼從模型定義的角度看輸入的點(diǎn)云一般會做一次體素化或者最近鄰采樣把數(shù)量不定的原始點(diǎn)云變成固定尺寸的張量。點(diǎn)云分割的常見輸出格式有兩種逐點(diǎn)分類標(biāo)簽每個點(diǎn)一個類別 ID和逐點(diǎn)掩碼二值分割。推理結(jié)果出來之后后處理是繞不開的一步。import numpy as np # 假設(shè)模型輸出是逐點(diǎn)分類的 logitsshape 為 (1, N, num_classes) def decode_segmentation(logits): 將模型輸出的 logits 轉(zhuǎn)換為類別標(biāo)簽 :param logits: (1, N, num_classes) 的得分 :return: (N,) 的整數(shù)標(biāo)簽 # 去掉 batch 維 logits logits[0] # 每個點(diǎn)取得分最高的類別 labels np.argmax(logits, axis-1) return labels labels decode_segmentation(result) print(標(biāo)簽分布:, {cls: int((labels cls).sum()) for cls in np.unique(labels)}) # 提取某個類別的點(diǎn)比如車假設(shè)類別 2 是車 car_points cloud[labels 2] print(識別為車的點(diǎn)數(shù):, car_points.shape[0])np.argmax(logits, axis-1)是逐點(diǎn)分割最常見的解碼方式直接取每個位置上得分最高的類別。但要注意如果模型最后一層用了 softmax得到的 logits 就已經(jīng)是概率分布了如果沒加 softmax那argmax的結(jié)果也是一樣的因?yàn)?softmax 是嚴(yán)格單調(diào)遞增的。只有在需要做多標(biāo)簽分類或者不確定性評估時才要保留完整的概率向量。標(biāo)簽分布統(tǒng)計(jì)這一步看似簡單實(shí)際價值很大。如果某個類別一個點(diǎn)都沒有分出來大概率不是模型問題而是預(yù)處理時把這類點(diǎn)給濾掉了。比如地面分割太激進(jìn)就會把矮小的物體路沿、錐桶連帶著清掉。3.3 預(yù)處理與特征提取的落地順序源碼里大概率有這樣一段流程濾波 → 降采樣 → 坐標(biāo)變換 → 特征提取 → 分割。這個流程順序不能亂。如果先做視點(diǎn)偏移再做降采樣會讓降采樣在變換后的空間里重新采樣等于對多視角融合的結(jié)果做均勻劃分效果反而是對的。如果反過來先降采樣再偏移那多個視角共用的采樣點(diǎn)會產(chǎn)生重復(fù)計(jì)算。常用的特征包括法線方向、曲率、局部密度、高度差。法線估計(jì)用 Open3D 一句話就能搞定import open3d as o3d import numpy as np def estimate_features(cloud): 用 Open3D 估計(jì)法線和曲率 :param cloud: (N, 3) 或 (N, 4) 點(diǎn)云 :return: 法線數(shù)組和曲率數(shù)組 # 轉(zhuǎn)換為 Open3D 點(diǎn)云對象 pcd o3d.geometry.PointCloud() pcd.points o3d.utility.Vector3dVector(cloud[:, :3]) # 估計(jì)法線knn 設(shè)置為 20 pcd.estimate_normals(search_paramo3d.geometry.KDTreeSearchParamKNN(knn20)) # 提取法線數(shù)組 normals np.asarray(pcd.normals) # Open3D 不直接提供曲率通常用鄰域擬合平面的殘差近似 tree o3d.geometry.KDTreeFlann(pcd) curvatures [] for i in range(len(pcd.points)): _, idx, _ tree.search_knn_vector_3d(pcd.points[i], 20) neighbors np.asarray(pcd.points)[idx, :] # 計(jì)算鄰域點(diǎn)到中心點(diǎn)法線的投影距離作為曲率近似 centroid neighbors.mean(axis0) delta neighbors - centroid # 用協(xié)方差矩陣的最小特征值近似曲率 cov np.cov(delta.T) eigenvalues np.linalg.eigvalsh(cov) curvatures.append(eigenvalues[0] / (eigenvalues.sum() 1e-12)) return normals, np.array(curvatures) normals, curvatures estimate_features(cloud) print(法線 shape:, normals.shape) print(曲率范圍:, curvatures.min(), ~, curvatures.max())法線估計(jì)的knn20是個經(jīng)驗(yàn)值。點(diǎn)數(shù)密集的城區(qū)場景k 值取 20 到 30 比較合適稀疏的野外場景k 值可以降到 10 左右。k 值太大法線會被大尺度結(jié)構(gòu)主導(dǎo)損失物體邊緣的細(xì)節(jié)k 值太小法線噪聲大分割邊界會很毛糙。曲率近似用的是協(xié)方差矩陣最小特征值占比數(shù)值越小說明鄰域點(diǎn)越共面數(shù)值越大說明局部彎曲越劇烈——這個特征對區(qū)分平面結(jié)構(gòu)墻面、地面和曲面結(jié)構(gòu)車輛、行人非常有效。4. 實(shí)戰(zhàn)避坑源碼落地時我踩過的五個坑4.1 坑一np.load 報錯ValueError: Object arrays cannot be loaded when allow_pickleFalse現(xiàn)象運(yùn)行np.load(xxx.npy)直接崩錯誤提示指向allow_pickle。原因.npy文件是用 Python 2 的 pickle 協(xié)議保存的或者文件里混入了非數(shù)值類型。解決先檢查文件類型如果確屬 Python 2 時代的數(shù)據(jù)python -c import numpy as np; data np.load(2011_09_26_0051_0000000011.npy, allow_pickleTrue); print(data.shape)能打印出 shape 就沒問題。但allow_pickleTrue只是權(quán)宜之計(jì)——如果你的環(huán)境是 Python 3.8pickle 的版本兼容性還可能繼續(xù)報錯。常見的解決方案是把數(shù)據(jù)先轉(zhuǎn)成文本或者重新保存成新版.npy格式一勞永逸。4.2 坑二分割結(jié)果整體偏移了幾個像素現(xiàn)象模型訓(xùn)練時指標(biāo)正常但實(shí)際推理時分割結(jié)果與原始點(diǎn)云對不齊整個結(jié)果像被平移過。原因訓(xùn)練前做了視點(diǎn)偏移但測試時忘了對輸入做同樣的坐標(biāo)變換。模型在偏移后的坐標(biāo)系里學(xué)到的是物體在 A 位置推理時喂進(jìn)去的卻是原始坐標(biāo)系的數(shù)據(jù)特征空間對不上。解決把訓(xùn)練時的變換參數(shù)原封不動地應(yīng)用到推理流水線上cloud np.load(...npy) # 訓(xùn)練時用了 yaw0.087 rad (5度)推理時必須同樣旋轉(zhuǎn) cloud_offset apply_viewpoint_offset(cloud, yaw0.087)這里最容易出現(xiàn)的問題是訓(xùn)練腳本和推理腳本分別維護(hù)了一份變換參數(shù)某次調(diào)參忘了同步結(jié)果模型的表現(xiàn)波動很大但找不到原因。從那以后我都是把變換參數(shù)寫進(jìn)配置文件統(tǒng)一管理每次跑實(shí)驗(yàn)前先自動核對訓(xùn)練和推理的參數(shù)是否一致。4.3 坑三地面分割把車輛底部點(diǎn)一起濾掉了現(xiàn)象分割結(jié)果里車輛區(qū)域大量缺失尤其是車底和車輪部分。原因地面分割算法用的是高度閾值車輛底盤離地面很近閾值設(shè)得太低把車底點(diǎn)當(dāng)成了地面。解決改用基于法線的地面分割而不是純高度import open3d as o3d import numpy as np def segment_ground_by_normal(pcd, z_threshold0.3, normal_threshold0.15): 基于法線和高度聯(lián)合判斷地面 :param pcd: Open3D 點(diǎn)云對象 :param z_threshold: 高度閾值 :param normal_threshold: 法線方向與 z 軸的夾角余弦閾值 points np.asarray(pcd.points) normals np.asarray(pcd.normals) # 法線接近垂直向上的點(diǎn)認(rèn)為是地面候選 vertical_mask np.abs(normals[:, 2]) normal_threshold # 高度接近最低點(diǎn)的候選 low_mask points[:, 2] (points[:, 2].min() z_threshold) ground_mask vertical_mask low_mask non_ground points[~ground_mask] return non_ground這個方案的核心是雙重判斷法線方向先排除墻面、坡道等非水平面高度閾值再排除凸起物。只用法線或者只用高度都會誤殺。4.4 坑四模型恢復(fù)時Restoring from checkpoint failed現(xiàn)象TensorFlow 提示 checkpoint 里某些張量名字不匹配或者直接報NotFoundError。原因模型代碼改了網(wǎng)絡(luò)結(jié)構(gòu)加了層或者刪了層checkpoint 里的權(quán)重與當(dāng)前計(jì)算圖對不上。解決不要指望老的 checkpoint 能直接匹配新結(jié)構(gòu)。先查看 checkpoint 里存了哪些變量和當(dāng)前模型定義的變量做對比import tensorflow as tf # 列出 checkpoint 里的所有變量 reader tf.train.NewCheckpointReader(model.ckpt-23000) var_to_shape reader.get_variable_to_shape_map() for key, shape in var_to_shape.items(): print(key, shape)如果差異只存在于最后一層分類頭的數(shù)量可以只恢復(fù)前面共享層的權(quán)重最后一層重新初始化。4.5 坑五點(diǎn)云文件數(shù)量巨大導(dǎo)致內(nèi)存溢出現(xiàn)象多幀點(diǎn)云同時載入內(nèi)存直接打滿程序被系統(tǒng)殺掉。原因點(diǎn)云一幀少說幾十萬點(diǎn)float64存儲單幀就占幾百 MB多幀疊加必然爆內(nèi)存。解決先降精度、再分批處理python -c import numpy as np cloud np.load(2011_09_26_0051_0000000011.npy) cloud cloud.astype(np.float32) # 降精度 np.save(2011_09_26_0051_0000000011_f32.npy, cloud) 降精度之后內(nèi)存占用直接減半。如果還是不夠就分批加載、分批處理不要圖省事一次性把所有點(diǎn)云堆進(jìn)內(nèi)存。5. 怎么驗(yàn)證結(jié)果不是玄學(xué)一份對比流程分割模型跑完直接肉眼看一下彩色可視化就下結(jié)論這在正式的畢設(shè)答辯或項(xiàng)目評審里站不住腳。驗(yàn)證的核心思路是拿固定視角和視點(diǎn)偏移視角做同條件對比用定量的指標(biāo)說明偏移帶來了多少提升。一個可復(fù)現(xiàn)的對比方案是加載同一幀點(diǎn)云生成兩份輸入——一份原圖一份做了 15 度視點(diǎn)偏移后的融合圖分別讓模型推理把兩份分割結(jié)果映射回原始坐標(biāo)系逐點(diǎn)計(jì)算預(yù)測標(biāo)簽與真實(shí)標(biāo)簽的 IoU。IoU 的代碼很短import numpy as np def compute_iou(pred_labels, gt_labels, num_classes): 逐類別計(jì)算 IoU 并返回均值 :param pred_labels: (N,) 預(yù)測標(biāo)簽 :param gt_labels: (N,) 真實(shí)標(biāo)簽 :param num_classes: 類別數(shù) ious [] for cls in range(num_classes): pred_mask (pred_labels cls) gt_mask (gt_labels cls) intersection np.logical_and(pred_mask, gt_mask).sum() union np.logical_or(pred_mask, gt_mask).sum() if union 0: continue ious.append(intersection / union) return np.mean(ious), ious # 示例加載兩個版本的推理結(jié)果 pred_viewpoint np.load(pred_viewpoint.npy) # 視點(diǎn)偏移后的預(yù)測 pred_original np.load(pred_original.npy) # 固定視角的預(yù)測 gt_cloud np.load(gt_labels.npy) iou_op, per_cls_op compute_iou(pred_viewpoint, gt_cloud, num_classes8) iou_orig, per_cls_orig compute_iou(pred_original, gt_cloud, num_classes8) print(f視點(diǎn)偏移 mIoU: {iou_op:.4f}) print(f固定視角 mIoU: {iou_orig:.4f}) print(f提升: {(iou_op - iou_orig) * 100:.2f}%)如果提升為負(fù)先不要急著否定視點(diǎn)偏移——排查順序是先確認(rèn)偏移角度是否合適角度太大導(dǎo)致語義漂移再確認(rèn)是否做了多視角融合還是只做了單次偏移最后確認(rèn)標(biāo)簽是否跟著點(diǎn)云一起做了同步變換。這三個地方錯了任何數(shù)據(jù)增強(qiáng)策略都救不回來?？梢暬?yàn)證方面Open3D 的可視化接口比 matplotlib 的三維散點(diǎn)圖靠譜得多import open3d as o3d import numpy as np def visualize_segmentation(cloud, labels, colormap): 將分割結(jié)果按顏色可視化 :param cloud: (N, 3) 點(diǎn)云 :param labels: (N,) 類別標(biāo)簽 :param colormap: 類別到 RGB 的映射字典 colors np.zeros((cloud.shape[0], 3)) for cls, rgb in colormap.items(): mask labels cls colors[mask] rgb pcd o3d.geometry.PointCloud() pcd.points o3d.utility.Vector3dVector(cloud) pcd.colors o3d.utility.Vector3dVector(colors) o3d.visualization.draw_geometries([pcd], window_nameSegmentation Result) colormap { 0: [0.5, 0.5, 0.5], # 背景-灰色 1: [0.9, 0.1, 0.1], # 車輛-紅色 2: [0.1, 0.8, 0.1], # 行人-綠色 # 其他類別繼續(xù)追加 } visualize_segmentation(cloud, labels, colormap)Open3D 可視化最大的優(yōu)點(diǎn)是交互式旋轉(zhuǎn)縮放可以近距離檢查物體邊界上的分割質(zhì)量——車輛邊緣的鋸齒、行人點(diǎn)云的粘連拉近了一眼就能看出來。我習(xí)慣在寫完分割管線后先把三組結(jié)果對比看一遍固定視角、小角度偏移5度、大角度偏移15度用顏色區(qū)分類別直接觀察物體邊界的平滑度差異。從那以后每次拿到新的點(diǎn)云數(shù)據(jù)我都會強(qiáng)制走一遍加載 → 統(tǒng)計(jì) → 視點(diǎn)偏移 → 推理 → 可視化這個閉環(huán)參數(shù)調(diào)沒調(diào)對、預(yù)處理鏈路有沒有斷跑一遍全暴露了。希望這份拆解能幫你在自己的項(xiàng)目里少走幾步彎路點(diǎn)云分割這條路值得認(rèn)真走一遍。本文還有配套的精品資源點(diǎn)擊獲取