在姿態(tài)估計(jì)這個(gè)方向混久了基本都會(huì)在同一個(gè)地方栽一次跟頭OpenPose跑通了結(jié)果一查關(guān)鍵點(diǎn)坐標(biāo)完全不知道第8個(gè)點(diǎn)到底是右胯還是左胯。更常見(jiàn)的是你把OpenPose的結(jié)果拿去訓(xùn)練YOLOv8-Pose或者和別人對(duì)接標(biāo)注數(shù)據(jù)兩邊對(duì)不上——明明都是COCO順序怎么就不一樣呢。這個(gè)問(wèn)題說(shuō)大不大說(shuō)小不小但一旦數(shù)據(jù)量大起來(lái)索引錯(cuò)一位整個(gè)訓(xùn)練集就廢了。OpenPose官方提供了兩套常用的關(guān)鍵點(diǎn)定義COCO 18點(diǎn)和BODY_25點(diǎn)。我先直接說(shuō)結(jié)論OpenPose的COCO 18點(diǎn)并不等于官方COCO數(shù)據(jù)集的17點(diǎn)BODY_25也不是簡(jiǎn)單地在18點(diǎn)后面加6個(gè)腳部點(diǎn)其中間還插了一個(gè)MidHip。這兩套模型的關(guān)鍵點(diǎn)排列順序、左右手/腳的先后習(xí)慣甚至和原始COCO標(biāo)注的定義都不一樣。這篇文章就把這些對(duì)應(yīng)關(guān)系徹底理清楚并給出可以直接抄走的索引映射代碼。1. 為什么OpenPose的COCO模型和官方COCO數(shù)據(jù)集總對(duì)不上1.1 三種COCO點(diǎn)集來(lái)源完全不同很多人第一次接觸這個(gè)問(wèn)題時(shí)最懵的就是我用的OpenPose模型文件明明叫pose_deploy_linevec.prototxt里面注釋寫(xiě)的是COCO模型輸出也是18個(gè)通道為什么和網(wǎng)上COCO數(shù)據(jù)集的17個(gè)關(guān)鍵點(diǎn)對(duì)不上原因在于這里其實(shí)存在三種不同的關(guān)鍵點(diǎn)定義官方COCO數(shù)據(jù)集關(guān)鍵點(diǎn)嚴(yán)格來(lái)說(shuō)是17個(gè)點(diǎn)分別是鼻子、左右眼、左右耳、左右肩、左右肘、左右腕、左右胯、左右膝、左右踝沒(méi)有脖子沒(méi)有骨盆中心。OpenPose的COCO 18點(diǎn)模型在官方17點(diǎn)基礎(chǔ)上額外加了一個(gè)Neck脖子/頸部中心插入到Nose之后變成18點(diǎn)。它的左右排列習(xí)慣也沿用了OpenPose一貫的風(fēng)格先右后左。OpenPose的BODY_25模型在COCO 18點(diǎn)基礎(chǔ)上又在索引8的位置插入了MidHip骨盆中心并且在最后追加了6個(gè)腳部點(diǎn)最終形成25個(gè)點(diǎn)。稍等這里有個(gè)非常反直覺(jué)的地方BODY_25是25個(gè)點(diǎn)但它不是簡(jiǎn)單地把COCO 18點(diǎn)的索引整體往后挪而是在中間插隊(duì)把原來(lái)的RHip擠到了9號(hào)位。這就是很多轉(zhuǎn)換代碼出錯(cuò)的根本原因——你以為25點(diǎn)取前18個(gè)就是COCO 18實(shí)際上取出來(lái)的是Nose, Neck, RShoulder...到第8個(gè)MidHip那里就全部錯(cuò)位了。1.2 Neck和MidHip兩個(gè)官方數(shù)據(jù)集里沒(méi)有的點(diǎn)在官方COCO的標(biāo)注文件里你是找不到Neck這個(gè)點(diǎn)的。為什么因?yàn)镃OCO數(shù)據(jù)集的標(biāo)注邏輯是每個(gè)人實(shí)例標(biāo)注17個(gè)關(guān)鍵點(diǎn)缺少的點(diǎn)用visibility0表示。脖子這個(gè)位置在很多視角下會(huì)被遮擋標(biāo)注難度大所以官方干脆沒(méi)有定義。OpenPose為了后續(xù)做姿態(tài)分析比如計(jì)算軀干角度、判斷身體朝向必須有軀干中心于是強(qiáng)行把Neck加了進(jìn)來(lái)。它不是一個(gè)解剖學(xué)意義上的脖子更準(zhǔn)確地說(shuō)是軀干頂部的中心點(diǎn)算法根據(jù)肩部和骨盆的位置擬合出來(lái)的。MidHip的定位則更貼近骨盆中心在BODY_25的索引里被放在8號(hào)位處于RHip之前。這個(gè)點(diǎn)對(duì)于衡量髖部旋轉(zhuǎn)、區(qū)分正面背面、判斷走路姿態(tài)都非常有用因此OpenPose寧可破壞與COCO 18的索引連續(xù)性也要把它塞進(jìn)中間。1.3 索引錯(cuò)位會(huì)引發(fā)什么連鎖問(wèn)題如果你沒(méi)有意識(shí)到上面這套排列邏輯直接在代碼里寫(xiě)kpts_25[:18]當(dāng)成18點(diǎn)數(shù)據(jù)用那么從索引8開(kāi)始你拿到的點(diǎn)就全是錯(cuò)的kpts_25[8]其實(shí)是MidHip不是RHipkpts_25[9]才是RHip但你會(huì)把它當(dāng)成RKnee依次往后所有下半身的點(diǎn)都會(huì)錯(cuò)位。更隱蔽的是如果你反過(guò)來(lái)用把18點(diǎn)數(shù)據(jù)映射到25點(diǎn)只給前18個(gè)位置賦值那么RHip、RKnee、RAnkle、LHip、LKnee、LAnkle這些關(guān)鍵點(diǎn)就會(huì)被寫(xiě)進(jìn)MidHip、RHip、RKnee、RAnkle的位置直接就全亂了。索引錯(cuò)位不會(huì)報(bào)錯(cuò)程序照樣跑但畫(huà)出來(lái)的骨架是扭曲的算出來(lái)的角度全部沒(méi)有意義。這種錯(cuò)誤在調(diào)試階段極難發(fā)現(xiàn)因?yàn)槟愕谝粫r(shí)間不會(huì)去懷疑索引居然不是順序?qū)?yīng)的。2. COCO 18點(diǎn)索引明細(xì)從Nose到LEar逐點(diǎn)對(duì)照2.1 18點(diǎn)完整索引與名稱(chēng)對(duì)照表OpenPose的COCO 18點(diǎn)模型輸出18個(gè)關(guān)鍵點(diǎn)熱圖實(shí)際forward出來(lái)可能是19通道多出來(lái)的一個(gè)是背景后面第6章再細(xì)說(shuō)。0到17的索引排列如下索引關(guān)鍵點(diǎn)名稱(chēng)說(shuō)明0Nose鼻子1Neck頸部中心OpenPose自造2RShoulder右肩3RElbow右肘4RWrist右手腕5LShoulder左肩6LElbow左肘7LWrist左手腕8RHip右胯9RKnee右膝10RAnkle右踝11LHip左胯12LKnee左膝13LAnkle左踝14REye右眼15LEye左眼16REar右耳17LEar左耳注意看這個(gè)排列邏輯上半身骨架從脖子開(kāi)始先畫(huà)右邊整條手臂再畫(huà)左邊整條手臂然后回到軀干先右胯再左胯順著大腿小腿下來(lái)最后是臉部的眼睛和耳朵。在整個(gè)序列中右Right和左Left是分組的而且右在前、左在后。這一點(diǎn)和很多人的直覺(jué)不一樣因?yàn)樽匀徽Z(yǔ)言里常說(shuō)左肩右肩但OpenPose內(nèi)部自始至終堅(jiān)持右先左后后面第5章還原官方COCO 17點(diǎn)時(shí)還會(huì)因?yàn)檫@個(gè)左右順序再踩一次坑。2.2 從Caffe模型輸出中讀取18個(gè)熱圖實(shí)際操作中用OpenCV的DNN模塊讀取這套模型很常見(jiàn)。核心代碼如下import cv2 import numpy as np protoFile pose/coco/pose_deploy_linevec.prototxt weightsFile pose/coco/pose_iter_440000.caffemodel net cv2.dnn.readNetFromCaffe(protoFile, weightsFile) inWidth, inHeight 368, 368 blob cv2.dnn.blobFromImage( img, 1.0 / 255, (inWidth, inHeight), (0, 0, 0), swapRBFalse, cropFalse ) net.setInput(blob) out net.forward() print(out.shape) # 常見(jiàn)輸出 (1, 19, 46, 46) 或 (1, 18, 46, 46)out[0, i]就是第i個(gè)關(guān)鍵點(diǎn)的置信度熱圖。如果shape[1]是19說(shuō)明前18個(gè)通道是關(guān)節(jié)點(diǎn)熱圖最后一個(gè)是背景通道如果shape[1]恰好是18說(shuō)明導(dǎo)出模型時(shí)已經(jīng)把背景通道去掉了。拿到熱圖后用minMaxLoc找響應(yīng)最大的位置再映射回原圖尺寸就是關(guān)鍵點(diǎn)坐標(biāo)nPoints 18 keypoints [] for i in range(nPoints): probMap out[0, i, :, :] _, conf, _, point cv2.minMaxLoc(probMap) x point[0] * frameWidth / out.shape[3] y point[1] * frameHeight / out.shape[2] keypoints.append((int(x), int(y), conf))這里frameWidth和frameHeight是原圖尺寸out.shape[3]和out.shape[2]是熱圖的寬高。這種縮放方式比簡(jiǎn)單除以系數(shù)更穩(wěn)妥因?yàn)椴煌斎氤叽缦聼釄D大小會(huì)變。2.3 COCO 18的骨架連線limbs拿到點(diǎn)坐標(biāo)后要畫(huà)骨架連線關(guān)系同樣有固定順序POSE_PAIRS_COCO18 [ (0, 1), (1, 2), (1, 5), (2, 3), (3, 4), (5, 6), (6, 7), (1, 8), (8, 9), (9, 10), (1, 11), (11, 12), (12, 13), (0, 14), (0, 15), (14, 16), (15, 17) ]這些連線的含義是Nose連NeckNeck分叉到兩肩然后沿手臂往下Neck連兩胯沿腿往下Nose連兩眼眼睛連耳朵。注意軀干部分沒(méi)有把RHip和LHip直接連起來(lái)因?yàn)檫@兩個(gè)點(diǎn)之間沒(méi)有PAFPart Affinity Fields部件親和場(chǎng)分支直接建模。如果你畫(huà)出來(lái)的骨架中間少了一根腰帶不是代碼錯(cuò)了是模型本來(lái)就沒(méi)有這條邊。3. BODY_25索引明細(xì)腳部點(diǎn)與MidHip排布規(guī)律3.1 BODY_25完整索引對(duì)照表BODY_25是OpenPose性能最好、應(yīng)用最廣的模型。它的25個(gè)關(guān)鍵點(diǎn)排布如下索引關(guān)鍵點(diǎn)名稱(chēng)說(shuō)明0Nose鼻子1Neck頸部中心2RShoulder右肩3RElbow右肘4RWrist右手腕5LShoulder左肩6LElbow左肘7LWrist左手腕8MidHip骨盆中心9RHip右胯10RKnee右膝11RAnkle右踝12LHip左胯13LKnee左膝14LAnkle左踝15REye右眼16LEye左眼17REar右耳18LEar左耳19LBigToe左腳大腳趾20LSmallToe左腳小腳趾21LHeel左腳跟22RBigToe右腳大腳趾23RSmallToe右腳小腳趾24RHeel右腳跟有沒(méi)有發(fā)現(xiàn)一個(gè)奇怪的地方腳部這6個(gè)點(diǎn)是先左腳后右腳和身體部分先右后左的順序正好相反。這確實(shí)容易讓人搞混官方就是這樣設(shè)計(jì)的沒(méi)有太多道理可講只能死記19-21是左腳22-24是右腳。3.2 連接關(guān)系表含腳部BODY_25的骨架連線比COCO 18多了軀干中線和腳部連接POSE_PAIRS_BODY25 [ (0, 1), (1, 2), (1, 5), (2, 3), (3, 4), (5, 6), (6, 7), (1, 8), (8, 9), (9, 10), (10, 11), (1, 8), (8, 12), (12, 13), (13, 14), (0, 15), (0, 16), (15, 17), (16, 18), (11, 24), (11, 22), (22, 23), (14, 21), (14, 19), (19, 20) ]注意這里軀干部位Neck(1)和MidHip(8)相連MidHip(8)分叉到RHip(9)和LHip(12)這樣軀干中心就被明確建模了。腳部則是從腳踝出發(fā)連到腳跟和腳趾。我用這個(gè)連線畫(huà)出來(lái)的骨架比COCO 18模型要穩(wěn)不少尤其在跑動(dòng)、跳躍這類(lèi)動(dòng)作里腳部信息能明顯減少下半身的抖動(dòng)。3.3 為什么我推薦直接用BODY_25作為中間格式在OpenPose框架內(nèi)部如果條件允許建議優(yōu)先用BODY_25原因有三個(gè)信息量更大多了骨盆中心和6個(gè)腳部點(diǎn)做動(dòng)作分析時(shí)能計(jì)算的關(guān)節(jié)角度更多尤其是髖關(guān)節(jié)和踝關(guān)節(jié)的角度。模型更穩(wěn)官方在BODY_25上的訓(xùn)練數(shù)據(jù)更充分實(shí)測(cè)對(duì)遮擋的魯棒性普遍好于COCO 18模型。轉(zhuǎn)換路徑更短BODY_25可以無(wú)損截取成COCO 18也可以映射成官方COCO 17。反過(guò)來(lái)從COCO 18想得到BODY_25缺失的MidHip和腳部點(diǎn)只能補(bǔ)零信息就丟了。如果你在自己的項(xiàng)目里同時(shí)涉及老代碼用COCO 18和新代碼用BODY_25最省心的做法是內(nèi)部統(tǒng)一存BODY_25格式只在需要對(duì)接外部接口時(shí)做映射。4. 18與25互轉(zhuǎn)核心映射關(guān)系與Python代碼4.1 18→25注意RHip之后所有索引都要1先給出最核心的映射關(guān)系。從COCO 18轉(zhuǎn)到BODY_25前8個(gè)點(diǎn)索引0-7直接對(duì)應(yīng)從第8個(gè)點(diǎn)RHip開(kāi)始全部要往后挪一位coco18_to_body25 [ 0, # 0 Nose - 0 Nose 1, # 1 Neck - 1 Neck 2, # 2 RShoulder - 2 RShoulder 3, # 3 RElbow - 3 RElbow 4, # 4 RWrist - 4 RWrist 5, # 5 LShoulder - 5 LShoulder 6, # 6 LElbow - 6 LElbow 7, # 7 LWrist - 7 LWrist 9, # 8 RHip - 9 RHip 10, # 9 RKnee - 10 RKnee 11, # 10 RAnkle - 11 RAnkle 12, # 11 LHip - 12 LHip 13, # 12 LKnee - 13 LKnee 14, # 13 LAnkle - 14 LAnkle 15, # 14 REye - 15 REye 16, # 15 LEye - 16 LEye 17, # 16 REar - 17 REar 18, # 17 LEar - 18 LEar ]轉(zhuǎn)換成25點(diǎn)數(shù)組時(shí)索引8的MidHip、19-24的腳部點(diǎn)全部置零。如果只是臨時(shí)使用直接補(bǔ)(0, 0, 0)即可如果還要繼續(xù)做跟蹤或角度計(jì)算建議給這些點(diǎn)一個(gè)confidence0方便后續(xù)過(guò)濾def convert_18_to_25(kpts_18): # kpts_18: shape (18, 3) 或 (18, 2) kpts_25 np.zeros((25, kpts_18.shape[1] if kpts_18.ndim 1 else 1)) for src, dst in enumerate(coco18_to_body25): kpts_25[dst] kpts_18[src] return kpts_254.2 25→18刪掉MidHip后收攏反過(guò)來(lái)從BODY_25還原成COCO 18就是把第8位MidHip刪掉后面19-24的腳部點(diǎn)直接丟棄body25_to_coco18 [0, 1, 2, 3, 4, 5, 6, 7, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18] def convert_25_to_18(kpts_25): return kpts_25[body25_to_coco18]這里的body25_to_coco18列表里的數(shù)值是BODY_25的索引按這個(gè)順序取出來(lái)自然就是COCO 18的排列。用NumPy的花式索引一步就能完成非常簡(jiǎn)潔。4.3 批量轉(zhuǎn)換與坐標(biāo)保持實(shí)際項(xiàng)目里不可能只轉(zhuǎn)一個(gè)人大概率是批量轉(zhuǎn)換。批量處理時(shí)先確認(rèn)數(shù)組形狀是(N, 25, 3)還是(N, 3, 25)我建議統(tǒng)一成(N, 25, C)后面不管做可視化還是訓(xùn)練集轉(zhuǎn)換都少很多麻煩def batch_convert_25_to_18(kpts_batch): # kpts_batch: (N, 25, C) return kpts_batch[:, body25_to_coco18, :]坐標(biāo)本身就是數(shù)值拷貝轉(zhuǎn)換過(guò)程不需要做任何插值或縮放x、y、confidence直接原樣搬運(yùn)。唯一需要注意的是如果25點(diǎn)里有MidHip的坐標(biāo)而你要算的角度恰好和骨盆中心相關(guān)刪掉它就等于丟了這部分信息后面代碼要按實(shí)際點(diǎn)數(shù)重新組織不要越界訪問(wèn)索引。5. 還原官方COCO 17點(diǎn)刪點(diǎn)之后還要左右交換5.1 官方COCO 17點(diǎn)定義與順序官方COCO數(shù)據(jù)集的關(guān)鍵點(diǎn)順序和OpenPose的兩套模型都有明顯差異。官方COCO的排列是索引關(guān)鍵點(diǎn)名稱(chēng)0nose1left_eye2right_eye3left_ear4right_ear5left_shoulder6right_shoulder7left_elbow8right_elbow9left_wrist10right_wrist11left_hip12right_hip13left_knee14right_knee15left_ankle16right_ankle注意兩個(gè)關(guān)鍵差異左右順序反了官方COCO是先左后右left_eye, right_eye; left_shoulder, right_shoulderOpenPose是先右后左。所以從OpenPose映射到COCO時(shí)眼睛、耳朵、肩、肘、腕、胯、膝、踝全部要做左右互換。沒(méi)有Neck官方COCO沒(méi)有脖子點(diǎn)也沒(méi)有MidHip這兩個(gè)點(diǎn)必須刪除。如果你只是把BODY_25按索引順序挑出來(lái)不交換左右那么轉(zhuǎn)出來(lái)的COCO關(guān)鍵點(diǎn)標(biāo)簽就是左右顛倒的。這個(gè)問(wèn)題非常隱蔽因?yàn)楫?huà)在圖上看起來(lái)還是一個(gè)人形只有當(dāng)你單獨(dú)看某個(gè)關(guān)鍵點(diǎn)比如left_eye時(shí)才會(huì)發(fā)現(xiàn)它其實(shí)落在右眼上。5.2 25→17映射核心邏輯正確做法是既刪點(diǎn)又交換左右body25_to_coco17 { 0: 0, # Nose - nose 15: 2, # REye - right_eye 16: 1, # LEye - left_eye 17: 4, # REar - right_ear 18: 3, # LEar - left_ear 2: 6, # RShoulder - right_shoulder 5: 5, # LShoulder - left_shoulder 3: 8, # RElbow - right_elbow 6: 7, # LElbow - left_elbow 4: 10, # RWrist - right_wrist 7: 9, # LWrist - left_wrist 9: 12, # RHip - right_hip 12: 11, # LHip - left_hip 10: 14, # RKnee - right_knee 13: 13, # LKnee - left_knee 11: 16, # RAnkle - right_ankle 14: 15, # LAnkle - left_ankle } def convert_25_to_coco17(kpts_25): kpts_17 np.zeros((17, kpts_25.shape[1])) for src, dst in body25_to_coco17.items(): kpts_17[dst] kpts_25[src] return kpts_17這個(gè)字典的鍵是BODY_25索引值是COCO 17索引?？辞宄讉€(gè)典型映射BODY_25的2 RShoulder映射到COCO的6 right_shoulder而不是5 left_shoulderBODY_25的15 REye映射到COCO的2 right_eye而不是1 left_eye。這種細(xì)節(jié)必須靠注釋寫(xiě)清楚否則轉(zhuǎn)頭就忘。5.3 示例把OpenPose結(jié)果轉(zhuǎn)成YOLOv8-Pose訓(xùn)練標(biāo)簽YOLOv8-Pose的訓(xùn)練標(biāo)簽用的就是官方COCO 17點(diǎn)順序。從OpenPose的BODY_25跑完結(jié)果保存成YOLO格式時(shí)可以直接復(fù)用上面的轉(zhuǎn)換函數(shù)。假設(shè)你已經(jīng)用OpenPose對(duì)一張圖做了推理拿到(25, 3)的數(shù)組每個(gè)點(diǎn)是(x, y, confidence)。轉(zhuǎn)換過(guò)程如下kpts_17 convert_25_to_coco17(kpts_25) # shape (17, 3) # YOLO格式歸一化的 x, y, visibility x_norm kpts_17[:, 0] / img_width y_norm kpts_17[:, 1] / img_height vis (kpts_17[:, 2] 0.3).astype(int) yolo_line [0, center_x / img_width, center_y / img_height] for i in range(17): yolo_line.extend([x_norm[i], y_norm[i], vis[i]])注意這里關(guān)鍵點(diǎn)數(shù)組要拉平成一維才能和YOLO的標(biāo)簽格式對(duì)齊。visibility的計(jì)算閾值可以根據(jù)置信度分布調(diào)整建議先統(tǒng)計(jì)一下OpenPose輸出的置信度范圍再定別拍腦袋用0.5有時(shí)候OpenPose對(duì)腳部點(diǎn)的置信度整體偏低閾值設(shè)高了會(huì)把有效點(diǎn)全過(guò)濾掉。6. 踩坑實(shí)錄模型輸出、可視化、訓(xùn)練標(biāo)簽三處重災(zāi)區(qū)6.1 坑1把OpenPose COCO 18當(dāng)成官方COCO 17用這個(gè)坑我當(dāng)年就踩過(guò)。項(xiàng)目里要用官方COCO 17點(diǎn)格式的標(biāo)簽訓(xùn)練關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)我拿到OpenPose的18點(diǎn)輸出后想當(dāng)然地以為OpenPose的COCO就是官方COCO18比17多一個(gè)點(diǎn)去掉一個(gè)背景類(lèi)就行結(jié)果直接取了前17個(gè)點(diǎn)。訓(xùn)練出來(lái)的模型測(cè)試效果很差精度始終上不去排查了很久才發(fā)現(xiàn)是把Neck當(dāng)成一個(gè)有效關(guān)鍵點(diǎn)喂進(jìn)去了導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)的時(shí)候第8個(gè)點(diǎn)RHip對(duì)應(yīng)的監(jiān)督信號(hào)是錯(cuò)的。正確的做法是必須先做一次索引重排把18點(diǎn)還原成官方COCO的17點(diǎn)順序刪除Neck然后按官方順序重新排列。類(lèi)似的差一個(gè)點(diǎn)的問(wèn)題在MediaPipe、AlphaPose等不同框架里也會(huì)遇到每次換框架都要重新核對(duì)關(guān)鍵點(diǎn)順序不要相信框架名里的COCO三個(gè)字母。6.2 坑2畫(huà)骨架時(shí)把左右連反畫(huà)線這步相對(duì)隱蔽。比如你想把右肩RShoulder和右肘RElbow用一條線連起來(lái)用OpenPose的索引就是(2, 3)。但如果你參考的是官方COCO的連線習(xí)慣right_shoulder和right_elbow分別是6和8。兩邊索引對(duì)不上一旦混用畫(huà)出的人體就是右手肘接到了左肩上這種詭異形態(tài)。穩(wěn)妥的作圖思路是定義一套自己的語(yǔ)義連線列表比如(Nose, Neck)、(RShoulder, RElbow)這類(lèi)帶名字的對(duì)然后每個(gè)模型定義自己的索引字典通過(guò)名字查索引再畫(huà)線。這樣比直接寫(xiě)死數(shù)字對(duì)要安全得多keypoint_names_25 [ Nose, Neck, RShoulder, RElbow, RWrist, LShoulder, LElbow, LWrist, MidHip, RHip, RKnee, RAnkle, LHip, LKnee, LAnkle, REye, LEye, REar, LEar, LBigToe, LSmallToe, LHeel, RBigToe, RSmallToe, RHeel ] sematic_limbs [(Nose, Neck), (Neck, RShoulder), (Neck, LShoulder)] for a, b in sematic_limbs: idx_a keypoint_names_25.index(a) idx_b keypoint_names_25.index(b) if conf[idx_a] thr and conf[idx_b] thr: cv2.line(img, pts[idx_a], pts[idx_b], color, 2)用名字查索引雖然慢一點(diǎn)但代碼可讀性和可維護(hù)性提升一大截。預(yù)處理時(shí)直接把索引字典算好運(yùn)行時(shí)不會(huì)慢多少。6.3 坑3模型輸出通道數(shù)到底是18還是19用OpenCV DNN加載OpenPose時(shí)輸出張量形狀經(jīng)常讓人困惑。COCO 18模型的net.forward()結(jié)果可能是(1, 18, H, W)也可能是(1, 19, H, W)。這個(gè)差異取決于你用的prototxt文件是哪個(gè)版本。BODY_25模型同理可能輸出26個(gè)通道25個(gè)關(guān)鍵點(diǎn)加1個(gè)背景也可能只輸出25個(gè)通道。我見(jiàn)過(guò)不少人在out.shape[1]寫(xiě)死數(shù)字換了個(gè)模型就崩了。正確處理方式是動(dòng)態(tài)判斷nPoints out.shape[1] if nPoints 19 and proto_contains_background: nPoints - 1更簡(jiǎn)單的判斷邏輯是如果你知道當(dāng)前加載的是哪個(gè)模型直接用對(duì)應(yīng)的點(diǎn)數(shù)如果不知道就檢查最后一個(gè)通道是否是全局背景——背景通道在整張圖上通常是較均勻的低響應(yīng)不像關(guān)鍵點(diǎn)熱圖那樣有清晰峰值可以用這個(gè)特征來(lái)區(qū)分。6.4 自查清單這幾個(gè)方法是我用來(lái)驗(yàn)證關(guān)鍵點(diǎn)順序是否正確用的每次接入新數(shù)據(jù)源或者訓(xùn)練完新模型后都會(huì)跑一遍打印索引和名稱(chēng)加載模型后打印輸出通道數(shù)和已知的關(guān)鍵點(diǎn)名稱(chēng)列表對(duì)比確認(rèn)通道順序。畫(huà)點(diǎn)不連線先把所有關(guān)鍵點(diǎn)以不同顏色畫(huà)在原圖上人工比對(duì)位置而不是直接畫(huà)骨架。點(diǎn)對(duì)了連線才可能對(duì)。左右對(duì)稱(chēng)性檢查找一個(gè)正對(duì)鏡頭的標(biāo)定圖像驗(yàn)證左肩和右肩的x坐標(biāo)是否大致對(duì)稱(chēng)如果左右顛倒立刻能發(fā)現(xiàn)。和官方Demo對(duì)比OpenPose官方Demo自帶可視化如果關(guān)鍵點(diǎn)位置和官方可視化中的標(biāo)簽對(duì)不上說(shuō)明你自己的解析或映射有問(wèn)題。最后再分享一個(gè)從實(shí)際項(xiàng)目中總結(jié)出來(lái)的小經(jīng)驗(yàn)關(guān)鍵點(diǎn)順序問(wèn)題越早驗(yàn)證越好。等跑到訓(xùn)練階段再發(fā)現(xiàn)標(biāo)簽索引錯(cuò)了浪費(fèi)的不只是時(shí)間還有重新標(biāo)注、重新預(yù)處理的大量成本。每次從外部拿到一組標(biāo)注好的關(guān)鍵點(diǎn)數(shù)據(jù)先畫(huà)出來(lái)人眼過(guò)一遍這種笨辦法反而是最高效的。