去年年中我接手了一個(gè)讓人又愛又恨的任務(wù)給定一張普通照片要恢復(fù)出照片里那個(gè)人和TA手中、身下、腳邊物體的三維形態(tài)。人好辦物體也還好辦難的是“人和物體疊在一起”這件事本身。你一眼能看出一個(gè)人坐在椅子上、伸手夠杯子但讓算法從一張二維圖像里同時(shí)猜出人體姿態(tài)、物體形狀、雙方接觸關(guān)系還得保證兩者不互相穿透這中間有一堆靠拍腦袋解決不了的細(xì)節(jié)。這個(gè)項(xiàng)目我們內(nèi)部代號叫PICO主題就是單張圖像重建HOIHuman-Object Interaction人與物體交互。在往下展開之前先說清楚這篇文章適合誰。如果你在做三維視覺、AR/VR內(nèi)容制作、具身智能仿真或者只是對單目3D重建感興趣都可以參考。我不會只貼一張效果圖完事而是把pipeline怎么設(shè)計(jì)、損失函數(shù)怎么調(diào)、數(shù)據(jù)怎么搞、坑怎么踩從頭到尾講一遍。想看理論和想看實(shí)操的人都能找到對應(yīng)段落。1. 單張圖像重建HOI到底難在哪1.1 單目重建的家底人體和物體各自都有成熟方案單目三維人體重建的路子近十年基本穩(wěn)定先用2D關(guān)鍵點(diǎn)檢測器從圖像里找出人體關(guān)鍵點(diǎn)再拿一個(gè)參數(shù)化人體模型去擬合讓渲染出來的形狀投回2D時(shí)和檢測到的2D關(guān)鍵點(diǎn)、人體分割掩碼對得上同時(shí)加姿態(tài)先驗(yàn)防止出現(xiàn)反人類的扭曲。這套“2D觀測約束參數(shù)化模型先驗(yàn)”的組合在單人、無遮擋、畫面干凈的場景下已經(jīng)相當(dāng)能打。單目物體重建也有自己的套路給定物體類別從圖像中估計(jì)類別、位姿和尺寸再套上模板網(wǎng)格或者生成式模型。甚至對于室內(nèi)場景還有一批基于預(yù)訓(xùn)練深度大模型的方法直接回歸出整個(gè)房間的三維結(jié)構(gòu)。但這兩條線通常各玩各的人體方法輸出的就是一個(gè)人體mesh物體方法輸出的是一個(gè)物體mesh。它們之間沒有關(guān)系沒有接觸沒有遮擋沒有誰支撐誰。單獨(dú)跑起來沒問題一旦要求輸出“人和物體在同一個(gè)三維空間里、以合理的交互狀態(tài)共存的場景”麻煩立刻成倍增加。1.2 交互帶來的三個(gè)麻煩遮擋、深度歧義、物理合理性人和物體一接觸三個(gè)麻煩就同時(shí)冒出來。第一個(gè)是相互遮擋。人的手臂可能被杯子擋住膝蓋可能被椅子擋住反過來物體也可能被人的身體擋掉一大半。關(guān)鍵點(diǎn)檢測一旦漏了局部單獨(dú)擬合人體就容易飄。更麻煩的是物體被遮擋的部分在2D圖像上完全沒有信息記住“這里缺了一塊”本身就是一個(gè)需要模型顯式處理的事情但大多數(shù)單目方法默認(rèn)輸入是完整可見的。第二個(gè)是深度歧義。同一個(gè)2D畫面里物體可以在人身前也可以在人身后。純幾何投影損失無法區(qū)分“手在杯子前面”和“手在杯子后面”。很多方法收斂到的結(jié)果從自己的相機(jī)視角看完全正確但換個(gè)視角就露餡——杯子跑到人的背后去了可圖像里明明看到杯沿壓著手臂。第三個(gè)是物理合理性。坐在椅子上的人臀部必須落在椅面上抱著的球手掌必須包著球的外表面。如果你只是分別重建人和物體出來的很可能是“人懸空坐在椅子上方”或者“手掌和球互相交叉”。所謂合理性不只是說幾何上不穿透還包括接觸部位符合日常經(jīng)驗(yàn)。只要有一個(gè)手指插進(jìn)杯子里人眼一眼就能發(fā)現(xiàn)根本不需要專業(yè)訓(xùn)練。所以我一直覺得HOI重建的核心不只是“把人和物體各自重建出來”而是“把交互關(guān)系也重建出來”。后者才是真正拉開難度的地方。1.3 把交互拆成接觸、遮擋、支撐三類可計(jì)算約束交互是一個(gè)很模糊的詞落地到代碼必須把它拆成可以被數(shù)學(xué)表達(dá)的東西。我們習(xí)慣拆成三件接觸、遮擋、支撐。接觸解決“哪些幾何區(qū)域應(yīng)該貼在一起”遮擋解決“深度上誰在前誰在后”支撐可以看作接觸的一種特殊形式額外帶上力學(xué)語義——比如坐著時(shí)人的重量通過臀部傳遞到椅面。好消息是對大多數(shù)常見交互支撐性和接觸性高度相關(guān)所以很多方法并不顯式建模力學(xué)而是用接觸約束把兩者“拉近”。PICO也沿用了這個(gè)思路用一個(gè)接觸感知的約束頭預(yù)測人體mesh表面和物體mesh表面之間的接觸區(qū)域再把這部分拉近其余部分推開。遮擋則單獨(dú)用一個(gè)深度順序一致性約束處理后面我會詳細(xì)展開。先記住一個(gè)結(jié)論HOI問題的求解本質(zhì)上就是這三組約束的聯(lián)合求解。2. 為什么PICO選擇“先獨(dú)立再聯(lián)合”這條路線2.1 端到端體積回歸的誘惑與陷阱設(shè)計(jì)一個(gè)HOI重建方案第一個(gè)擺在桌面上的問題是用什么形式表達(dá)結(jié)果有兩個(gè)大方向直接回歸體素或者TSDF場或者用參數(shù)化模型擬合。端到端回歸體素看起來更酷一張圖進(jìn)去一個(gè)三維場出來中間不需要任何人類先驗(yàn)。我見過不少團(tuán)隊(duì)一開始都走這條路覺得“讓模型自己學(xué)到交互模式”。但實(shí)際效果被兩個(gè)問題卡死。第一個(gè)是標(biāo)注數(shù)據(jù)量。HOI的三維真值標(biāo)注極其稀缺因?yàn)橐瑫r(shí)標(biāo)注人體姿態(tài)、物體形狀、接觸關(guān)系成本遠(yuǎn)高于標(biāo)2D框。體素回歸是像素級預(yù)測任務(wù)沒有海量帶真值的數(shù)據(jù)根本學(xué)不動。第二個(gè)是數(shù)據(jù)分布太稀疏。交互場景變化極大椅子可以出現(xiàn)在客廳、辦公室、街頭坐著的人姿態(tài)千奇百怪抱貓、拿書、撐傘、騎車……在高維空間里這些都是非常稀疏的樣本點(diǎn)。直接學(xué)一個(gè)體素生成器很容易在訓(xùn)練集上過擬合測試時(shí)稍微遇到一種新交互形式就崩。參數(shù)化方案則把問題分層人體姿態(tài)用SMPL這類體模型表達(dá)物體用類別模板位姿表達(dá)。這樣雖然上限受限于模板庫但每個(gè)子問題都有成熟的2D監(jiān)督可以利用魯棒性明顯好。PICO最終采用的是“先獨(dú)立初始化、再聯(lián)合優(yōu)化”的混合思路第一步把人體和物體各自估計(jì)出來第二步在同一個(gè)優(yōu)化問題里同時(shí)改進(jìn)兩者讓接觸約束和遮擋關(guān)系參與進(jìn)來。這個(gè)選擇不是因?yàn)樗雌饋硇路f而是因?yàn)樗趯?shí)際算力、數(shù)據(jù)、穩(wěn)定性的三重約束下是性價(jià)比最高的方案。2.2 人體側(cè)參數(shù)化體模型為什么繞不開做人體重建繞不開SMPL這類參數(shù)化體模型?？梢园裇MPL理解成一個(gè)可微分的人體變形器輸入姿態(tài)參數(shù)θ和形狀參數(shù)β輸出一個(gè)帶頂點(diǎn)坐標(biāo)的人體三角網(wǎng)格。θ控制關(guān)節(jié)旋轉(zhuǎn)β控制高矮胖瘦。一個(gè)普通成年人的人體表面有幾萬個(gè)頂點(diǎn)直接預(yù)測每個(gè)頂點(diǎn)的坐標(biāo)是浪費(fèi)自由度而且很容易預(yù)測出非人的形狀但通過θ和β你能把這些頂點(diǎn)壓縮到一個(gè)低維流形里而且這個(gè)流形上的每個(gè)點(diǎn)都對應(yīng)一個(gè)合理的、像人的mesh。之所以大家都用這類參數(shù)化模型另一個(gè)關(guān)鍵原因是它天然連著梯度。θ、β經(jīng)過mesh生成、頂點(diǎn)變換、可微渲染、投影誤差整個(gè)鏈條都是可微的梯度可以從2D像素一路傳回姿態(tài)參數(shù)。你在做接觸損失、碰撞懲罰時(shí)也是在直接優(yōu)化這個(gè)低維姿態(tài)空間比起優(yōu)化幾萬個(gè)頂點(diǎn)坐標(biāo)穩(wěn)定性和收斂速度都不可同日而語。PICO在人體初始化階段用的是一個(gè)多任務(wù)的人體估計(jì)器同時(shí)輸出2D關(guān)鍵點(diǎn)、分割掩碼和初步的θ、β。拿到初始θ、β后把mesh渲染出來和原圖做對齊這一步主要是為了給后面的聯(lián)合優(yōu)化提供一個(gè)不差的起點(diǎn)。這里有個(gè)經(jīng)驗(yàn)初始化的質(zhì)量決定后面一切。如果初始化姿態(tài)偏了30度后面的接觸損失會非常激進(jìn)地把手臂拽向物體最后得到一個(gè)扭曲的中間值。所以寧可初始化弱一點(diǎn)也要先在2D層面保證大致的布局。2.3 物體側(cè)類別模板加六自由度位姿不追求形狀精細(xì)物體沒有像SMPL那樣統(tǒng)一的人體先驗(yàn)因?yàn)槲矬w形狀千差萬別。但觀察HOI常見場景會發(fā)現(xiàn)交互中出現(xiàn)的物體類別其實(shí)相對集中椅子、桌子、滑板、球、杯子、箱子、手機(jī)、書本……這就給類別級模板方案提供了空間。對圖像中的物體先做2D檢測和類別分類再在該類別的模板網(wǎng)格上估計(jì)一個(gè)全局位姿也就是旋轉(zhuǎn)矩陣R和平移向量t再加上一個(gè)統(tǒng)一的尺度縮放s。這里要潑一盆冷水物體模板的形狀不需要太精細(xì)。因?yàn)閱文繄D像本身丟失了大量三維細(xì)節(jié)杯子把手有沒有、椅子扶手曲線什么樣在像素層面很難恢復(fù)。PICO用的是相對簡化的模板重點(diǎn)放在位姿和尺度上——換句話說先把“這個(gè)物體在哪里、有多大、朝向什么方向”搞對形狀細(xì)節(jié)留給后續(xù)的網(wǎng)格細(xì)化模塊去做。這個(gè)細(xì)化模塊可以是一個(gè)獨(dú)立的形狀變形網(wǎng)絡(luò)輸入初始位姿和圖像特征輸出頂點(diǎn)偏移量。實(shí)驗(yàn)下來對比直接預(yù)測精細(xì)形狀先粗定位再細(xì)化的方式在接觸準(zhǔn)確率上提升了接近三成因?yàn)槌跏嘉蛔藢α私佑|約束才能生效細(xì)化才有正確的前置條件。物體尺度估計(jì)是HOI最容易翻車的一環(huán)。單目圖像里一個(gè)遠(yuǎn)處的籃球和近處的網(wǎng)球在2D上可能一樣大前者需要的平移深度和尺度完全不同。PICO的處理是引入人體作為尺度錨點(diǎn)利用已經(jīng)在圖像上檢出的2D人體框和估計(jì)出的身體尺寸約束物體尺度躲在一個(gè)與人類常識匹配的范圍內(nèi)。試想一個(gè)成年人身側(cè)的包被重建得比人還大一眼就不對勁。這個(gè)先驗(yàn)簡單粗暴但在實(shí)際項(xiàng)目里幫我們擋住了大量離譜結(jié)果。2.4 遮擋推理單目里最容易被忽視的一環(huán)遮擋關(guān)系在單目里是隱式的因?yàn)閳D像只記錄了從相機(jī)視角看到的可見表面。但我們可以從圖像觀測中提取線索誰在誰的輪廓邊緣上切過誰在畫面上被誰蓋住。PICO的做法是把人體和物體分別渲染出深度圖對比兩者在重疊區(qū)域的深度順序再和圖像里觀測到的遮擋模式做比對。如果圖像里人的手遮擋了杯子的下沿而當(dāng)前重建結(jié)果里杯子深度在人前面那就會被一個(gè)遮擋一致性損失糾正。這個(gè)模塊看著小實(shí)際非常關(guān)鍵。我們做過消融實(shí)驗(yàn)把遮擋項(xiàng)從損失里拿掉之后聯(lián)合優(yōu)化比之前更容易收斂到“物體的真實(shí)位置在人的另一側(cè)”這種自洽但錯(cuò)誤的解。原因是接觸損失和投影損失在優(yōu)化過程中協(xié)同作用下可能找到一個(gè)在2D上完美一致、但3D上是左右翻轉(zhuǎn)的鏡像解。有了遮擋約束模型被迫選擇與實(shí)際可見性一致的深度排序這類錯(cuò)誤解基本被壓掉。3. 損失函數(shù)設(shè)計(jì)接觸、穿透、遮擋怎么平衡3.1 三大損失線數(shù)據(jù)項(xiàng)、先驗(yàn)項(xiàng)、交互項(xiàng)聯(lián)合優(yōu)化的整體目標(biāo)可以拆成三組。第一組是數(shù)據(jù)一致項(xiàng)人體關(guān)鍵點(diǎn)的2D重投影誤差、人體掩碼誤差、物體2D框與掩碼誤差。第二組是正則項(xiàng)姿態(tài)先驗(yàn)、形狀先驗(yàn)、物體尺度的均勻先驗(yàn)。第三組是交互項(xiàng)接觸、穿透、遮擋。一個(gè)典型的優(yōu)化目標(biāo)大致是L_total λ1*L_kp2d λ2*L_mask λ3*L_contact λ4*L_penetration λ5*L_prior用這組損失之前要做幾件事配好每個(gè)損失的權(quán)重確定優(yōu)化順序先人體后物體還是聯(lián)合優(yōu)化控制學(xué)習(xí)率防止某一項(xiàng)梯度太大把姿態(tài)拉飛。我們實(shí)驗(yàn)里最常見的失敗是λ4穿透懲罰開太大直接把人的膝蓋懟出椅子表面代價(jià)是姿態(tài)扭曲成詭異角度。權(quán)重該怎么定我有個(gè)笨辦法先在測試圖上把每一項(xiàng)單獨(dú)加上觀察它對輸出mesh的影響方向和幅度。比如單獨(dú)加λ4如果輸出立刻“僵住”——所有人都不敢靠近物體——那就說明它太大了。反過來單獨(dú)加λ3如果輸出里人和物體幾乎貼成一體說明接觸權(quán)重過大出現(xiàn)了“過度擁抱”現(xiàn)象。把每個(gè)單項(xiàng)調(diào)到“有作用但不搶戲”的狀態(tài)再組合起來微調(diào)。這個(gè)流程大概需要一到兩周。3.2 接觸損失的具體實(shí)現(xiàn)與加權(quán)技巧接觸損失的本質(zhì)是“預(yù)測哪些點(diǎn)對應(yīng)該接近再把它們拉近”。PICO里有一個(gè)接觸映射預(yù)測頭輸入人體mesh頂點(diǎn)特征和物體mesh頂點(diǎn)特征輸出一個(gè)接觸置信度矩陣表示人體頂點(diǎn)i與物體頂點(diǎn)j在交互中發(fā)生接觸的概率。有了置信度接觸損失就可以寫成加權(quán)距離def contact_loss(verts_h, verts_o, confidence): # verts_h: [Vh, 3], verts_o: [Vo, 3] dist torch.cdist(verts_h, verts_o) # [Vh, Vo] # 只懲罰高置信度且距離過大的點(diǎn)對 mask (confidence 0.5) (dist 0.03) if mask.sum() 0: return torch.tensor(0.0, requires_gradTrue) loss (confidence * dist)[mask].mean() return loss這段代碼看著簡單但有一個(gè)非常實(shí)際的坑如果直接用所有點(diǎn)對的距離均值會被大量無關(guān)點(diǎn)對稀釋。一個(gè)杯子和一個(gè)完整的人體之間可能有幾萬個(gè)點(diǎn)對真正接觸的點(diǎn)也許只占百分之幾。如果不做篩選損失會被絕大多數(shù)無關(guān)點(diǎn)對的零距離淹沒訓(xùn)練時(shí)梯度信號非常弱。我們實(shí)驗(yàn)里試過兩種篩選方式。一種是閾值篩選只保留置信度大于0.5的點(diǎn)對參與計(jì)算收斂穩(wěn)定但初期慢因?yàn)槌跏贾眯哦绕毡榈土硪环N是top-k采樣每次取距離最近的前k個(gè)點(diǎn)對參與計(jì)算初期收斂快因?yàn)樘荻燃性谧钣邢Ｍ暮蜻x對上。兩個(gè)方案最終效果接近但top-k在調(diào)試初期更友好——你能直觀看到“模型正在嘗試抓住哪一塊區(qū)域”。后期建議切回閾值加權(quán)精度更細(xì)膩。還有一個(gè)細(xì)節(jié)值得提接觸距離的閾值0.03米不是拍腦袋寫的它取決于mesh的頂點(diǎn)密度。如果人體mesh平均邊長接近2厘米那么兩個(gè)mesh表面點(diǎn)距離小于3厘米就可以認(rèn)為已經(jīng)“貼上了”。你要是用一個(gè)頂點(diǎn)稀疏的模板閾值要相應(yīng)放大否則模型永遠(yuǎn)追不上目標(biāo)損耗就一直在。3.3 穿透懲罰法向“推出去”和SDF兩種做法對比接觸是把該貼的貼上穿透則是把不該穿的推開。判斷“穿了沒有”不能只看頂點(diǎn)距離要看物體表面的法向。一個(gè)常見做法是對每個(gè)穿透的人體頂點(diǎn)計(jì)算物體表面最近點(diǎn)以及該點(diǎn)法向如果人體頂點(diǎn)在物體內(nèi)部就沿著法向推出去懲罰量正比于侵入深度。我推薦用符號距離函數(shù)也就是把物體表達(dá)成一個(gè)SDF場查詢?nèi)我庖粋€(gè)三維點(diǎn)輸出它的有符號距離正數(shù)表示在物體外部負(fù)數(shù)表示在物體內(nèi)部絕對值是到表面的距離。穿透損失就可以非常自然地寫成def penetration_loss(verts_h, sdf_query_fn): # 把人體頂點(diǎn)輸入物體的SDF返回負(fù)數(shù)表示內(nèi)部 sdf_vals sdf_query_fn(verts_h) # [Vh] inside sdf_vals 0 if inside.sum() 0: return torch.tensor(0.0, requires_gradTrue) loss (-sdf_vals[inside]).square().mean() return loss這里的SDF不需要真的訓(xùn)一個(gè)網(wǎng)絡(luò)實(shí)踐中用模板mesh的最近點(diǎn)距離近似即可把每個(gè)頂點(diǎn)投影到物體mesh表面用射線和法向的符號判斷頂點(diǎn)在表面哪一側(cè)。這個(gè)近似足夠用來懲罰典型的大尺度穿透比如整只手插入杯壁、半個(gè)臀部陷入椅面。但對于指尖嵌入表面這種毫米級穿透效果有限建議后期換用更精確的幾何碰撞庫做精修。說到底接觸和穿透天生是一對矛盾接觸項(xiàng)在推近穿透項(xiàng)在推遠(yuǎn)。如果兩個(gè)損失的權(quán)重匹配不好模型就會在“差一點(diǎn)點(diǎn)沒貼上”和“剛好貼上但深入了”之間來回震蕩。我們最后采用的策略是給穿透項(xiàng)加一個(gè)軟邊際只懲罰深入超過1厘米的部分1厘米以內(nèi)不管。這樣既允許輕微的、不可見的侵入又能壓制大的幾何錯(cuò)誤訓(xùn)練穩(wěn)定非常多。3.4 交替優(yōu)化與聯(lián)合優(yōu)化的節(jié)奏控制這是實(shí)操里繞不開的問題。聯(lián)合優(yōu)化同時(shí)更新人體θ、β和物體R、t、s理論上更優(yōu)雅但梯度來源復(fù)雜容易陷入局部最優(yōu)尤其當(dāng)初始姿態(tài)偏差較大時(shí)接觸損失會把整個(gè)手臂拽到杯子上姿態(tài)瞬間崩壞。交替優(yōu)化則把問題拆成兩步固定物體優(yōu)化人體固定人體優(yōu)化物體循環(huán)若干輪。交替更穩(wěn)因?yàn)槊恳徊降淖訂栴}更簡單、梯度更干凈。PICO實(shí)測下來初始化的那幾輪必須用交替優(yōu)化等姿態(tài)和物體位姿大致合理后再用聯(lián)合優(yōu)化做精調(diào)。這也是很多這類方法的通用套路如果你自己搭方案建議別一上來就端到端聯(lián)合優(yōu)化。具體節(jié)奏我們是這樣調(diào)的前20步固定物體優(yōu)化人體姿態(tài)讓人的手、臀、腳去夠物體的相應(yīng)區(qū)域接著固定人體優(yōu)化物體位姿和尺度讓物體反過來貼合人的接觸部位如此交替5輪每輪30步左右。粗調(diào)階段結(jié)束后解除固定用聯(lián)合優(yōu)化再跑100步此時(shí)接觸和穿透損失的權(quán)重可以適當(dāng)調(diào)高讓表面細(xì)節(jié)收斂。整張圖的推理時(shí)間大約在10秒內(nèi)主要花在可微渲染和迭代優(yōu)化上。很多人以為優(yōu)化步數(shù)越多越好實(shí)際上不是。單目問題本身存在模糊性優(yōu)化的步數(shù)一旦過長模型會開始在2D掩碼上過度擬合丟失姿態(tài)的合理性。我們發(fā)現(xiàn)150步以內(nèi)是甜點(diǎn)區(qū)超過300步后穿透深度反而上升。這個(gè)現(xiàn)象后來我們理解了投影損失在整個(gè)目標(biāo)里占比高為了讓渲染出來的輪廓和圖像完全重合模型傾向于把人體姿態(tài)擰成極端角度以補(bǔ)償物體遮擋帶來的信息缺失。所以適當(dāng)提前停止反而是正則化的一種手段。4. 實(shí)操過程模型訓(xùn)練、推理與評測全流程4.1 環(huán)境搭建與渲染管線選型我們實(shí)驗(yàn)環(huán)境比較樸素PyTorch為基礎(chǔ)渲染用Pyrender或自研的軟光柵化器做可微渲染幾何處理用trimesh額外用了一個(gè)輕量的SDF查詢庫處理穿透計(jì)算。顯卡用的是中高端消費(fèi)級卡單張圖從初始化到精調(diào)完成大概幾秒到十幾秒推理時(shí)不需要非常大的顯存。提示可微渲染是這類項(xiàng)目的重頭。Pyrender本身不可微我們一般接一個(gè)soft rasterizer作為前向渲染器或者用PyTorch3D的可微渲染管道。如果你只想驗(yàn)證損失設(shè)計(jì)先用物理渲染器渲染出固定視角的圖單獨(dú)觀察mesh形狀是否合理再把渲染接到優(yōu)化循環(huán)里。環(huán)境配置有一個(gè)容易踩的坑可微渲染庫對CUDA版本和PyTorch版本的綁定非常嚴(yán)格版本不匹配會直接編譯失敗。我的建議是鎖定一套已經(jīng)互相驗(yàn)證過的版本組合不要在有多個(gè)顯卡驅(qū)動的工作站上隨便升級。我們團(tuán)隊(duì)有同事因?yàn)樵谝粋€(gè)版本雜亂的集群上裝PyTorch3D前后折騰了兩天最后在容器環(huán)境里才跑通。這個(gè)問題雖然看起來和算法無關(guān)但實(shí)際會吃掉大量項(xiàng)目時(shí)間。4.2 合成數(shù)據(jù)準(zhǔn)備讓接觸標(biāo)注免費(fèi)HOI的真實(shí)標(biāo)注數(shù)據(jù)非常貴。手動標(biāo)注一個(gè)三維接觸關(guān)系比標(biāo)2D框要難得多所以在項(xiàng)目里我們主要依賴兩條腿一部分是在公開的人-物交互數(shù)據(jù)集上訓(xùn)練另一部分是自制的渲染合成數(shù)據(jù)——把人體mesh和物體mesh擺成接觸姿態(tài)用隨機(jī)材質(zhì)、隨機(jī)光照、隨機(jī)相機(jī)角度渲染出一批圖像同時(shí)天然帶有精確的接觸標(biāo)注和深度標(biāo)注。合成數(shù)據(jù)解決標(biāo)注問題真實(shí)數(shù)據(jù)解決域差異問題。做合成數(shù)據(jù)的細(xì)節(jié)值得說一句隨機(jī)擺放時(shí)要刻意讓一部分樣本存在輕微穿透一部分樣本存在輕微分離否則模型只見過完美接觸的樣本一旦真實(shí)圖像里接觸點(diǎn)略微錯(cuò)位接觸推理就不穩(wěn)。這其實(shí)是一個(gè)數(shù)據(jù)增強(qiáng)思想——人為引入一定范圍的接觸誤差讓模型學(xué)會在微擾下仍然輸出正確的接觸區(qū)域。我們最多的時(shí)候把一個(gè)交互動作渲染出200組不同視角、光照和背景的圖像模型的泛化能力提升非常明顯。在生成接觸標(biāo)注時(shí)要注意標(biāo)注的粒度。接觸不是一個(gè)二值屬性而是有區(qū)域的手的整個(gè)掌面可能接觸杯子但只有指腹接觸杯把。我們的標(biāo)注做法是給每個(gè)接觸事件記錄一個(gè)接觸面積用于訓(xùn)練接觸置信度的連續(xù)值版本而不是簡單分類。這樣接觸頭輸出的置信度矩陣就有了平滑的梯度訓(xùn)練起來比0/1標(biāo)簽穩(wěn)定得多。4.3 接觸頭的訓(xùn)練與端到端微調(diào)訓(xùn)練分成兩個(gè)階段。階段一訓(xùn)練接觸映射預(yù)測頭輸入人體mesh頂點(diǎn)特征和物體點(diǎn)云特征輸出接觸置信度用渲染合成數(shù)據(jù)的接觸標(biāo)注做監(jiān)督。階段二凍結(jié)接觸頭的部分層端到端微調(diào)整個(gè)重建模型讓接觸信息反過來影響人體姿態(tài)和物體位姿的預(yù)測。一個(gè)關(guān)鍵點(diǎn)是接觸頭的輸入特征不只是幾何坐標(biāo)還包含2D圖像上對應(yīng)位置的顏色特征。為什么因?yàn)閱慰繋缀螣o法區(qū)分“手在杯子前面還是后面”而顏色和紋理能提供遮擋線索——杯子遮擋手的那段邊緣在圖像上有清晰的輪廓特征。把2D特征對齊到3D頂點(diǎn)上再輸入接觸頭是一個(gè)很有效的小技巧。具體做法是把圖像放進(jìn)一個(gè)淺層CNN得到每像素的特征向量然后根據(jù)相機(jī)投影把人體頂點(diǎn)和物體頂點(diǎn)分別投到圖像上采樣對應(yīng)位置的特征拼接在坐標(biāo)特征后面。實(shí)測這個(gè)操作能讓接觸預(yù)測準(zhǔn)確率提升近10個(gè)百分點(diǎn)。訓(xùn)練時(shí)損失函數(shù)除了常規(guī)的交叉熵或MSE還要加一個(gè)空間平滑項(xiàng)。因?yàn)榻佑|區(qū)域在mesh表面是成片出現(xiàn)的如果不對置信度做平滑輸出往往像斑點(diǎn)一樣零散優(yōu)化時(shí)梯度雜亂。加入一個(gè)簡單的拉普拉斯平滑項(xiàng)后接觸區(qū)域變成連貫的塊狀后續(xù)的接觸損失和穿透懲罰也能更穩(wěn)定地作用。4.4 推理流程、參數(shù)配置與評測指標(biāo)推理時(shí)輸入一張圖流程是檢測人體和物體2D框 → 獨(dú)立估計(jì)人體姿態(tài)和物體位姿 → 接觸推理 → 聯(lián)合優(yōu)化若干輪 → 輸出人體mesh和物體mesh附帶接觸標(biāo)注。參數(shù)配置我整理了一個(gè)基線供參考人體初始化學(xué)習(xí)率1e-3聯(lián)合優(yōu)化階段降到5e-4物體位姿學(xué)習(xí)率3e-3物體尺度學(xué)習(xí)率5e-4接觸權(quán)重λ30.8穿透權(quán)重λ41.2優(yōu)化輪次交替階段5輪聯(lián)合階段100步掩碼損失用L1而不是L2邊界敏感度更高評測不能只看肉眼效果。我們常用的指標(biāo)有四個(gè)指標(biāo)計(jì)算方式說明Chamfer距離重建mesh與真值mesh頂點(diǎn)間雙向最近點(diǎn)距離均值衡量幾何精度掩碼IoU重建mesh投影到2D與真值掩碼的IoU衡量投影一致性接觸準(zhǔn)確率預(yù)測接觸對的精度/召回衡量交互語義穿透深度人體頂點(diǎn)侵入物體內(nèi)部的平均深度衡量物理合理性評測集要額外標(biāo)注接觸真值這個(gè)環(huán)節(jié)我們花了一周多最后發(fā)現(xiàn)最好的辦法是找一批置信度高的合成測試圖加人工抽檢真實(shí)圖兼顧自動化和可信度。人工抽檢時(shí)我們總結(jié)了一套規(guī)則先看投影掩碼是否貼合再看身體四肢是否出現(xiàn)反向折疊最后看手和物體的關(guān)系——手是懸空還是接觸接觸位置是否符合物體類別常識。這套規(guī)則后來被寫成了團(tuán)隊(duì)的評測checklist新來的同學(xué)上手也快。5. 常見問題與排查實(shí)錄5.1 關(guān)鍵點(diǎn)被遮擋姿態(tài)初始化崩壞把真實(shí)圖片喂進(jìn)去最常遇到的問題就是2D關(guān)鍵點(diǎn)檢測在遮擋處失效尤其是“人坐椅子”這種場景臀部和膝蓋有大半被椅面擋住檢測器給出的置信度低初始化姿態(tài)直接跑偏。排查思路先單獨(dú)跑人體姿態(tài)估計(jì)把2D關(guān)鍵點(diǎn)和投影后的3D骨架可視化確認(rèn)哪幾個(gè)關(guān)節(jié)置信度低。如果是遮擋導(dǎo)致的可以調(diào)整優(yōu)化權(quán)重把低置信度關(guān)鍵點(diǎn)的監(jiān)督權(quán)重降下來同時(shí)增加姿態(tài)先驗(yàn)的權(quán)重讓模型更多依賴先驗(yàn)而不是被帶偏的2D觀測。如果實(shí)在不行有個(gè)土辦法用檢測器輸出多個(gè)候選姿態(tài)假設(shè)每個(gè)假設(shè)各自走一遍聯(lián)合優(yōu)化最后選投影誤差最小的結(jié)果。有點(diǎn)費(fèi)算力但確實(shí)能救回一些難例。我們在PICO里還加了一個(gè)針對性的技巧用一個(gè)輕量的遮擋分割網(wǎng)絡(luò)先標(biāo)出圖像里“什么東西擋住了人體的哪部分”然后在優(yōu)化時(shí)把被遮擋區(qū)域的掩碼損失權(quán)重直接降到接近0。這么做的好處是模型不會為了擬合被遮擋部分的輪廓而扭曲姿態(tài)它只需要保證可見部分的投影一致其余由姿態(tài)先驗(yàn)和接觸約束兜底。5.2 物體尺度來回跳越調(diào)越離譜聯(lián)合優(yōu)化時(shí)物體尺度s和平移t經(jīng)?；ハ嘌a(bǔ)償尺度變大一點(diǎn)平移朝遠(yuǎn)處挪一點(diǎn)投影出來的2D大小不變但3D結(jié)果變成一個(gè)“遠(yuǎn)處的大物體”。這是單目尺度-深度耦合的典型癥狀也叫scale-depth ambiguity。我們的解決辦法是加了一個(gè)人體尺度錨定項(xiàng)。具體做法根據(jù)當(dāng)前重建的人體mesh計(jì)算出關(guān)鍵的尺寸比如肩寬和手臂長作為參照系。然后把物體的尺度限制在與參照系合理匹配的區(qū)間內(nèi)。比如一個(gè)人肩膀?qū)?0厘米他手邊的物體橫跨尺寸超過1米那基本可以判定尺度預(yù)測錯(cuò)了直接把這個(gè)樣本判為低置信度或者把物體尺度拉回區(qū)間內(nèi)。再不行就在優(yōu)化里固定物體尺度只優(yōu)化位姿等人體姿態(tài)穩(wěn)定后再放開尺度。這種“放棄一部分自由度換取穩(wěn)定性”的思路在單目任務(wù)里是值得反復(fù)使用的。還有一個(gè)容易忽略的點(diǎn)物體檢測的2D框不準(zhǔn)會直接傳導(dǎo)到尺度估計(jì)。我們曾經(jīng)在測試集上一半物體的尺度過大最后排查發(fā)現(xiàn)是檢測器對部分遮擋物體的邊界框偏向?qū)捤蓪?dǎo)致初始尺度偏大。后來在初始化時(shí)對物體框做了一次邊緣緊縮——比例大約3%——尺度誤差立刻降下來。這種問題不看數(shù)據(jù)分布光調(diào)損失是無法發(fā)現(xiàn)的。5.3 接觸部位張冠李戴手里沒抓到該抓的地方眼看接觸項(xiàng)在起作用人和物體也不再穿透但仔細(xì)看手沒放在杯柄上而是放在杯口上——接觸置信度矩陣給出的語義區(qū)域完全錯(cuò)位。這通常是接觸頭的訓(xùn)練數(shù)據(jù)有問題合成數(shù)據(jù)里“手抓杯子”的接觸區(qū)域太單一模型只記住了抓杯口這一類模式。對策是擴(kuò)大合成數(shù)據(jù)的接觸多樣性同一個(gè)杯子讓手從側(cè)面、上方、斜下方都去抓一遍同一個(gè)姿態(tài)換不同形狀的物體。我們還試過在接觸置信度上加入類別約束比如屬于“握柄類”的物體優(yōu)先把手部頂點(diǎn)映射到手接觸區(qū)域。效果有但有限核心還是數(shù)據(jù)多樣性。調(diào)試這類問題最快的方法是直接把接觸置信度矩陣可視化按置信度值給mesh頂點(diǎn)上色看預(yù)測的“熱點(diǎn)”到底分布在哪些區(qū)域。有一次我們發(fā)現(xiàn)熱點(diǎn)集中在大腿前側(cè)而真值接觸區(qū)在臀部下方原因就出在合成數(shù)據(jù)里坐姿樣本生成時(shí)人體和椅面的接觸采樣是從mesh全局最近點(diǎn)出發(fā)的最近點(diǎn)落在大腿前側(cè)而不是臀部。修正采樣邏輯之后這個(gè)問題就消失了?！翱梢暬佑|熱點(diǎn)”這一招我們后來一直在用凡是接觸相關(guān)的bug先上色看圖再找原因。5.4 損失一直降但渲染出來還是糊成一團(tuán)還有一種情況是損失一直在降但mesh投影出去和原圖對不上說明優(yōu)化陷入了某個(gè)自洽但不合觀測的局部最優(yōu)。這時(shí)候先檢查渲染的相機(jī)參數(shù)和檢測框是否對得上再檢查掩碼損失是否真的在起作用。很多次問題出在一個(gè)小地方掩碼損失用的是L2對邊緣極其不敏感。一個(gè)只差兩個(gè)像素的輪廓和一個(gè)完全對不上的輪廓L2值差別不大梯度也差不多模型學(xué)不到“往邊上挪一點(diǎn)”的信號。換成一個(gè)邊緣加權(quán)的距離項(xiàng)或者干脆只用輪廓邊界像素計(jì)算距離效果會好非常多。另外相機(jī)內(nèi)參錯(cuò)誤是一個(gè)隱蔽的大坑。如果你的初始化代碼里把焦距估計(jì)錯(cuò)了10%投影的物體輪廓會比實(shí)際偏大或偏小聯(lián)合優(yōu)化會努力用“錯(cuò)誤尺度錯(cuò)誤深度”去補(bǔ)償最后收斂到一個(gè)數(shù)值上合理但視覺上完全不對的結(jié)果。所以每次跑新數(shù)據(jù)集先把一張已知真實(shí)深度分布的測試圖走完整個(gè)流程確認(rèn)相機(jī)內(nèi)參對齊再開始大規(guī)模評測。這個(gè)檢查只需要幾分鐘能省掉后面一整天的返工。5.5 一個(gè)容易被忽視的工程問題mesh頂點(diǎn)數(shù)量不一致接觸損失和穿透損失都要計(jì)算人體mesh頂點(diǎn)與物體mesh頂點(diǎn)之間的關(guān)系而人體模板和物體模板的頂點(diǎn)數(shù)、面片密度往往差異巨大。比如人體模板有2萬多個(gè)頂點(diǎn)一個(gè)簡化的椅子模板可能只有2000個(gè)頂點(diǎn)。直接計(jì)算點(diǎn)對距離時(shí)人體側(cè)的點(diǎn)密度遠(yuǎn)高于物體側(cè)導(dǎo)致接觸區(qū)域“人體一個(gè)點(diǎn)對物體多個(gè)點(diǎn)”的情況梯度傳播時(shí)會偏向人體側(cè)。我們的解決辦法是對物體mesh做一次自適應(yīng)細(xì)分讓兩個(gè)mesh在接觸區(qū)域的頂點(diǎn)密度大致匹配。更規(guī)范的做法是用最近鄰雙向匹配并給每個(gè)點(diǎn)對乘上一個(gè)面積加權(quán)因子。如果你只是自己搭一個(gè)快速demo最簡單的辦法是先把兩個(gè)mesh都采樣成相同數(shù)量的點(diǎn)云再做后續(xù)計(jì)算。這個(gè)細(xì)節(jié)不解決接觸損失會一直抖動而且越訓(xùn)越差表現(xiàn)非常迷惑。6. 一點(diǎn)個(gè)人體會跑這種項(xiàng)目最大的體會是真正耗時(shí)的不是網(wǎng)絡(luò)結(jié)構(gòu)而是數(shù)據(jù)和調(diào)試。HOI的合成數(shù)據(jù)生成看起來簡單實(shí)際涉及接觸采樣、姿態(tài)合理過濾、遮擋多樣性、域隨機(jī)化每一步都要反復(fù)試損失函數(shù)那幾項(xiàng)權(quán)重更是玄學(xué)我們調(diào)了一個(gè)多月才找到相對穩(wěn)的組合。如果讓我給后來人一個(gè)建議那就是別急著上完整方案先把最小閉環(huán)跑通單張簡單圖一個(gè)固定類別物體一個(gè)接觸損失一把椅子先讓它在不穿透的前提下把接觸做對。把這一步做實(shí)了再往復(fù)雜場景、多類別、多樣交互擴(kuò)展路會順很多。這個(gè)項(xiàng)目我們后續(xù)還在往視頻序列上延伸加上時(shí)間一致性之后很多單目里的深度歧義會被自然消解那是另一個(gè)有趣的故事了。