做3D資產(chǎn)生成這些年我一直覺得最磨人的不是建模本身而是“怎么用更少的成本把形狀、紋理、細節(jié)一次做對”。傳統(tǒng)流程里模型師、貼圖師、綁定師各管一段一個高質(zhì)量資產(chǎn)從零開始往往要按天算。所以當我看到“3D-Diffusion: Scalable 3D Asset Generation with Diffusion Models”這個方向時第一反應(yīng)是擴散模型終于從2D圖像殺到3D資產(chǎn)領(lǐng)域了而且這次不是小打小鬧是奔著“可規(guī)?；比サ摹＿@篇解析就是想把這個方向背后的技術(shù)選型、設(shè)計邏輯和落地路徑講清楚給正在做3D生成、NeRF或者AIGC應(yīng)用的同學一份可以直接抄作業(yè)的參考。這個方向適合誰看一類是剛接觸3D生成想搞明白擴散模型怎么處理非歐幾里得結(jié)構(gòu)的同學另一類是在做3D資產(chǎn)生成但苦于效果不穩(wěn)定、訓練成本太高想知道這個方案為什么更穩(wěn)的開發(fā)者。我會把3D表示的選型、擴散過程的設(shè)計、可擴展性的來源、以及我在復現(xiàn)和改造過程中的坑一塊兒拆開講。1. 從一張圖片到整座數(shù)字工廠3D資產(chǎn)生成的痛點和擴散模型的切入點1.1 傳統(tǒng)3D流程的瓶頸先說行業(yè)現(xiàn)狀。一個標準的3D資產(chǎn)生產(chǎn)管線通常是概念設(shè)計確定風格建模師用多邊形網(wǎng)格搭出大體結(jié)構(gòu)拆UV烘焙法線貼圖再交給材質(zhì)師做紋理最后進引擎或渲染器驗證效果。這串流程里每一步都依賴人工決策而且每一環(huán)節(jié)的錯誤都會被后續(xù)環(huán)節(jié)放大。比如基礎(chǔ)模型的比例稍微出了問題后續(xù)的UV、貼圖、綁定都要返工返工成本隨著環(huán)節(jié)靠后指數(shù)上升。如果說靜態(tài)資產(chǎn)還能靠熟練工硬扛那動態(tài)資產(chǎn)、大規(guī)模場景、多類別資產(chǎn)生成就是完全另一個量級的問題。一個游戲項目動輒幾千個可交互物件一個影視項目可能需要上百個角色和載具如果用傳統(tǒng)流程光排期就能把人逼瘋。我見過不少團隊嘗試用程序化生成來緩解壓力但程序化方案的缺陷也很明顯它能做“同類變異”很難做“跨類創(chuàng)造”更不用說在風格統(tǒng)一的前提下生成全新結(jié)構(gòu)。所以這個領(lǐng)域一直在等一個真正能“從數(shù)據(jù)分布里學出泛化能力”的生成方案。這也是擴散模型被3D研究者盯上的根本原因——它在圖像領(lǐng)域的表現(xiàn)已經(jīng)證明只要數(shù)據(jù)量和模型容量夠它能學出非常復雜的條件分布。1.2 為什么偏偏是擴散模型有人可能會問GAN不是也可以做生成嗎早期3D生成也確實有基于GAN的方案比如把體素或點云作為生成對象。但GAN有兩個繞不開的老毛病訓練不穩(wěn)定模式坍縮。對于圖像這種規(guī)則網(wǎng)格數(shù)據(jù)GAN已經(jīng)夠難調(diào)了換到3D這種拓撲不固定的結(jié)構(gòu)上訓練難度會再上一個臺階。生成質(zhì)量高不高先不說光是“判別器怎么定義真實感”就是個哲學問題。擴散模型的思路完全不同。它不靠對抗靠的是“先破壞、再修復”的概率學習。訓練時把真實3D資產(chǎn)逐漸加噪直到變成純噪聲推理時從一個隨機噪聲開始一步一步去噪最終恢復成一個合理的3D結(jié)構(gòu)。這種方式避免了對抗訓練的不穩(wěn)定而且每一步去噪都是回歸任務(wù)損失函數(shù)簡單直接。更關(guān)鍵的是擴散模型天然支持條件生成只要在去噪過程中輸入類別標簽、文本描述或圖片特征就能控制生成方向這一點對資產(chǎn)生成來說太重要了。3D-Diffusion這個方向正是把這些優(yōu)勢遷移到了3D領(lǐng)域。它不需要像GAN那樣和判別器斗智斗勇也不需要像自回歸模型那樣按固定順序一點點“猜”下一個token而是把整個3D對象當作一個整體來去噪。這種“整體生成”的直覺和人看到一團亂線時自動腦補出一個輪廓的過程很像。1.3 標題里的“Scalable”到底在說什么標題里的“Scalable”不是一個營銷詞匯它同時指向三個層面的擴展能力。第一是類別規(guī)模早期3D生成模型往往只能生成單一類別比如只生成椅子或者只生成車而可規(guī)模的方案要能用同一個模型覆蓋幾百個類別。第二是數(shù)據(jù)規(guī)模3D數(shù)據(jù)不像圖像那么好獲取公開的3D數(shù)據(jù)集在數(shù)量、標注質(zhì)量、類別平衡上都遠不如2D數(shù)據(jù)可規(guī)?；那疤崾悄芨咝Ю糜邢薜臄?shù)據(jù)。第三是模型和算力規(guī)模如果把擴散模型的主干做大訓練數(shù)據(jù)增多生成質(zhì)量能不能持續(xù)穩(wěn)定提升而不是一到某個規(guī)模就崩掉。這三點合在一起才是“Scalable 3D Asset Generation”的真正含義。它不是某一種技巧的堆疊而是一個系統(tǒng)工程數(shù)據(jù)怎么組織、3D怎么表示、模型怎么訓練、推理怎么控制每一環(huán)都要為規(guī)?；O(shè)計。少了任何一環(huán)規(guī)模上去之后都會出問題。比如數(shù)據(jù)量大了但表示不合理訓練成本會爆炸表示合理但模型結(jié)構(gòu)不適合并行擴展性也受限。所以后續(xù)所有技術(shù)細節(jié)都應(yīng)該圍繞“怎么在保證生成質(zhì)量的前提下把模型、數(shù)據(jù)和算力都推到更大規(guī)?！边@條主線來理解。2. 選對“積木”3D表示方法決定了擴散模型的成敗2.1 三種主流3D表示的橫向?qū)Ρ葦U散模型需要一個明確的“生成目標”也就是說我們需要先決定讓模型輸出什么格式的3D數(shù)據(jù)。這個選擇直接決定后續(xù)所有設(shè)計可以說是整個方向的基石。目前主流的3D表示大概有三類顯式結(jié)構(gòu)化表示、隱式神經(jīng)場表示、以及顯隱混合表示。顯式結(jié)構(gòu)化表示包括體素、點云和多邊形網(wǎng)格。體素就是3D像素結(jié)構(gòu)規(guī)則方便做卷積但分辨率一大內(nèi)存就爆炸點云存儲效率高但缺少拓撲信息模型要額外處理點與點之間的連接關(guān)系網(wǎng)格是工業(yè)界的標準格式有面和頂點的關(guān)系但生成網(wǎng)格的拓撲本身就是一個很復雜的離散問題擴散模型處理離散結(jié)構(gòu)并不順手。隱式神經(jīng)場表示的代表是NeRF那一套用神經(jīng)網(wǎng)絡(luò)把空間坐標映射成密度和顏色。它的優(yōu)點是能表達精細的連續(xù)幾何和紋理內(nèi)存占用固定分辨率只取決于查詢點的數(shù)量缺點也很明顯一個資產(chǎn)對應(yīng)一個訓練好的MLP很難直接“生成”一個可以繼續(xù)編輯加工的網(wǎng)格。顯隱混合表示則是兩者取長補短最具代表性的就是三平面tri-plane。它將3D空間投影到三個正交的2D特征平面上每個位置的特征由它在三個平面上的投影拼接而成然后再接一個小規(guī)模解碼器得到密度和顏色。2D特征平面可以存成普通圖像張量又規(guī)則又緊湊這讓擴散模型可以直接復用2D的U-Net骨干不用為3D重新發(fā)明網(wǎng)絡(luò)架構(gòu)。表示方式規(guī)則性內(nèi)存開銷生成難度工業(yè)可用性體素高高中分辨率受限中點云低低高需處理拓撲中網(wǎng)格低低極高離散結(jié)構(gòu)高NeRF/神經(jīng)場中中中需擬合MLP低三平面高低低復用2D卷積中2.2 三平面表示為什么適合擴散三平面之所以在很多3D擴散方案中被當作默認選擇核心原因就是“規(guī)則”。擴散模型的骨干網(wǎng)絡(luò)基本都是基于卷積或者注意力機制設(shè)計的這些結(jié)構(gòu)對規(guī)則網(wǎng)格數(shù)據(jù)極其友好。體素雖然是規(guī)則三維網(wǎng)格但計算量是立方級別的三平面把三維相關(guān)性拆成三張二維圖計算量變成了平面級別大大降低了訓練和推理成本。從信息完整性角度看三平面并沒有嚴重丟信息?？臻g里任意一點可以通過它投影到XY、XZ、YZ三個平面上的位置取出三組特征向量再拼接成一個總特征。這個總特征既包含了點的局部位置信息又通過三個方向的投影攜帶了空間的全局一致性。換句話說三平面是用“三個方向看的視角”替代了“全空間的稠密存儲”是一種非常聰明的壓縮。而且三平面還有一個隱性優(yōu)勢它和2D擴散模型之間的知識遷移特別順滑。2D圖像擴散模型已經(jīng)在海量圖文數(shù)據(jù)上預訓練過了如果3D擴散模型也采用類似的2D卷積骨干就能用預訓練權(quán)重做初始化相當于把2D空間學到的先驗搬到3D空間來。這個初始化帶來的收益在訓練早期特別明顯能讓模型在數(shù)據(jù)量有限的前提下快速收斂到合理形狀。2.3 表示層面還需要解決的工程細節(jié)選了三平面不等于萬事大吉還有很多工程細節(jié)會直接影響生成質(zhì)量。首先是平面分辨率每個特征平面的尺寸需要和生成精度匹配。分辨率太低細節(jié)糊成一團分辨率太高擴散模型的通道數(shù)、顯存占用都跟著漲。我在實際測試中對于單物體生成任務(wù)平面分辨率128到256之間是比較合理的起步區(qū)間再高就需要考慮分塊訓練或者漸進式生成。其次是解碼器的設(shè)計。三平面本身只是特征存儲真正輸出幾何和顏色要靠一個小MLP解碼器。這個解碼器雖然輕量但不能太淺否則高頻率細節(jié)會被直接“抹平”。我傾向于至少用4層帶位置編碼的MLP并在輸入特征之前拼接坐標的低頻和高頻編碼這樣能顯著提升幾何細節(jié)的還原度。還有一個容易被忽略的是空間范圍的規(guī)范化。3D數(shù)據(jù)集的物體尺度差異很大有的物體只有幾十厘米有的好幾米。如果不做歸一化擴散模型會浪費大量生成能力在“尺度猜測”上。通常的做法是把所有資產(chǎn)縮放到一個單位球或單位包圍盒內(nèi)并在訓練時把規(guī)范化的變換矩陣也存下來推理完成后再根據(jù)條件信息恢復真實尺度。3. 讓噪聲學會雕刻3D擴散模型的核心機制拆解3.1 前向過程把3D資產(chǎn)“揉碎”擴散模型的訓練離不開前向擴散過程。對于三平面表示前向過程就是對特征平面逐步加噪。具體來說給定一張來自三平面表示的2D特征圖我們按一個預設(shè)的噪聲調(diào)度器在若干步內(nèi)不斷疊加高斯噪聲直到特征圖完全被噪聲淹沒。這個過程本身不復雜復雜的是如何設(shè)計噪聲調(diào)度。噪聲步數(shù)太少模型學不到從純噪聲恢復細節(jié)的能力步數(shù)太多訓練成本成倍增加?，F(xiàn)在一般用的是余弦調(diào)度或者它在3D任務(wù)上的變體讓噪聲增加速度在中期平緩、在兩端陡峭這樣模型在中期能看到更多“處于合理模糊狀態(tài)”的樣本更容易學到有意義的去噪映射。我在實踐中還會關(guān)注一個細節(jié)噪聲加在哪個特征圖上。三平面有三個正交平面如果所有平面加同樣強度的噪聲相當于假設(shè)三個方向的復雜度一致。但實際上不同類別的物體在三個方向上的復雜度差異很大。比如一把椅子XY平面的結(jié)構(gòu)信息很多XZ平面相對簡單。給三個平面獨立設(shè)置噪聲強度甚至讓模型同時預測三組噪聲殘差效果往往比統(tǒng)一加噪好。這個屬于實現(xiàn)細節(jié)論文里不會寫但影響非常直接。3.2 逆向過程從噪聲長回形狀逆向過程是擴散模型真正干活的階段。推理時我們從三個隨機高斯噪聲平面出發(fā)送入去噪網(wǎng)絡(luò)反復迭代若干步預測每一步應(yīng)該減掉的噪聲最終得到“干凈”的三平面特征圖。拿到干凈的三平面之后再用解碼器稠密查詢空間中的點得到密度場和顏色場最后用marching cubes之類的方法提取成網(wǎng)格資產(chǎn)。去噪網(wǎng)絡(luò)一般沿用2D擴散模型的主流結(jié)構(gòu)比如帶時間步嵌入的U-Net或者DiTDiffusion Transformer。U-Net的優(yōu)勢是卷積的局部性強對幾何細節(jié)敏感DiT的優(yōu)勢是全局建模能力好容易擴展到更大的模型和數(shù)據(jù)量。兩種我都試過結(jié)論是如果算力有限先上U-Net效果好、調(diào)參成本低如果目標就是跨類別大規(guī)模生成DiT的擴展性更值得押注。這里有一個很多人沒注意到的問題三平面雖然被存成2D圖但它不是普通照片。一個特征平面的不同區(qū)域之間天然存在三維空間中的連續(xù)性——比如一個物體表面會在同一平面特征圖上形成連續(xù)的紋理軌跡。因此去噪網(wǎng)絡(luò)不能只按普通圖像處理需要在特征提取的同時保留這種跨通道、跨平面的對應(yīng)關(guān)系。最簡單的做法是特征融合在每個去噪block里把三個平面兩兩組合做一次交叉注意力讓網(wǎng)絡(luò)在去噪時能看到三視圖之間的關(guān)系。這個設(shè)計不算復雜但對生成形狀的完整性提升很明顯。3.3 條件控制與生成自由度擴散模型的另一個核心優(yōu)勢是條件的靈活注入。在3D資產(chǎn)生成場景里我們最想要的控制方式通常是兩種類別標簽控制和條件模態(tài)控制。類別標簽控制最簡單直接把類別編碼拼進時間步嵌入里就行條件模態(tài)控制則更進一步比如輸入一張參考圖、一段文字描述甚至一個粗糙的線稿讓模型生成符合這個條件的3D資產(chǎn)。做條件注入時classifier-free guidance 幾乎是必選方案。它的做法是訓練時隨機丟棄一部分條件信息讓模型同時學會“有條件下生成”和“無條件生成”推理時用兩條路徑的預測結(jié)果做外推從而放大條件信號對生成結(jié)果的影響。這個技巧在2D圖像生成里是扛把子換到3D同樣適用而且效果提升非常直觀——配合這個技巧幾何的類別屬性和風格一致性都會有顯著增強?？刂茥l件是強化生成可控性的關(guān)鍵但它對訓練數(shù)據(jù)的配對要求也更高。公開3D數(shù)據(jù)集里有文本標注的子集比例并不高能做到圖文對和3D資產(chǎn)嚴格對齊的更少。一種妥協(xié)方案是先用無條件的3D擴散模型學幾何分布再在推理時引入一個跨模態(tài)對齊網(wǎng)絡(luò)把文本或圖片特征映射為條件向量。這種兩段式設(shè)計雖然不如端到端優(yōu)雅但解決數(shù)據(jù)缺失問題的效果立竿見影。4. 從單類別到多類別可擴展性的工程實現(xiàn)路徑4.1 數(shù)據(jù)如何組織形狀到什么程度算一個樣本可擴展性的起點是數(shù)據(jù)組織。3D資產(chǎn)和2D圖像最大的不同在于它沒有一個統(tǒng)一的“分辨率”概念。一個網(wǎng)格有頂點數(shù)一個神經(jīng)場有隱層寬度一個三平面有平面分辨率——這些指標彼此不互通。所以第一步要做的是把異構(gòu)數(shù)據(jù)統(tǒng)一成同一種樣本格式。在三平面方案里統(tǒng)一流程大致是對每個原始3D資產(chǎn)先渲染多視角圖像再從多視角圖反向擬合出對應(yīng)的三平面特征稱為“編碼”階段。每個資產(chǎn)最終對應(yīng)三張固定分辨率的特征圖這三張圖就是擴散模型訓練的完整樣本。這一步相當于把各種格式的mesh、點云、神經(jīng)場全部壓縮成標準張量之后無論數(shù)據(jù)來自哪個源模型看到的都是同一空間的數(shù)據(jù)分布。這個編碼階段的質(zhì)量直接決定擴散模型的上限。如果擬合出來的三平面本身就有噪聲或失真后續(xù)擴散模型無論如何都學不出干凈的分布。所以編碼階段不能貪快一般需要足夠的迭代步數(shù)并在損失函數(shù)里加上深度監(jiān)督和正則化確保三平面在幾何上忠實于原始資產(chǎn)。我見過不少團隊在這里為了省時間降低迭代步數(shù)結(jié)果擴散模型的生成質(zhì)量莫名其妙地下降排查半天才發(fā)現(xiàn)是訓練數(shù)據(jù)本身就不干凈。4.2 模型骨架選UNet還是Transformer到了模型規(guī)模這個層面選擇骨干網(wǎng)絡(luò)就不再是“哪個更高效”這么簡單了而是要考慮擴展曲線。UNet加寬加深到一定程度之后增加參數(shù)帶來的收益會迅速衰減DiT這類Transformer架構(gòu)則比較平滑參數(shù)量級從百萬到十億都能保持近似線性的收益。但這不代表無腦上DiT就是對的。DiT需要用大量的數(shù)據(jù)才能發(fā)揮優(yōu)勢3D數(shù)據(jù)的規(guī)模比圖像小幾個數(shù)量級數(shù)據(jù)不足時Transformer更容易過擬合生成結(jié)果會偏向訓練集的平均形狀多樣性反而下降。我的建議是分階段走在原型驗證階段用UNet快速驗證數(shù)據(jù)管道和訓練流程當數(shù)據(jù)規(guī)模和類別數(shù)都上臺階之后再遷移到DiT做大規(guī)模訓練。UNet模型的輸出也可以作為DiT模型的初始化數(shù)據(jù)蒸餾來源實現(xiàn)模型架構(gòu)的無縫升級。另一個和骨干網(wǎng)絡(luò)配套的關(guān)鍵設(shè)計是時間步嵌入和規(guī)模正則。擴散模型的骨干隨著規(guī)模增大對時間步的感知能力要求也越高。如果時間步嵌入的維度不足模型會難以區(qū)分“需要大改”和“只需微調(diào)”的階段導致去噪過程中出現(xiàn)結(jié)構(gòu)性的抖動。這個細節(jié)容易被忽略但當你把模型從幾十M參數(shù)漲到幾百M參數(shù)時時間步嵌入的通道數(shù)基本要翻倍才能維持同等生成質(zhì)量。4.3 兩階段生成與規(guī)?；柧毤毠?jié)真正讓3D資產(chǎn)生成做到“內(nèi)容級”可用往往還需要兩階段策略先粗后細。第一階段用較低分辨率的特征平面生成整體形狀和大致紋理第二階段在條件約束下修復細節(jié)補充高頻信息。兩階段的好處是把問題從“一步到位解決所有像素”轉(zhuǎn)化為“逐步逼近目標”極大降低單次學習的難度。兩階段之間如何銜接也是技術(shù)活。一種方案是讓第二階段的模型以第一階段的輸出作為條件這個條件可以是特征圖的下采樣版本也可以是局部渲染圖。另一種方案是讓兩個階段共享同一個骨干只是在不同分辨率上訓練訓練過程中先用低分辨率預訓練再在高分辨率上微調(diào)。后者在部署上更有優(yōu)勢因為最終推理時只用一個模型省了一半顯存。規(guī)?；柧氝€有幾個不得不提的工程技巧混合精度訓練是必須的但損失縮放需要針對3D特征圖調(diào)整不能用2D圖像任務(wù)的默認值直接套。大規(guī)模訓練時的數(shù)據(jù)采樣要按類別做頻率平衡。3D數(shù)據(jù)集里椅子、桌子這類常見品類樣本極多而一些冷門品類樣本極少如果不做平衡模型會嚴重偏向高頻類別。有條件訓練時的條件丟棄比例不能照搬2D。2D常用的10%丟棄率在3D任務(wù)上容易導致條件信號過弱我測試下來20%到30%之間的表現(xiàn)更穩(wěn)定。這些細節(jié)單獨看都不大但疊加在一起就是“可擴展”和“只能跑通demo”這兩種結(jié)果之間的差距。5. 實操視角一個最小可行3D擴散Demo怎么落地5.1 環(huán)境與數(shù)據(jù)準備如果和我一樣是想先跑通驗證流程我建議不要一開始就上完整的多類別大規(guī)模方案而是先做一個最小可行Demo。目標可以定為給定一個公開3D數(shù)據(jù)集的小規(guī)模子集訓練一個能生成單類別資產(chǎn)的三平面擴散模型。環(huán)境方面我用的是一張24G顯存的卡框架選PyTorch。主要依賴包括diffusers庫負責擴散調(diào)度器和采樣器、以及配套的3D處理庫用于渲染和網(wǎng)格提取。數(shù)據(jù)預處理流程是從原始網(wǎng)格渲染多視角圖然后用一個預訓練編碼器把多視角圖擬合為三平面特征。這里不需要自己從零寫編碼器很多開源實現(xiàn)可以直接復用但要注意開源實現(xiàn)里往往有多環(huán)境耦合問題建議在干凈環(huán)境里重建依賴并驗證編碼器輸出形狀后再進入訓練。5.2 一步步搭建并訓練我的搭建路徑大致分四步第一步準備數(shù)據(jù)管線。把原始網(wǎng)格文件讀進來做縮放歸一化、去掉重復頂點、統(tǒng)一朝向然后渲染多視角圖。渲染分辨率不必太高因為三平面編碼階段本身會做特征壓縮高分辨率渲染只會浪費磁盤。第二步生成三平面訓練集。用編碼器批量轉(zhuǎn)換多視角渲染圖為三平面特征圖。我通常會把每張?zhí)卣鲌D做一次質(zhì)量檢查可視化三平面的RGB通道和密度通道確認幾何輪廓是清晰的而不是一坨模糊色塊。這里發(fā)現(xiàn)問題要比訓練完再查省力得多。第三步搭建去噪模型。第一階段用一個小型U-Net參數(shù)量控制在100M以內(nèi)輸入輸出通道數(shù)對齊三平面特征的通道數(shù)。訓練配置可以直接參考2D擴散模型但要修改噪聲調(diào)度器讓總步數(shù)放寬到2000步左右。3D特征圖的噪聲敏感性比自然圖像高步數(shù)太短會造成生成結(jié)果出現(xiàn)波紋狀偽影。第四步訓練和采樣。訓練完一個checkpoint后用DDIM采樣器生成三平面再用解碼器查詢點云和網(wǎng)格。我第一次跑通全流程時踩了個大坑生成的網(wǎng)格總有一面是塌陷的。排查下來發(fā)現(xiàn)是采樣時只用了三個平面中的兩個第三個平面被采樣器錯誤地當作圖像通道處理。這個教訓讓我意識到三平面擴散雖然復用2D結(jié)構(gòu)但代碼中必須時時保留“三個獨立特征平面”的語義不能把它當成普通三通道圖像處理。5.3 踩坑記錄訓練不穩(wěn)定和生成全黑訓練不穩(wěn)定的問題在3D擴散里非常常見癥狀大約是loss不降或者loss降了但采樣結(jié)果全是噪聲。遇到這種情況我先檢查三平面編碼器的輸出范圍。不同編碼器出來的特征值范圍差異很大有的在0到1有的在-1到1甚至有人會在特征里混入指數(shù)激活。擴散模型對輸入范圍極其敏感如果特征的均值和方差和預訓練2D模型假設(shè)的不一致去噪網(wǎng)絡(luò)會專注于擬合錯誤統(tǒng)計量導致loss虛低但采樣全黑。我建議在進入模型之前對三平面特征做一次均值和方差歸一化并把這個歸一化統(tǒng)計量保存好在推理時反向還原。另一個常見問題是生成結(jié)果雖然形狀合理但紋理區(qū)域出現(xiàn)重復斑紋。這個多半是解碼器的位置編碼頻率設(shè)置太高高頻編碼放大了特征圖中的微小噪聲。調(diào)低最高頻率或者改成可學習頻率基本能解決。還有一個需要特別提醒的三平面和2D圖像的通道順序。把三平面當成三張獨立的圖喂給模型和把它們拼接成一個三維張量喂給模型訓練效果差異巨大。前者每個平面獨立卷積特征之間缺乏交互后者則天然具有平面間的通道注意力。我在最小Demo里選了后者效果明顯更穩(wěn)。6. 常見問題與排查技巧實錄問題現(xiàn)象可能原因解決方案生成結(jié)果全是噪聲/黑塊三平面特征未歸一化或范圍失真統(tǒng)計訓練集特征均值方差訓練前統(tǒng)一歸一化網(wǎng)格某一面塌陷或缺失三平面語義被當作普通張量處理檢查代碼中三張?zhí)卣鲌D的索引映射避免平面混淆生成類別正確但形狀單一數(shù)據(jù)采樣不平衡導致模式坍縮訓練時按類別做加權(quán)采樣增加條件丟棄率紋理出現(xiàn)規(guī)律斑紋解碼器位置編碼頻率過高降低高頻編碼上限或改用可學習位置編碼訓練loss穩(wěn)定但評估指標下降混合精度損失縮放不合適針對3D特征圖重調(diào)loss縮放因子關(guān)閉部分層的低精度計算采樣速度太慢去噪步數(shù)設(shè)置過密換用DDIM采樣器并逐步減少步數(shù)30到50步即可6.1 資源不夠時的曲線救國方案如果沒有24G大顯存第一個想到的肯定是用梯度累積但這只解決“顯存峰值”問題不解決“訓練太慢”問題。實際上還有三條更實用的路。第一條是降低特征平面分辨率64×64起步驗證完loss和采樣流程后再向上提分辨率。這就像先畫草稿再描細節(jié)流程跑通了才值得堆算力。第二條是用現(xiàn)成的2D擴散模型做初始化把骨干網(wǎng)絡(luò)換成預訓練權(quán)重之后3D解碼器和輸入輸出層隨機初始化這樣模型在早期就能利用2D穩(wěn)定特征收斂速度肉眼可見地加快。第三條是從單類別場景起步用一個類的數(shù)據(jù)把整個訓練鏈路打通再逐步加入其他類別。很多多類別訓練中才暴露的問題其實單類別階段就能通過生成質(zhì)量間接發(fā)現(xiàn)。6.2 判斷生成質(zhì)量的三板斧判斷一個3D擴散模型到底行不行光看渲染圖是不夠的渲染角度好看很容易給人錯覺。我常用的三個指標第一看多視角一致性。圍繞生成結(jié)果轉(zhuǎn)一圈如果某個視角突然出現(xiàn)奇怪的凹陷、凸起或者紋理撕裂說明三平面編碼里存在視角不一致這是擴散模型沒學好的典型癥狀。第二看拓撲合理性。生成一個椅子如果出現(xiàn)椅背直接穿模連接椅座哪怕渲染圖再漂亮這個模型也需要重新審視。第三看編輯穩(wěn)定性。把網(wǎng)格導入常規(guī)建模軟件做一次平滑或者重拓撲看生成的密集網(wǎng)格能不能優(yōu)雅地降面。能優(yōu)雅降面的模型才是真正理解了結(jié)構(gòu)否則只是在密度場上“背”出了一個類別的平均值。7. 你可以怎么擴展這個方向7.1 從靜態(tài)資產(chǎn)到動態(tài)資產(chǎn)三平面擴散模型解決的是靜態(tài)資產(chǎn)生成但實際項目里還需要大量動態(tài)資產(chǎn)比如會動的機械臂、人物角色的衣物擺動。擴展思路大致有兩類一類是在三平面之外增加時間軸維度讓擴散模型同時生成多幀特征平面但訓練成本會成倍上升另一類是保持靜態(tài)生成不變在資產(chǎn)生成后才用其他網(wǎng)絡(luò)做動態(tài)變形場預測。后者更符合工程慣例因為它把“形狀生成”和“動態(tài)擺姿”解耦兩個環(huán)節(jié)可以分別優(yōu)化。如果追求效率可以先生成靜態(tài)資產(chǎn)并驗證幾何質(zhì)量再考慮動態(tài)擴展。7.2 與多模態(tài)大模型的交叉擴散模型在3D領(lǐng)域還有一個極具潛力的方向是和多模態(tài)大模型交叉。如果用文本或者圖像作為條件控制3D生成就能實現(xiàn)“給一段描述直接拿回一個可用的3D模型”。這個方向上最大的瓶頸還是在數(shù)據(jù)配對質(zhì)量和數(shù)量但已經(jīng)有越來越多的團隊在嘗試用合成語料擴充圖文到3D的對齊數(shù)據(jù)。我在實際測試中用預訓練的圖文對齊模型生成偽條件向量再喂給3D擴散模型效果比我預期的好。盡管條件向量的質(zhì)量參差不齊但擴散模型的自回歸去噪過程本身就具備一定糾錯能力它能自動忽略部分噪聲條件生成結(jié)果仍然符合幾何常識。這說明3D擴散模型和跨模態(tài)條件注入之間是天然兼容的未來如果能突破數(shù)據(jù)瓶頸這個方向會成為AIGC的核心一環(huán)。7.3 推理加速與輕量化部署就算訓好了模型工程落地還逃不開推理速度問題。擴散模型采樣動輒幾十上百步3D應(yīng)用里還要額外跑解碼器和網(wǎng)格提取延遲很容易讓人失去耐心。我試過幾個加速方案每個都有具體適用場景。訓練階段就加入蒸餾方案是性價比最高的路徑。把多步擴散“蒸餾”成單步或者少步生成相當于讓模型把幾十步的精力壓縮到幾步內(nèi)迸發(fā)出來質(zhì)量會有損失但延遲可以從秒級降到毫秒級。另一種是換用一致性模型架構(gòu)它直接把任意噪聲一步映射到數(shù)據(jù)分布省掉了迭代采樣環(huán)節(jié)缺點是生成多樣性會比全步擴散略低。最后是工程層面的優(yōu)化比如三平面解碼器換成可轉(zhuǎn)成ONNX的模型推理時用GPU并行解碼多個候選點配合網(wǎng)格提取的并行化改造整體吞吐能提升不少。寫在后面從最開始的體素GAN一路做到三平面擴散我的感受是這個方向正在把3D資產(chǎn)生成從一個“玄學活”變成一個“工程活”。以前調(diào)生成模型像碰運氣現(xiàn)在有了擴散模型這套穩(wěn)定的學習框架加上可擴展的3D表示問題更多變成了數(shù)據(jù)和算力的工程問題。我個人在實際操作中最深的體會是不要一開始就追求大模型、大批次先把單類別、低分辨率的小鏈路跑通跑通之后你才會真正理解三平面、噪聲調(diào)度和條件控制之間的微妙關(guān)系。等這個最小系統(tǒng)穩(wěn)定了再去加數(shù)據(jù)、加參數(shù)、加類別才是可規(guī)?；恼_姿勢。后面有時間我打算再寫一篇從兩階段生成推進到文本驅(qū)動3D資產(chǎn)生成的實操記錄繼續(xù)和大家交流。