先說一個業(yè)內(nèi)普遍的感受3D資產(chǎn)生成從“能出圖”進化到“能出模型”這兩年最大的變量就是擴散模型。圖像領(lǐng)域里Diffusion已經(jīng)把生成質(zhì)量拉到了一個以前不敢想的高度但真輪到3D資產(chǎn)生成時直接照搬那套方法論完全不行——數(shù)據(jù)量差著幾個數(shù)量級表示形式五花八門顯存和算力消耗更是另一個世界。3D-Diffusion這類工作的價值就在于它嘗試把“數(shù)據(jù)規(guī)模換質(zhì)量”這條擴散模型的黃金路線真正搬到三維世界里。這篇內(nèi)容解析會圍繞幾個我判斷對工程落地最有價值的問題展開3D擴散模型到底在生成什么、它憑什么實現(xiàn)可擴展、網(wǎng)絡(luò)和訓(xùn)練怎么設(shè)計、復(fù)現(xiàn)時要避哪些坑。想把手上的三維重建、生成式建?；蛘咦詣踊Y產(chǎn)管線往前推一步的同學(xué)應(yīng)該能從里面找到比論文更貼近實操的解讀。1. 項目定位與整體設(shè)計思路1.1 3D資產(chǎn)生成為什么是硬骨頭要理解這項工作的貢獻得先明白3D資產(chǎn)生成和2D圖像生成的本質(zhì)差異在哪里。2D圖像生成能成功很大程度上歸功于“數(shù)據(jù)和表示的統(tǒng)一”。爬蟲抓取幾天就有上億張圖像壓縮成像素網(wǎng)格之后結(jié)構(gòu)整齊劃一卷積網(wǎng)絡(luò)和Transformer都能直接處理。但3D資產(chǎn)完全不是這么回事公開數(shù)據(jù)集的規(guī)模滿打滿算也就幾十萬量級還沒法等比縮小。更麻煩的是格式極度不統(tǒng)一——有掃描重建的網(wǎng)格、有手工建模的CAD模型、有點云、有帶材質(zhì)和不帶材質(zhì)的拓?fù)?、尺度、面片?shù)全都不一樣。還有一個更底層的問題計算機根本沒有一個“普適的3D表示”。圖像天然是二維矩陣但3D形狀可以用體素、點云、三角網(wǎng)格、隱式場來表示每一種都有自己的一套優(yōu)缺點。所以3D生成模型首先面對的是一個“表示選擇”難題這決定了后面所有的網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)和訓(xùn)練流程。我認(rèn)識的一些同行剛上手時習(xí)慣性把2D的UNet換成3D卷積直接訓(xùn)練體素結(jié)果就是生成結(jié)果發(fā)糊分辨率一提上去顯存直接爆炸。這不是算法不行是表示和架構(gòu)不匹配。3D-Diffusion這類工作把“可擴展性”當(dāng)作設(shè)計的第一性約束而不是訓(xùn)練之后再來反思這個立場我認(rèn)為是它最值得學(xué)習(xí)的地方。它的目標(biāo)不是在小數(shù)據(jù)集上講一個玩具故事而是找到一條能靠算力和數(shù)據(jù)規(guī)模堆出質(zhì)量的路。1.2 從“數(shù)據(jù)表示”出發(fā)的方案選型方案選型本質(zhì)上是一次關(guān)于3D表示的艱難權(quán)衡。我根據(jù)自己的實踐把幾個主流候選梳理成一張對比表。表示方式優(yōu)點缺點擴散模型適配度顯式體素網(wǎng)格結(jié)構(gòu)規(guī)則卷積友好顯存隨分辨率立方級增長高頻細(xì)節(jié)上限低簡單直接但分辨率受限點云輕量、原生稀疏、容易獲取無表面連通性后處理成網(wǎng)格麻煩可用但生成結(jié)果不夠完整三角網(wǎng)格工業(yè)界直接可用拓?fù)潆x散難以定義連續(xù)擴散過程很難直接作為擴散模型輸出隱式場占用場/SDF/NeRF連續(xù)表示、支持任意分辨率查詢、多視圖一致性好訓(xùn)練需要采樣或渲染推理需額外提取等值面主流適配方案最順從擴散模型的視角看最關(guān)鍵的需求是“能定義一個連續(xù)的高斯加噪過程”。三角網(wǎng)格是離散的組合結(jié)構(gòu)點云是帶噪聲的無序集合都不好直接套標(biāo)準(zhǔn)的DDPM框架。隱式場不一樣你只要把三維空間采樣成一個個點每個點對應(yīng)“該位置是否被占用”或者“到最近表面的有符號距離”形狀就變成了一組“坐標(biāo)—數(shù)值”對擴散模型的加噪和去噪就在這個場上進行訓(xùn)練目標(biāo)非常干凈。這里有一個工程判斷我覺得特別重要如果選占用場這類表示網(wǎng)絡(luò)就不需要直接處理復(fù)雜的表面拓?fù)渌皇穷A(yù)測每個三維點是實體還是空白?？雌饋砝@了一步實際上大大降低了生成任務(wù)的難度。我這個實踐下來暫時沒有找到比隱式場更適合擴散范式起步的表示方式。1.3 擴散模型在3D上如何重新建模到這一步整體框架就比較清楚了擴散模型的核心邏輯都沒變變的只是它所作用的對象從二維像素矩陣換成了三維采樣場。你可以把空間劃分成比如128×128×128的網(wǎng)格每個采樣點有一個占用值然后把所有點的值拉成一個長向量當(dāng)作擴散模型的輸入。前向過程往這個向量上逐步加高斯噪聲反向過程從一個純噪聲場開始逐步去噪最終恢復(fù)成有意義的形狀場。這跟圖像DDPM在數(shù)學(xué)上沒有本質(zhì)區(qū)別噪聲調(diào)度、目標(biāo)函數(shù)都能沿用成熟的經(jīng)驗。但3D域里有一個2D完全沒有的工程問題場的規(guī)模大得嚇人。一個2563的場單通道就有一千六百多萬個元素比224×224×3的彩色圖像還要高出兩個數(shù)量級。直接對這么長的向量做擴散無論是顯存還是計算量都不可接受。所以設(shè)計上必須有壓縮手段要么分塊訓(xùn)練要么先用一個自編碼器把高維場壓成緊湊的潛碼再在潛空間上做擴散。這也是后面整個3D生成方向演進的伏筆潛空間擴散的思路幾乎是從這里開始扎根的。我自己的理解里3D-Diffusion最核心的貢獻并不是發(fā)明了一個新范式而是把擴散模型從一個不適合直接處理的離散表示里拉出來放到了一個連續(xù)但相對緊湊的空間里這才讓“堆數(shù)據(jù)和算力就能提升質(zhì)量”這件事在3D領(lǐng)域變得有一點點可能性。2. 核心機制與關(guān)鍵技術(shù)拆解這一章拆幾個決定工作成敗的核心機制論文里往往是公式帶過實際工程里全是坑。2.1 前向與反向擴散過程的3D化前向過程很簡單。給定一個3D場x_0按照預(yù)設(shè)的噪聲調(diào)度表β_t每一步執(zhí)行標(biāo)準(zhǔn)的高斯擴散q(x_t | x_{t-1}) N(x_t; sqrt(1?β_t) x_{t-1}, β_t I)形式上看和圖像擴散沒有任何區(qū)別只是x_t的尺寸變成了三維場。因為場的每個坐標(biāo)都是獨立被采樣和預(yù)測的所以網(wǎng)絡(luò)本質(zhì)上學(xué)習(xí)的是一個形狀的概率分布而不是記憶某個固定形狀。反向過程也是標(biāo)準(zhǔn)套路訓(xùn)練一個去噪網(wǎng)絡(luò)ε_θ讓它盡可能準(zhǔn)確地預(yù)測每一步注入的噪聲損失函數(shù)是最小化預(yù)測噪聲和真實噪聲之間的均方誤差。這里我喜歡用一個“刮油漆”的類比來解釋前向相當(dāng)于把一尊雕塑不斷潑上油漆直到完全糊成一塊純色立方體反向過程就是讓網(wǎng)絡(luò)學(xué)著從純色立方體出發(fā)一步步把油漆刮掉直到露出雕塑的輪廓。每一步只需做微小的修正所以比一口氣猜出整尊雕塑要穩(wěn)定得多。實際訓(xùn)練時擴散步數(shù)T的選擇要非常小心。T越大每步的去噪任務(wù)越簡單訓(xùn)練越穩(wěn)但訓(xùn)練和推理開銷都線性上漲。3D域里的網(wǎng)絡(luò)推理本來就重所以我見過不少工程實現(xiàn)會把采樣步數(shù)壓到100步甚至50步配合DDIM這類確定性采樣質(zhì)量上基本能逼近1000步的結(jié)果這算是實用派和原教旨派的一個明顯分界。2.2 網(wǎng)絡(luò)架構(gòu)從UNet到3D稀疏卷積網(wǎng)絡(luò)骨架層面最常見的做法是把2D UNet做3D化移植編碼器逐級下采樣中間是若干分辨率層解碼器上采樣配上skip connection卷積替換成3D卷積歸一化層用GroupNorm這類與batch大小無關(guān)的方案。移植的代碼難度本身不高真正的瓶頸在算力分配。三維卷積的復(fù)雜度跟分辨率之間是立方關(guān)系。2563的場直接用全稠密UNet訓(xùn)練單張中高端卡根本跑不動。我見過的主流緩解方案有兩條路。第一條是降低訓(xùn)練分辨率先用1283甚至643把模型訓(xùn)出來推理后再通過超分辨率模塊或后續(xù)細(xì)化提升細(xì)節(jié)。優(yōu)點是實現(xiàn)最簡單缺點就是高頻幾何細(xì)節(jié)容易丟生成出來的模型總覺得“肉肉的”棱角不夠分明。第二條是借力稀疏化。因為3D場里絕大多數(shù)體素是空的可以只對非空區(qū)域做計算配合稀疏卷積實現(xiàn)內(nèi)存和計算量能省一到兩個數(shù)量級。這個方法的效果很誘人但代碼復(fù)雜度高數(shù)據(jù)預(yù)處理和工程鏈路都要跟著改造對開發(fā)周期要求高。我給一個實用建議想快速理解這套流程先用1283稠密體素跑通一個demo想逼近論文的生成質(zhì)量或者做大類別訓(xùn)練再考慮引入稀疏卷積。不要一開始就被顯存瓶頸嚇退先求跑通再求優(yōu)化。2.3 條件生成與生成的“入口”現(xiàn)在的主流3D生成論文幾乎都會把條件生成作為核心feature原因很現(xiàn)實無條件生成的價值有限游戲、影視、仿真場景都需要可控的生成入口。常見的條件類型可以歸成三類類別標(biāo)簽最簡單把類別embedding拼進網(wǎng)絡(luò)即可適合數(shù)據(jù)集規(guī)模有限時的入門實驗。文本描述用CLIP或類似編碼器把文本轉(zhuǎn)成向量然后通過cross-attention注入到UNet的特征層這是在圖像生成里被驗證過的成熟方案。圖像條件給定單張或多視角圖生成對應(yīng)的3D模型這是“圖片生成3D”pipeline的核心也是最貼近實際設(shè)計流程的條件類型。條件機制在3D和2D之間是高度共通的。如果你已經(jīng)理解了Stable Diffusion里怎么做文本條件的cross-attention那遷移到3D擴散模型上幾乎沒有學(xué)習(xí)成本。唯一要額外注意的是條件編碼器對3D數(shù)據(jù)的適配度大量3D數(shù)據(jù)集沒有現(xiàn)成的文本標(biāo)注經(jīng)常需要先用預(yù)訓(xùn)練視覺模型自動生成描述或者退而求其次用類別標(biāo)簽混著用。我在做數(shù)據(jù)準(zhǔn)備時體會很深數(shù)據(jù)清洗和條件標(biāo)注的質(zhì)量往往比模型結(jié)構(gòu)更能決定最終生成效果的上限。2.4 訓(xùn)練損失與采樣策略里的細(xì)節(jié)3D擴散模型的損失函數(shù)核心是噪聲預(yù)測的MSE這一點跟圖像域完全一樣。但工程實現(xiàn)里有幾個容易被忽略的細(xì)節(jié)我一個個說。時間步embedding要加夠。3D模型的參數(shù)量比2D更大對時間步的感知更容易失效建議使用正弦位置編碼并且在每個下采樣塊和上采樣塊里都注入不要只在入口加一次。噪聲調(diào)度表要自己調(diào)。我對比過線性調(diào)度和cosine調(diào)度在3D場數(shù)據(jù)上cosine明顯更穩(wěn)梯度方差更小。如果你發(fā)現(xiàn)loss下降正常但生成結(jié)果總是一片空白或一片噪聲大概率是β調(diào)的不對尤其要注意β最大值別設(shè)太大。EMA必須開。3D訓(xùn)練每個batch的方差比圖像大得多指數(shù)移動平均能顯著穩(wěn)定生成質(zhì)量。這是2D那邊早就驗證過的經(jīng)驗到了3D場景里依賴程度只會更深不開EMA的模型訓(xùn)練曲線會抖得讓你想罵人。采樣階段純DDPM采樣雖然理論正確但每步都要過一遍大網(wǎng)絡(luò)慢得無法接受。強烈建議用DDIM或類似確定性加速采樣我在實驗里發(fā)現(xiàn)幾乎不掉點推理時間能降到原來的十分之一左右。3. 可擴展性設(shè)計從哪幾個維度落地標(biāo)題里“Scalable”不是隨便放的裝飾詞。真正落地的可擴展性至少要拆成三個維度來理解。3.1 數(shù)據(jù)規(guī)模的可擴展可擴展性的第一個要求是模型不能只“記住”某個小數(shù)據(jù)集而要能從持續(xù)增長的數(shù)據(jù)中學(xué)習(xí)新規(guī)律。這要求數(shù)據(jù)表示、網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練策略都能對新增樣本、新增類別自然適配而不是一加數(shù)據(jù)模型就崩潰。我在實際項目中體會最深的一點是數(shù)據(jù)清洗的優(yōu)先級要遠(yuǎn)高于數(shù)據(jù)量。3D數(shù)據(jù)集里的網(wǎng)格經(jīng)常有尺度不統(tǒng)一、坐標(biāo)系錯亂、內(nèi)部結(jié)構(gòu)殘留、孔洞未封閉等問題。做場表示之前一定要做歸一化對齊流程把所有模型縮放到單位立方體質(zhì)心對齊到坐標(biāo)原點必要時統(tǒng)一朝向再做表面采樣和水密化預(yù)處理。不做這一步訓(xùn)練過程中你會發(fā)現(xiàn)生成結(jié)果里充斥著大量“半殘”形狀像是從非常糟糕的訓(xùn)練樣本里直接學(xué)壞了。3.2 分辨率與類別的可擴展分辨率可擴展在這個方向上的常見做法是先低后高的課程式訓(xùn)練。比如先在643或1283的低分辨率下讓模型學(xué)會整體的結(jié)構(gòu)布局再逐步上采樣到2563。這種兩階段訓(xùn)練比端到端的一次性高分辨率訓(xùn)練穩(wěn)定得多也不容易碰到訓(xùn)練初期就顯存不足的尷尬。類別覆蓋度是另一個判斷可擴展性的好標(biāo)準(zhǔn)。很多3D生成模型在單一類別上效果很好比如只生成椅子時有模有樣但一旦混合到家居場景、機械零件、人體模型這些跨類別數(shù)據(jù)里就開始串類別。一個架構(gòu)是否真的可擴展就看當(dāng)訓(xùn)練類別從10個擴展到100個時平均生成質(zhì)量有沒有明顯下滑。下降幅度小的才是真正能規(guī)?；募軜?gòu)。3.3 算力與部署的可擴展3D生成對顯存的貪婪程度做過的人都懂。一個2563的場已經(jīng)能吃掉接近一張中端卡的全部顯存這讓“可擴展”在工程上多了一層含義能不能在大規(guī)模集群上并行訓(xùn)練以及推理時能不能在低顯存設(shè)備上落地。我有兩個實際部署中的策略可以分享。第一個是分塊推理把空間劃分成若干重疊塊分別采樣場值再在邊緣做羽化融合這樣單卡也能推高分辨率結(jié)果代價只是多花一些時間。第二個是潛空間壓縮先訓(xùn)練一個自編碼器把3D場壓成緊湊的潛向量然后在潛空間做擴散。這個方案犧牲了一點可視化直觀性但換來的是訓(xùn)練和部署成本的顯著下降也是后續(xù)許多3D生成工作的主流路線。4. 實操要點與復(fù)現(xiàn)避坑指南這部分是我自己動手復(fù)現(xiàn)這類方案時最想留下的經(jīng)驗可能比論文里的公式更容易你在實際項目里用到。4.1 最小復(fù)現(xiàn)流程如果你想快速跑通一個最小流程來理解整套機制我建議按下面這個順序一步步來。不用一開始就追求大數(shù)據(jù)集和大模型先讓鏈路完整轉(zhuǎn)起來。第一步準(zhǔn)備一批規(guī)范化后的3D模型。訓(xùn)練集不需要很大幾百個單一類別的模型就足夠把框架跑通。重點是把模型全部縮放到單位立方體統(tǒng)一坐標(biāo)系確保表面是水密的。第二步對每個模型做空間采樣生成占用場或SDF場的訓(xùn)練對。采樣策略上我建議均勻采樣整個三維空間同時額外在表面附近做密集采樣用來增強細(xì)節(jié)學(xué)習(xí)。采樣代碼大概長這樣def sample_occupancy_field(mesh, num_uniform60000, num_surface40000): # 均勻采樣 pts_uniform np.random.rand(num_uniform, 3) occ_uniform compute_occupancy(mesh, pts_uniform) # 表面附近采樣在網(wǎng)格頂點附近加高斯擾動 surface_pts sample_surface(mesh, num_surface) pts_surface surface_pts 0.01 * np.random.randn(*surface_pts.shape) occ_surface compute_occupancy(mesh, pts_surface) pts np.concatenate([pts_uniform, pts_surface], axis0) occ np.concatenate([occ_uniform, occ_surface], axis0) return pts, occ注意占用值的計算必須使用水密網(wǎng)格和射線法或符號距離判斷否則空間內(nèi)外判斷會有嚴(yán)重問題。第三步定義一個3D UNet。輸入是帶噪聲的場樣本輸出是預(yù)測的噪聲場。參數(shù)量從小規(guī)模開始卷積通道數(shù)從32起步不要一開始就往大了堆。第四步按標(biāo)準(zhǔn)DDPM流程訓(xùn)練幾百個epoch。我常用的關(guān)鍵超參數(shù)組合是擴散步數(shù)T1000噪聲調(diào)度用cosine學(xué)習(xí)率1e-4batch size盡可能給滿。EMA權(quán)重衰減系數(shù)設(shè)成0.999。第五步推理時用DDIM加速采樣從純噪聲場開始逐步去噪。得到場之后用Marching Cubes算法提取等值面轉(zhuǎn)成網(wǎng)格。這里等值面閾值的選擇對網(wǎng)格質(zhì)量影響很大占用場一般取0.5附近SDF場取0附近需要根據(jù)訓(xùn)練時的定義微調(diào)。如果過程中發(fā)現(xiàn)生成結(jié)果是一團均勻噪聲或者全空優(yōu)先檢查兩個地方噪聲調(diào)度和輸入取值范圍的匹配程度以及采樣點分布是不是過度偏向了表面。這兩個問題占了大多數(shù)“訓(xùn)練沒效果”的案例。4.2 評估指標(biāo)FID、覆蓋率和多樣性評估3D生成質(zhì)量不能只看渲染出來的圖片好不好看。行業(yè)內(nèi)常用的做法是把生成網(wǎng)格渲染成多視角圖像然后計算FID、覆蓋率COV和最小匹配距離MMD這些指標(biāo)。這里有很關(guān)鍵的一個細(xì)節(jié)渲染視角必須固定。我見過不少項目的評估結(jié)果波動巨大后來排查發(fā)現(xiàn)是渲染相機位置不統(tǒng)一導(dǎo)致的。建議所有生成樣本統(tǒng)一使用同一套相機軌跡比如固定等距旋轉(zhuǎn)的若干個角度保證每個模型獲取圖像的條件一致。另外3D生成里單純看FID很容易失真。FID反映的是分布接近程度不代表單個樣本的可用性。一個模型可能FID很低但生成的形狀都在幾個固定模式附近打轉(zhuǎn)。所以最好配合覆蓋率指標(biāo)看看生成的集合是不是真的覆蓋了訓(xùn)練集中的各類形態(tài)還是只在少數(shù)幾個模式附近反復(fù)抽樣。4.3 常見的三個坑我把實操作業(yè)里踩過、也見過別人踩的坑整理成一張速查表希望幫你省掉幾周的排查時間。問題典型原因解決建議生成的形狀總是半破碎場分辨率太低或訓(xùn)練采樣點分布不均提高場分辨率增加表面附近采樣密度訓(xùn)練loss降了但樣本全是噪聲噪聲調(diào)度β設(shè)置過大改用cosine調(diào)度或縮小β范圍降低學(xué)習(xí)率顯存爆炸全稠密高分辨率場訓(xùn)練分塊推理、改用稀疏卷積、或做潛空間壓縮生成結(jié)果朝向混亂訓(xùn)練集的坐標(biāo)朝向沒有對齊訓(xùn)練前統(tǒng)一做朝向左齊或固定方向歸一化這張表里的每一條都能讓一個看起來完全正確的框架直接翻車。我尤其想強調(diào)朝向?qū)R的問題3D數(shù)據(jù)集的原始朝向千奇百怪有的模型正著擺有的旋轉(zhuǎn)了90度甚至倒置。不對齊的話模型在訓(xùn)練時會花大量容量去學(xué)習(xí)各種朝向的變換最后生成結(jié)果就在各個朝向之間飄忽不定。5. 應(yīng)用場景、變體與未來發(fā)展5.1 在行業(yè)里的典型應(yīng)用位置這類3D擴散生成能力最直接的用武之地是游戲和影視前期的資產(chǎn)快速原型。美術(shù)可以先讓擴散模型生成一批符合粗略描述的模型從中挑選幾版有潛力的基礎(chǔ)形態(tài)再進入精細(xì)雕刻流程。相比從頭建模節(jié)省的時間是質(zhì)變級別的。真正在項目里跑過一遍的人才會理解這就像是給美術(shù)配了一個不知疲倦的靈感實習(xí)生你只需要做選擇和優(yōu)化。另一個重要場景是自動駕駛和機器人仿真。這類系統(tǒng)需要大量形狀多樣、覆蓋極端邊界情況的三維障礙物和目標(biāo)模型人工建模根本跟不上測試集擴張的速度。擴散模型可以在短時間內(nèi)產(chǎn)出大量合乎要求的幾何體雖然是隨機生成的但正因為隨機才能覆蓋各種意想不到的corner case。做3D打印設(shè)計的人也值得關(guān)注。擴散模型生成的隱式場天然是連續(xù)的提取出的網(wǎng)格基本都是封閉水密的用來生成可打印結(jié)構(gòu)比手工建模順暢不少。我在一些創(chuàng)作者社區(qū)里見過有人用類似方法生成燈具外殼、機械零件的原型輸出網(wǎng)格的打印友好度普遍不錯。5.2 從生成走向編輯生成模型解決了“從無到有”的問題但產(chǎn)業(yè)界需求量更大的是“從有到好”——也就是編輯能力。擴散模型框架在這方面有一個天然優(yōu)勢它可以在反向采樣過程中通過引導(dǎo)項classifier guidance或類似機制把形狀推向特定方向從而實現(xiàn)局部修改。比如把椅子的背部改高一點把一個零件的孔改大一點這些操作不需要重新訓(xùn)練模型只需要在采樣時加一個引導(dǎo)梯度。我實際測試過用引導(dǎo)項做局部約束體會是約束強度必須控制在很窄的窗口內(nèi)太強會破壞整體結(jié)構(gòu)一致性太弱則幾乎看不出變化。每個類別、每種修改類型都需要單獨調(diào)參不像文本去噪那樣能粗放式工作。這個特性決定了現(xiàn)階段的編輯能力適合做探索式調(diào)整還沒有到可以交給非專業(yè)人士隨便操作的程度。5.3 主要瓶頸與可能的演化方向盡管這條技術(shù)路線已經(jīng)證明了相當(dāng)強的可擴展性但距離“泛用3D資產(chǎn)生成”還有三道必須跨越的門。第一是表示層的不統(tǒng)一仍然沒有最終答案。隱式場在捕捉高頻細(xì)節(jié)時天生吃虧網(wǎng)格直接生成又難定義連續(xù)擴散過程未來大概率會走向多表示融合先用隱式場生成整體結(jié)構(gòu)再通過可微渲染或優(yōu)化步驟從圖像細(xì)節(jié)上恢復(fù)紋理和微表面結(jié)構(gòu)。第二是紋理和材質(zhì)的缺失。很多早期3D擴散模型只關(guān)注幾何場本身沒有把顏色、材質(zhì)信息納入生成范圍。但一個3D資產(chǎn)能不能直接被下游使用很大程度取決于它有沒有貼圖和PBR材質(zhì)。光有幾何形狀但沒有外觀下游還要額外做一輪成本不低的材質(zhì)配套工作。第三是條件控制的穩(wěn)定性。文本條件、圖像條件、布局條件在2D里已經(jīng)非常強大但在3D領(lǐng)域里因為數(shù)據(jù)模態(tài)稀疏跨模態(tài)對齊還很不穩(wěn)定。我判斷未來一段時間的主要增長點會集中在跨模態(tài)訓(xùn)練數(shù)據(jù)的蒸餾與自動清洗、更高效的標(biāo)注流水線、以及條件注入方式的細(xì)粒度控制。純模型結(jié)構(gòu)優(yōu)化的邊際收益正在讓位于數(shù)據(jù)處理和條件設(shè)計的系統(tǒng)化改進。我個人在實際項目里的體會是這個方向真正的門檻已經(jīng)不在“能不能生成一個形狀”而在于“生成之后怎么無縫接入現(xiàn)有生產(chǎn)管線”。幾何、紋理、語義、交互每一步都在消耗工程成本這不是單一篇論文能一攬子解決的。但退一步說3D擴散生成至少把這條長跑賽道的起點向前挪了很大一截。未來幾年誰能在數(shù)據(jù)管線和條件控制上做出系統(tǒng)化突破誰就更有可能拿到3D資產(chǎn)生成這片藍海的入場券。