具身視頻生成這個(gè)詞最近在搞多模態(tài)和機(jī)器人方向的圈子里熱度漲得非?？臁：芏嗳艘婚_始覺得它無非就是“視頻生成”加了點(diǎn)機(jī)器人動(dòng)作控制真正上手之后才會(huì)發(fā)現(xiàn)它把感知、控制、生成、評(píng)測這些東西全部揉在了一起是一個(gè)全新的交叉課題。國內(nèi)某家頂尖高校的研究團(tuán)隊(duì)跟某家頭部科技公司聯(lián)手放出了一個(gè)新基準(zhǔn)代號(hào)RBench我拿到資料之后斷斷續(xù)續(xù)跟了挺長時(shí)間今天想把里面的評(píng)測邏輯、任務(wù)設(shè)計(jì)、復(fù)現(xiàn)心得一次性寫清楚給正在做具身智能、視頻生成或者多模態(tài)評(píng)測的同行一個(gè)參考。RBench這個(gè)基準(zhǔn)最吸引我的地方不是它又多了多少評(píng)測指標(biāo)而是它終于把“視頻生成得好看”和“任務(wù)能不能落地”這兩件事分開看了。過去大家比的是誰生成的視頻更像真實(shí)世界現(xiàn)在比的是誰生成的視頻能真正指導(dǎo)一個(gè)智能體完成任務(wù)。這個(gè)轉(zhuǎn)變看著不大實(shí)際影響卻非常深從數(shù)據(jù)集設(shè)計(jì)到模型架構(gòu)再到評(píng)測結(jié)果怎么解讀每一層都要重新想一遍。1. 具身視頻生成賽道從“看得見”到“做得了”的躍遷1.1 視頻生成的第三次轉(zhuǎn)向我習(xí)慣把視頻生成的發(fā)展分成三個(gè)階段。第一階段是“長得像”模型能把靜態(tài)圖動(dòng)起來生成幾秒連貫的畫面大家關(guān)注的是清晰度和流暢度。第二階段是“語義對(duì)”模型開始理解文本指令你讓它“一個(gè)人從箱子左側(cè)走過”它能按語義去生成評(píng)測時(shí)用CLIP相似度、文本對(duì)齊這類指標(biāo)看語義匹配度。這兩個(gè)階段的成果很漂亮但跟真實(shí)世界里的物理規(guī)則、動(dòng)作執(zhí)行基本沒什么強(qiáng)綁定。第三階段就是現(xiàn)在正在發(fā)生的視頻生成被當(dāng)作一種預(yù)測工具甚至規(guī)劃工具來用。模型輸入的不再只是一句描述而是一段初始狀態(tài)、一個(gè)明確任務(wù)、一個(gè)可執(zhí)行的動(dòng)作序列它生成的視頻要能“接得住”后續(xù)的控制指令。這個(gè)方向圈內(nèi)有一個(gè)慣用叫法具身視頻生成。它跟普通視頻生成最大的區(qū)別在于生成的單位不是“一段好看的畫面”而是“一個(gè)能在真實(shí)或仿真環(huán)境里落地執(zhí)行的動(dòng)作軌跡的可視化”。RBench正是沖著第三階段去的。它把任務(wù)定義成一個(gè)個(gè)帶動(dòng)作條件、帶執(zhí)行結(jié)果的視頻生成任務(wù)。模型生成完不是直接看視頻主觀質(zhì)量打分而是要放到模擬環(huán)境里驗(yàn)證看它預(yù)測出來的畫面是否真的對(duì)應(yīng)了一條可行的動(dòng)作路徑。這一步的轉(zhuǎn)變等于把視頻生成從“內(nèi)容創(chuàng)作工具”這類身份往“世界模型”的方向硬推了一把。1.2 為什么是現(xiàn)在多模態(tài)強(qiáng)化與World Model合流為什么具身視頻生成這個(gè)方向偏偏是現(xiàn)在火起來我自己總結(jié)下來有三個(gè)原因缺一個(gè)都推不動(dòng)。第一可控視頻生成的能力到臨界點(diǎn)了。擴(kuò)散模型和自回歸模型這兩條技術(shù)路線在生成質(zhì)量、可控性、長范圍穩(wěn)定性上都取得過階段性突破大家發(fā)現(xiàn)“生成”這個(gè)動(dòng)作本身已經(jīng)不是瓶頸瓶頸轉(zhuǎn)移到了“生成之后怎么用”。第二仿真平臺(tái)和物理引擎的成熟度到了一個(gè)可以“半信半疑”的狀態(tài)。早幾年前想在仿真環(huán)境里評(píng)測具身任務(wù)動(dòng)作碰撞、物理穩(wěn)定性、多傳感器同步這些問題夠你調(diào)試一兩個(gè)月。現(xiàn)在主流引擎配合標(biāo)準(zhǔn)化的機(jī)器人模型雖然談不上完全真實(shí)但足夠支撐一個(gè)統(tǒng)一評(píng)測基準(zhǔn)的穩(wěn)定運(yùn)行。RBench選擇走仿真評(píng)測這條路而不是直接上真機(jī)在我看來是非常務(wù)實(shí)的決定。第三World Model的思路在加速成為共識(shí)。如果視頻生成本質(zhì)上是在學(xué)一個(gè)環(huán)境動(dòng)態(tài)模型——給定當(dāng)前狀態(tài)和動(dòng)作預(yù)測下一個(gè)狀態(tài)——那它天然就能跟強(qiáng)化學(xué)習(xí)、模型預(yù)測控制結(jié)合起來。具身視頻生成恰好站在這個(gè)結(jié)合點(diǎn)上。RBench把視頻生成模型放到具身任務(wù)里去評(píng)測實(shí)際評(píng)測的就不只是畫質(zhì)而是模型對(duì)環(huán)境動(dòng)態(tài)的理解能力、對(duì)動(dòng)作關(guān)系的建模能力以及長時(shí)預(yù)測的穩(wěn)定性。這三點(diǎn)合流之后行業(yè)里就出現(xiàn)了一個(gè)很強(qiáng)烈的需求需要有人站出來給具身視頻生成定一個(gè)跟傳統(tǒng)視頻生成完全不同的評(píng)測坐標(biāo)。RBench就是在這個(gè)背景下出現(xiàn)的。2. RBench評(píng)測框架任務(wù)域、數(shù)據(jù)管線與核心評(píng)分機(jī)制2.1 任務(wù)域劃分操作、導(dǎo)航與交互敘事我看過不少具身評(píng)測基準(zhǔn)容易犯的一個(gè)毛病是任務(wù)域過于狹窄或者說任務(wù)類型之間沒有拉開差距。RBench在任務(wù)域設(shè)計(jì)上做得比較聰明它沒有只圍繞“機(jī)械臂抓取”這一個(gè)經(jīng)典場景而是分了三大類。第一類是操作類任務(wù)包括抓取、放取、推拉、插接這類物理交互。這一類任務(wù)的關(guān)鍵能力是對(duì)接觸點(diǎn)、力反饋、遮擋關(guān)系進(jìn)行建模。視頻生成模型要能預(yù)測出物體在接觸前后的狀態(tài)變化手和物體接觸的位置不能飄這是最容易暴露問題的地方。第二類是導(dǎo)航類任務(wù)包括點(diǎn)導(dǎo)航、目標(biāo)導(dǎo)航、條件導(dǎo)航以及一些需要多段路徑規(guī)劃才能到達(dá)目標(biāo)的場景。導(dǎo)航類任務(wù)里視頻模型要處理的關(guān)鍵信息是空間一致性畫面里的走廊、門、家具的相對(duì)位置不能隨著視角移動(dòng)而漂移否則就是典型的世界模型崩潰。第三類是交互敘事類任務(wù)可以理解成把多個(gè)子步驟串在一起完成一個(gè)復(fù)合目標(biāo)比如“把杯子放到托盤上再把托盤端到桌角”。這類任務(wù)連基準(zhǔn)里的真實(shí)機(jī)器人都需要較長時(shí)間來完成視頻模型想要預(yù)測得準(zhǔn)必須建模步驟之間的因果依賴而不是單純靠視覺相似性去蒙。三類任務(wù)放在同一個(gè)框架下既覆蓋了控制層級(jí)里的操作和規(guī)劃又覆蓋了語義層級(jí)里的任務(wù)理解評(píng)測出來的結(jié)果才不會(huì)被單一能力短板帶偏。2.2 數(shù)據(jù)與標(biāo)注協(xié)議多大程度上貼近真實(shí)數(shù)據(jù)這塊RBench最核心的原則是“統(tǒng)一格式、分層標(biāo)注”。統(tǒng)一格式指的是不管任務(wù)是抓取還是導(dǎo)航都會(huì)被表示成一個(gè)標(biāo)準(zhǔn)的結(jié)構(gòu)化指令片段包含初始觀測、目標(biāo)狀態(tài)描述、可行動(dòng)作序列、環(huán)境反饋四部分。這種格式的好處在于評(píng)測方可以很容易地把不同任務(wù)的難度統(tǒng)一量化模型側(cè)也可以把不同任務(wù)抽象成同一種輸入輸出結(jié)構(gòu)。分層標(biāo)注說的是每一個(gè)任務(wù)樣本都會(huì)被貼上三個(gè)維度的標(biāo)簽語義難度、動(dòng)作復(fù)雜度和環(huán)境動(dòng)態(tài)等級(jí)。語義難度衡量的是“人類理解這個(gè)指令有難度”動(dòng)作復(fù)雜度衡量的是“這個(gè)動(dòng)作序列含多少步、對(duì)精度要求多高”環(huán)境動(dòng)態(tài)等級(jí)衡量的是“場景里的物體有沒有運(yùn)動(dòng)、光照有沒有變化”。這三個(gè)維度互不耦合評(píng)測結(jié)果出來之后你能夠非常清楚地定位某個(gè)模型到底是被語義理解難住了還是被動(dòng)作精度卡住了。這種數(shù)據(jù)設(shè)計(jì)有一個(gè)隱蔽的優(yōu)點(diǎn)它允許研究者按自己的需求對(duì)評(píng)測集做子集劃分。比如說我想單獨(dú)驗(yàn)證模型在“高動(dòng)態(tài)環(huán)境復(fù)雜動(dòng)作”下的表現(xiàn)我只需要去組合對(duì)應(yīng)的標(biāo)注子集不需要重新造數(shù)據(jù)。這種靈活性在之前的很多視覺基準(zhǔn)里是不具備的。2.3 評(píng)分機(jī)制比“圖/視頻像不像”更狠的一刀RBench里最讓我印象深刻的是它的評(píng)分機(jī)制不再把“生成質(zhì)量”作為唯一主角。傳統(tǒng)視頻生成評(píng)測看的是FVD、LPIPS、CLIP Score這些指標(biāo)它們衡量的是畫面分布接近程度和語義匹配程度。RBench把這條線往后推了一大步提出了三層評(píng)分結(jié)構(gòu)。第一層叫視覺保真層仍然會(huì)計(jì)算基本的生成質(zhì)量分包括畫面穩(wěn)定性、紋理真實(shí)度、幀間一致性。第二層叫行為合理性層由一個(gè)可學(xué)習(xí)的打分子網(wǎng)絡(luò)對(duì)生成視頻里的動(dòng)作軌跡進(jìn)行顯式評(píng)估判斷物體運(yùn)動(dòng)是否符合物理規(guī)律比如杯子被拿起之后不能懸空、門不能突然穿模。打到這一層很多傳統(tǒng)視頻生成模型就已經(jīng)開始掉分了。第三層才是最核心的執(zhí)行成功率層會(huì)把生成的視頻輸入給一個(gè)模擬器里的執(zhí)行器讓執(zhí)行器來算這條視頻對(duì)應(yīng)的動(dòng)作序列能不能實(shí)際完成任務(wù)。這個(gè)三層結(jié)構(gòu)形成了一條完整的評(píng)價(jià)鏈條從畫面好看到動(dòng)作合理再到任務(wù)可行。每一層都過濾掉一批模型。只靠“畫面剪得漂亮”的模型在第二層和第三層會(huì)暴露原形。這也解釋了為什么RBench的結(jié)果報(bào)告里排名靠前的往往不是那些傳統(tǒng)視頻生成榜單的常見面孔因?yàn)樵u(píng)測的底層邏輯變了模型真正要比的東西也變了。3. 評(píng)測口徑之爭通用指標(biāo)為什么管不住具身任務(wù)3.1 FVD、CLIP相似度在想什么要理解為什么RBench要另起爐灶我得先攤開說說傳統(tǒng)指標(biāo)在想什么。FVD的全稱是Fréchet Video Distance它的思路是把生成的視頻和真實(shí)視頻分別編碼成特征向量然后比較兩個(gè)特征分布之間的距離。說白了就是我這個(gè)分布跟你那個(gè)分布像不像。CLIP Score更直接把視頻幀和文本編碼到同一個(gè)語義空間里測量兩者的余弦相似度。這兩個(gè)指標(biāo)在現(xiàn)代視頻生成技術(shù)里非常有價(jià)值但它們都有一個(gè)隱含前提假設(shè)畫面質(zhì)量高就等于數(shù)據(jù)分布準(zhǔn)語義空間對(duì)齊就等于任務(wù)可執(zhí)行。這個(gè)前提在生成“貓?jiān)诓莸厣洗驖L”這種開放域內(nèi)容時(shí)基本成立因?yàn)樽髡咭鈭D就是畫面本身。但放到具身任務(wù)里前提立刻就崩了。一段視頻可以每一幀都非常真實(shí)但物體在沒有外力的情況下突然移位一段視頻可以和文本指令在CLIP空間里高度匹配但動(dòng)作執(zhí)行到一半就出現(xiàn)物理矛盾。所以傳統(tǒng)指標(biāo)在具身視頻生成這條賽道上能提供的有效信號(hào)非常有限。3.2 具身結(jié)果評(píng)審執(zhí)行閉環(huán)、約束滿足與多視角一致性RBench采用的具身結(jié)果評(píng)審邏輯我覺得可以用三個(gè)關(guān)鍵詞來歸納。第一個(gè)是執(zhí)行閉環(huán)。模型生成的視頻不只是一個(gè)產(chǎn)出物它會(huì)被折算成一條可執(zhí)行策略再去模擬器里跑一遍。跑成功了才是真正的有效生成。這就把視頻生成評(píng)測從“打分制”變成了“過關(guān)制”。第二個(gè)是約束滿足。具身視頻生成模型必須在生成過程中同時(shí)滿足物理約束、場景語義約束和任務(wù)指令約束。RBench的三層評(píng)分結(jié)構(gòu)里每一層都在對(duì)應(yīng)檢查一類約束。物理約束不滿足行為合理性分就低任務(wù)指令約束不滿足執(zhí)行成功率就低。這種顯式的約束檢查是傳統(tǒng)指標(biāo)里幾乎不存在的。第三個(gè)是多視角一致性。具身任務(wù)的觀測視角非常關(guān)鍵很多模型生成的視頻在單一視角下看著沒問題一旦換個(gè)視角物體的相對(duì)位置就亂了動(dòng)作的空間關(guān)系也跟著錯(cuò)亂。RBench在評(píng)測時(shí)會(huì)從多個(gè)視角采樣觀測要求模型在所有這些視角下保持一致的空間結(jié)構(gòu)。這個(gè)度量非常狠因?yàn)樗鼘?duì)模型學(xué)到的三維結(jié)構(gòu)有硬性要求不是二維層面的視覺一致性就能糊弄過去的。3.3 指標(biāo)組合的價(jià)值遠(yuǎn)比單個(gè)SOTA重要還有一個(gè)我想特別強(qiáng)調(diào)的點(diǎn)RBench這套評(píng)測體系里單個(gè)指標(biāo)的絕對(duì)值排名遠(yuǎn)不如指標(biāo)組合之后形成的“能力輪廓”重要。舉個(gè)例子一個(gè)模型在三層評(píng)分結(jié)構(gòu)里都排中游看起來哪一項(xiàng)都不突出但如果把它的視覺保真分和行為合理分放在一起看你會(huì)發(fā)現(xiàn)它可能在“畫面真實(shí)但行為邏輯弱”這個(gè)象限里。這說明它的問題不在生成質(zhì)量而在物理建模下一步優(yōu)化方向應(yīng)該往物理約束那邊偏。另一個(gè)模型可能在執(zhí)行成功率上特別高但視覺保真分一般這說明它靠合成技術(shù)把畫面預(yù)測得“能用”但距離真實(shí)畫面還有距離適合往專有任務(wù)上走而不是直接做開放域生成。這種把多個(gè)指標(biāo)放在一起讀的能力我覺得是RBench比單一指標(biāo)榜單更有價(jià)值的地方。它不只是告訴你誰強(qiáng)誰弱而是告訴你強(qiáng)在哪里、弱在哪里、下一步該往哪修。作為研發(fā)參考這比一個(gè)冷冰冰的SOTA名次有用得多。4. 一個(gè)從業(yè)者的復(fù)現(xiàn)記錄跑通RBench的基本盤與意外4.1 環(huán)境準(zhǔn)備模擬器、動(dòng)作空間與相機(jī)參數(shù)對(duì)不上怎么辦任何基準(zhǔn)真正跑起來都會(huì)遇到一些跟算法無關(guān)但讓你磨掉半條命的工程問題。RBench這套環(huán)境我在復(fù)現(xiàn)首日就撞上了“動(dòng)作空間和相機(jī)參數(shù)不一致”的坑。原因不復(fù)雜。RBench的任務(wù)樣本采集自不同的模擬場景動(dòng)作路徑本身是在統(tǒng)一的機(jī)器人控制框架下記錄的但不同場景的相機(jī)內(nèi)參不是完全一樣的。我一開始圖省事直接加載了統(tǒng)一默認(rèn)相機(jī)參數(shù)結(jié)果所有任務(wù)的前幾幀畫面全是歪的。后來檢查任務(wù)元數(shù)據(jù)才發(fā)現(xiàn)每個(gè)樣本里都已經(jīng)嵌入了對(duì)應(yīng)的相機(jī)初始化參數(shù)只是需要顯式讀出來并覆蓋全局默認(rèn)值。處理辦法也很簡單在加載任務(wù)時(shí)強(qiáng)制用樣本級(jí)camera config覆蓋環(huán)境級(jí)config并且在跑首幀之前先做一次渲染對(duì)齊檢查確認(rèn)觀察空間沒有發(fā)生裁剪。這個(gè)步驟看起來微不足道但如果不做后面的所有評(píng)測數(shù)據(jù)都會(huì)帶著空間偏差。強(qiáng)烈建議所有打算復(fù)現(xiàn)RBench工具鏈的同行把這個(gè)檢查寫進(jìn)初始化流程別信默認(rèn)值。4.2 訓(xùn)練與評(píng)估schema里最容易被忽略的版本問題第二個(gè)讓我折騰了一晚上的問題是評(píng)估腳本和任務(wù)schema的版本匹配。RBench這種還在快速迭代的基準(zhǔn)會(huì)存在一個(gè)任務(wù)定義schema的多個(gè)小版本同時(shí)在外流通的時(shí)期。某個(gè)評(píng)估腳本可能是按照舊版本的輸出格式設(shè)計(jì)的但你加載的評(píng)測數(shù)據(jù)已經(jīng)升級(jí)到新格式最典型的變化就是動(dòng)作序列里面的力矩字段被重命名了或者導(dǎo)航類任務(wù)的目標(biāo)點(diǎn)從絕對(duì)坐標(biāo)改成了相對(duì)觀測坐標(biāo)。我一開始沒注意跑完一批導(dǎo)航任務(wù)之后發(fā)現(xiàn)成功率全是零逐個(gè)檢查才定位到是目標(biāo)點(diǎn)的坐標(biāo)歸一化方式變了。這種問題不會(huì)報(bào)錯(cuò)因?yàn)闆]有語法錯(cuò)誤只在結(jié)果層面表現(xiàn)為“表現(xiàn)異常低”。我的經(jīng)驗(yàn)是在跑批量評(píng)測之前先挑一個(gè)最小任務(wù)樣本做單條診斷打印出動(dòng)作樣本和指令文本跟schema文檔人工比對(duì)一遍。這一步十分鐘之內(nèi)能做完能省掉后面整輪無效實(shí)驗(yàn)的時(shí)間。4.3 采樣不穩(wěn)定的根因確定性、隨機(jī)性與長程一致性真正讓我在復(fù)現(xiàn)過程中卡最久的是視頻生成模型在評(píng)測時(shí)的隨機(jī)性問題注意它不是“結(jié)果時(shí)好時(shí)壞”的小波動(dòng)而是同樣的初始化條件、同樣的種子兩次生成的結(jié)果會(huì)有肉眼可見的差異尤其是到了視頻的后半段。我排查了一圈定位出三個(gè)主要因素。第一個(gè)是采樣器本身帶了隨機(jī)性擴(kuò)散模型在逐步去噪時(shí)如果沒有鎖定噪聲種子那不管你輸入是否一致輸出都會(huì)漂移。第二個(gè)是任務(wù)里可能存在多智能體或環(huán)境動(dòng)態(tài)因素機(jī)器人動(dòng)作在仿真環(huán)境里被物理引擎推進(jìn)時(shí)會(huì)有微小差異這種差異在長序列里會(huì)被逐步放大。第三個(gè)是評(píng)測框架默認(rèn)沒有指定生成器和環(huán)境是否共享隨機(jī)流兩者各自使用自己的隨機(jī)源逆來順受就導(dǎo)致結(jié)果看起來“不收斂”。解決方式也并不高大上就是在運(yùn)行配置里顯式鎖好三層隨機(jī)種子模型推理層的噪聲種子、模擬器物理層的隨機(jī)種子、任務(wù)采樣的樣本種子。鎖完之后長序列的一致性肉眼可見地提升評(píng)測結(jié)果也穩(wěn)定多了。這件事讓我再次意識(shí)到在具身視頻生成這種多系統(tǒng)耦合的評(píng)測里隨機(jī)源的管理本身就是一項(xiàng)核心實(shí)驗(yàn)技能。5. 評(píng)測倒逼模型架構(gòu)設(shè)計(jì)里的三組取舍5.1 動(dòng)作條件是輸入拼接還是交叉注意力RBench的評(píng)測設(shè)計(jì)決定了一件事一個(gè)視頻生成模型如果想拿高分必須認(rèn)真思考動(dòng)作條件到底該往網(wǎng)絡(luò)哪里灌。目前實(shí)踐中常見的有兩種路徑。一種是把動(dòng)作信息拼到文本嵌入向量后面跟文本一起做條件注入。這種做法實(shí)現(xiàn)簡單在短動(dòng)作序列上也能用但缺點(diǎn)是動(dòng)作和視覺特征的交互太淺模型只能學(xué)到“動(dòng)作是某種全局偏好”很難學(xué)到“動(dòng)作發(fā)生在哪個(gè)空間位置”。另一種是交叉注意力注入讓動(dòng)作條件以注意力機(jī)制的方式作用到每一層特征上這相當(dāng)于在每一個(gè)生成步驟上都強(qiáng)制做一次動(dòng)作-視覺對(duì)齊。效果通常更好但訓(xùn)練時(shí)的顯存開銷和計(jì)算量會(huì)明顯上漲。我的傾向是如果任務(wù)偏操作類一定要設(shè)計(jì)成交叉注意力機(jī)制因?yàn)椴僮黝惾蝿?wù)對(duì)空間位置的敏感性非常高全局拼接會(huì)損失空間信息。如果任務(wù)偏導(dǎo)航類動(dòng)作本身對(duì)畫面的影響相對(duì)弱全局拼接在精度上也能湊合性價(jià)比更高。RBench這樣一個(gè)同時(shí)包含操作、導(dǎo)航、復(fù)合任務(wù)的基準(zhǔn)實(shí)際上是在逼著模型架構(gòu)不能一招吃遍天下。5.2 自回歸視頻生成與擴(kuò)散模型在指令速度上的差異評(píng)測跑多了之后我發(fā)現(xiàn)一個(gè)有意思的現(xiàn)象擴(kuò)散類模型在RBench的視覺保真層表現(xiàn)普遍更穩(wěn)自回歸模型在行為合理層和執(zhí)行成功率層的相對(duì)差距會(huì)小一些。這個(gè)結(jié)果其實(shí)跟兩類模型的結(jié)構(gòu)特性高度相關(guān)。擴(kuò)散模型是在一個(gè)固定步數(shù)里逐步去除噪聲它的生成過程更像“從模糊到清晰的修正”所以在幀內(nèi)視覺質(zhì)量上有天然優(yōu)勢短期空間細(xì)節(jié)漂亮。自回歸模型是一幀幀預(yù)測每一步都是在前一步的基礎(chǔ)上追加信息它對(duì)長期依賴的處理能力更強(qiáng)因?yàn)槊恳徊蕉紡?qiáng)制依賴前序輸出。具身任務(wù)里動(dòng)作序列的長期正確性恰恰比單幀細(xì)節(jié)更重要。所以在RBench這種同時(shí)要求畫質(zhì)和長程可執(zhí)行性的場景里只靠單一生成范式是有上限的?，F(xiàn)在圈里討論比較多的混合方案比如用自回歸模型做軌跡主干預(yù)測、用擴(kuò)散模型做局部圖像精修我覺得會(huì)更符合RBench的評(píng)測偏好。這個(gè)思路未來可能會(huì)越來越主流。5.3 策略化世界模型視頻生成不是終點(diǎn)最后提一個(gè)模型側(cè)的方向我認(rèn)為RBench真正想推的是“策略化世界模型”這個(gè)概念。純視頻生成模型的目標(biāo)是生成一個(gè)盡可能真實(shí)的視頻策略化世界模型的目標(biāo)是生成一個(gè)能輔助決策的預(yù)測結(jié)果。這兩者的差異在評(píng)測結(jié)果里能直接反映出來。一個(gè)純視頻生成模型可能在RBench的視覺保真層拿高分但當(dāng)它生成的視頻被折算成策略、送進(jìn)模擬器去執(zhí)行時(shí)成功率會(huì)斷崖式下降。問題就在于模型的損失函數(shù)里根本沒有“任務(wù)能不能完成”這一項(xiàng)。如果往這個(gè)方向想你會(huì)發(fā)現(xiàn)評(píng)測基準(zhǔn)的損失函數(shù)設(shè)計(jì)邏輯會(huì)影響訓(xùn)練時(shí)的優(yōu)化目標(biāo)。以后的主流做法可能不再是先訓(xùn)視頻生成模型、再單獨(dú)接策略網(wǎng)絡(luò)而是直接把任務(wù)成功率作為一項(xiàng)可微目標(biāo)嵌入到生成模型訓(xùn)練里。RBench的出現(xiàn)某種意義上就是在催生這種端到端訓(xùn)練方式的規(guī)范化。至少我自己已經(jīng)在用它來驗(yàn)證各類混合訓(xùn)練方案而不是單純把它當(dāng)做一個(gè)“跑分榜”。6. 筆記里能直接用的經(jīng)驗(yàn)以及下一步怎么玩6.1 先離線后在線評(píng)測序列該怎么安排才省算力RBench的評(píng)測成本不低尤其是執(zhí)行成功率那一層每次都要把生成結(jié)果送進(jìn)模擬器跑真實(shí)交互。我一開始踩過坑不管模型強(qiáng)不強(qiáng)直接全量評(píng)測集跑。結(jié)果效率極低還會(huì)因?yàn)槟Ｐ桶姹静町惍a(chǎn)生大量無效對(duì)比。后來總結(jié)出一套順序效果不錯(cuò)先用三分之一的評(píng)測子集做離線篩選只比較視覺保真和行為合理性兩個(gè)輕量層分?jǐn)?shù)。通過這個(gè)篩選的模型再進(jìn)入完整評(píng)測集跑三次重復(fù)實(shí)驗(yàn)取均值。最后對(duì)排名前五的模型配置再加做一遍長序列導(dǎo)航和復(fù)合交互任務(wù)的重負(fù)載測試。這種“先輕后重、逐層篩選”的順序至少幫我把評(píng)測總耗時(shí)壓掉了一半。算力緊張的小組真的建議走這個(gè)流程。6.2 失敗樣本比成功樣本更值錢在分析RBench結(jié)果時(shí)別只盯著成功率。每一個(gè)執(zhí)行失敗的樣本如果仔細(xì)拆解幾乎都能定位出明確的原因模塊是在視覺預(yù)測階段就已經(jīng)錯(cuò)了還是在行為合理性層沒攔住錯(cuò)誤軌跡又或者是環(huán)境動(dòng)態(tài)相近但生成結(jié)果完全偏移。我每次跑完一批實(shí)驗(yàn)都會(huì)把失敗樣本按這三類原因打標(biāo)簽然后單獨(dú)統(tǒng)計(jì)它們?cè)诓煌蝿?wù)域里的占比。這么做幾次之后我基本能判斷一個(gè)模型的短板藏在語義理解、物理建模還是空間穩(wěn)定性。相比之下只看成功率這張匯總表大概率會(huì)被“整體分?jǐn)?shù)還行”這種表面結(jié)果誤導(dǎo)忽略了具體能力缺陷。6.3 從基準(zhǔn)到產(chǎn)品RBench的邊界與擴(kuò)展思路最后說一句公道話RBench不是一個(gè)萬能標(biāo)尺。它目前評(píng)測的仿真場景相對(duì)可控真機(jī)環(huán)境里的光照變化、物體材質(zhì)差異、隨機(jī)擾動(dòng)這些都比仿真里更惡劣。把一個(gè)模型從RBench高分直接部署到真機(jī)中間還要經(jīng)歷從sim-to-real的分項(xiàng)驗(yàn)證。我的玩法是把RBench當(dāng)作一個(gè)可控的“室內(nèi)測試場”先把基礎(chǔ)能力模型跑明白再結(jié)合自己的仿真環(huán)境做擴(kuò)展。比如給它增加動(dòng)態(tài)障礙物、改變天氣光照參數(shù)、或者在指令里加入更模糊的意圖表達(dá)。這些擴(kuò)展做起來成本不高但能幫你在真實(shí)硬件上少踩很多坑。基準(zhǔn)是起跑線不是終點(diǎn)線這個(gè)心態(tài)我覺得挺重要。自我總結(jié)一句話RBench最讓我受益的地方是它把“視頻生成得好不好”徹底從“任務(wù)做沒做成”里剝了出來然后又用一套坐標(biāo)把它們重新綁在了一起。每個(gè)研究視頻生成或者具身智能的人都值得拿它當(dāng)一面鏡子照一照自己的模型到底是在“畫視頻”還是在“懂世界”。