出門之前家里人給了一句很隨意的話去3號(hào)倉庫看看門有沒有關(guān)順便把門口的箱子拍張照回來。這句話如果給一個(gè)剛接觸無人機(jī)的工程師聽他大概率會(huì)愣住3號(hào)倉庫在哪門長(zhǎng)什么樣看看要飛多近才算看門口的箱子是哪個(gè)箱子光照不好怎么辦如果門是壞的但看起來關(guān)了要不要報(bào)告這類問題不是傳統(tǒng)航跡規(guī)劃能回答的也不是單張圖像的目標(biāo)檢測(cè)能解決的。它要求無人機(jī)把視覺感知、自然語言理解、任務(wù)規(guī)劃和動(dòng)作執(zhí)行串成一條完整鏈路業(yè)內(nèi)叫VLAVision-Language-Action任務(wù)。而面向高層無人機(jī)視覺-語言-動(dòng)作任務(wù)的基準(zhǔn)拆開來看就是一套專門用于評(píng)估這類能力的標(biāo)準(zhǔn)化考試給出一句非結(jié)構(gòu)化的高層指令讓無人機(jī)在未知場(chǎng)景中自主完成然后看它做得到不到位。這篇文章里我會(huì)從任務(wù)設(shè)計(jì)、數(shù)據(jù)生成、評(píng)估指標(biāo)、模型方案、踩坑經(jīng)驗(yàn)幾個(gè)角度把這份基準(zhǔn)的里里外外講透。寫這篇東西的出發(fā)點(diǎn)是最近陸續(xù)有不少團(tuán)隊(duì)在做無人機(jī)大模型相關(guān)的測(cè)試但大家各自定義任務(wù)、自己跑自己的數(shù)據(jù)結(jié)果誰也沒法復(fù)現(xiàn)誰整個(gè)領(lǐng)域反而越來越混亂。如果你正好在做類似的事或者想給自己的VLA模型找一個(gè)相對(duì)公平的橫向?qū)Ρ拳h(huán)境這篇內(nèi)容應(yīng)該能幫你省下不少時(shí)間。1. 為什么高層無人機(jī)任務(wù)需要一個(gè)真正的基準(zhǔn)1.1 從單指令飛行動(dòng)作到語言-認(rèn)知-規(guī)劃閉環(huán)早期無人機(jī)任務(wù)大多集中在“低層控制”層面你告訴我一個(gè)GPS坐標(biāo)我把飛機(jī)飛過去你給我一條軌跡我安全跟蹤。這類任務(wù)的核心是控制精度反應(yīng)時(shí)間要求極高但語義理解幾乎為零。高層任務(wù)完全不同。它天然帶有一層模糊性和時(shí)序性。看看門有沒有關(guān)這句話里沒有一個(gè)數(shù)字、沒有一次提到具體經(jīng)緯度但它隱含至少三個(gè)子任務(wù)定位目標(biāo)門在哪里、狀態(tài)判斷怎么判定開關(guān)、執(zhí)行動(dòng)作飛多近、用什么角度觀察。模型必須先做視覺理解再結(jié)合地理常識(shí)進(jìn)行空間推理最后把它們翻譯成一串可執(zhí)行的動(dòng)作序列。缺少基準(zhǔn)的后果在開發(fā)中非常明顯。我的經(jīng)驗(yàn)是同一個(gè)模型在這個(gè)場(chǎng)景里成功率65%換一個(gè)場(chǎng)景直接掉到20%你根本不知道是視覺分支沒學(xué)到東西還是語言分支理解錯(cuò)了指令又或者純粹是執(zhí)行器不給力。沒有不可控變量的對(duì)照實(shí)驗(yàn)就只能靠感覺調(diào)模型效率極低。1.2 基準(zhǔn)到底在衡量什么無人機(jī)的智商還是執(zhí)行力常有朋友問高層無人機(jī)基準(zhǔn)到底想測(cè)模型哪塊能力我的答案是它盡量隔離測(cè)認(rèn)知能力和執(zhí)行能力但又沒法完全隔離這也是這類基準(zhǔn)最有趣的地方。一個(gè)VLA系統(tǒng)可以拆成三塊感知看到了什么、推理理解了我要做什么、執(zhí)行飛得穩(wěn)不穩(wěn)、動(dòng)作是否有效。如果只給一個(gè)總分感知特別強(qiáng)但推理很弱和推理很強(qiáng)但執(zhí)行很弱的模型可能會(huì)拿同樣的分?jǐn)?shù)這顯然不公平。所以合格的高層基準(zhǔn)至少要把指標(biāo)拆開語義完成度指令要求做的事情最終是否被做了語義正確率任務(wù)做對(duì)了還是做錯(cuò)了哪怕動(dòng)作被執(zhí)行執(zhí)行效率時(shí)間消耗、路徑長(zhǎng)度、電池?fù)p耗控制穩(wěn)定性飛行過程是否安全有沒有大幅震動(dòng)、靠近障礙物。只看成功率太粗糙。比如一個(gè)模型雖然正確識(shí)別了門的位置但懸停時(shí)離障礙物只有30厘米雖然事件成功了這樣的系統(tǒng)放在真實(shí)場(chǎng)景完全不可用?；鶞?zhǔn)的意義就在于把這些細(xì)粒度指標(biāo)變成一個(gè)統(tǒng)一的坐標(biāo)系讓不同團(tuán)隊(duì)的結(jié)果能放在一起比較。2. 核心設(shè)計(jì)思路任務(wù)、數(shù)據(jù)與評(píng)測(cè)協(xié)議2.1 任務(wù)族設(shè)計(jì)指令是純文本動(dòng)作是高語義的設(shè)計(jì)一套高層無人機(jī)任務(wù)基準(zhǔn)最核心的其實(shí)是任務(wù)族分類。用的動(dòng)作空間不需要是遙控級(jí)別的四個(gè)通道而是高層動(dòng)作原語移動(dòng)、懸停、拍攝、檢測(cè)、報(bào)告、跟蹤。指令文本則是自然語言的任意組合。一個(gè)比較完整的任務(wù)族可以參照這張表任務(wù)類型指令示例核心評(píng)估點(diǎn)難點(diǎn)目標(biāo)檢索找到東門附近藍(lán)色的充電樁目標(biāo)定位與識(shí)別區(qū)域較大目標(biāo)可能被遮擋狀態(tài)判斷檢查3號(hào)倉庫的門是否關(guān)閉狀態(tài)判定需要多角度逼近觀察區(qū)域巡邏繞著園區(qū)外圍飛一圈記錄異常路線規(guī)劃與異常檢測(cè)長(zhǎng)時(shí)程任務(wù)異常定義模糊指定拍攝在涼亭上方45度角拍一張全景視角控制與構(gòu)圖需要空間角度計(jì)算遞進(jìn)任務(wù)先找到配電房再檢查里面的儀表讀數(shù)子任務(wù)拆分強(qiáng)時(shí)序依賴前序錯(cuò)誤會(huì)傳導(dǎo)條件任務(wù)如果充電樁被占用去備用機(jī)位等待條件判斷與行為切換需要在線決策每種任務(wù)族都不是隨便編的它們對(duì)應(yīng)真實(shí)巡檢、物流、農(nóng)業(yè)監(jiān)測(cè)場(chǎng)景里的核心需求。設(shè)計(jì)時(shí)還要注意任務(wù)難度梯度簡(jiǎn)單任務(wù)讓模型驗(yàn)證基礎(chǔ)能力困難任務(wù)專門打擊只會(huì)做查詢、不會(huì)做推理的模型。2.2 仿真與數(shù)據(jù)生成億級(jí)指令數(shù)據(jù)的來源真實(shí)無人機(jī)飛行的數(shù)據(jù)采集成本極高飛一次要準(zhǔn)備空域、設(shè)備、人員更別說在真實(shí)環(huán)境里對(duì)語言-動(dòng)作對(duì)進(jìn)行標(biāo)注了。所以這類基準(zhǔn)的數(shù)據(jù)集基本都在仿真環(huán)境里生成。我比較推薦的做法是用一個(gè)支持真實(shí)物理動(dòng)力學(xué)和傳感器噪聲的仿真環(huán)境場(chǎng)景按模塊化方式搭建把建筑、植被、車輛、人物、標(biāo)牌分層存放再通過排列組合生成上千個(gè)不同布局。每個(gè)布局下自動(dòng)放置目標(biāo)物然后通過程序化模板生成指令。指令生成有兩條路線一是模板嵌套。預(yù)定義大量句式骨架再在不改變語義的前提下替換地點(diǎn)詞、物體詞、狀態(tài)詞組合出幾百條指令。優(yōu)點(diǎn)是質(zhì)量可控缺點(diǎn)是容易產(chǎn)生模板味模型可能靠關(guān)鍵詞直接命中結(jié)果而沒有真正理解語義。二是大模型蒸餾。用通用大模型根據(jù)場(chǎng)景生成自然指令再讓標(biāo)注員進(jìn)行一致性校驗(yàn)。這個(gè)方案近年來效果很好尤其適合生成那些語法不完整但人類能懂的口語化指令比如那個(gè)門看下關(guān)了沒。這條路線明顯能拉近仿真數(shù)據(jù)與真實(shí)用戶表達(dá)方式之間的距離。我自己的實(shí)踐建議是混合兩條路線模板保證基礎(chǔ)覆蓋率大模型生成保證多樣性。兩者比例大概在6比4既穩(wěn)定又不套路。2.3 評(píng)測(cè)指標(biāo)成功率、路徑效率與語言忠實(shí)度評(píng)估指標(biāo)的設(shè)計(jì)直接決定模型會(huì)往哪個(gè)方向優(yōu)化。指標(biāo)里我見過最普遍也最容易誤用的是一個(gè)任務(wù)成功率。這里的成功判定本身就很微妙。指令是檢查門是否關(guān)閉無人機(jī)飛到門前懸停了三秒這算成功但它只是看到門框就算嗎如果門在紅外視角下是開著的可見光下看起來像關(guān)著怎么辦所以評(píng)估標(biāo)準(zhǔn)里必須寫清楚什么算完成什么算半完成什么算失敗我稱之為語言忠實(shí)度量表。更細(xì)化的三個(gè)指標(biāo)建議存檔任務(wù)成功率SR完整完成指令的比例。這里需要注意計(jì)算時(shí)是把未達(dá)到目標(biāo)區(qū)域但返回了報(bào)告算成成功還是只有到達(dá)了目標(biāo)位置并且給出正確狀態(tài)報(bào)告才算成功。路徑效率PE理想路徑長(zhǎng)度與實(shí)際飛行長(zhǎng)度之比。防止模型暴力搜索刷成功率飛遍全場(chǎng)總能找到目標(biāo)但實(shí)際沒有實(shí)戰(zhàn)價(jià)值。行為一致性BC執(zhí)行序列是否符合指令的隱含順序比如先檢查再返回不能變成先返回再檢查。高層任務(wù)的順序錯(cuò)誤往往比位置偏差更致命。還有一個(gè)被很多基準(zhǔn)忽略的指標(biāo)是報(bào)告質(zhì)量。無人機(jī)執(zhí)行完任務(wù)后需要返回一條文本報(bào)告報(bào)告里包含的關(guān)鍵信息是否準(zhǔn)確、完整也應(yīng)該納入打分。否則就會(huì)出現(xiàn)模型路徑飛對(duì)了但最終輸出一份含糊報(bào)告過關(guān)的情況。3. 關(guān)鍵技術(shù)拆解VLA模型的三個(gè)關(guān)鍵環(huán)節(jié)3.1 視覺側(cè)如何從圖像序列中提取可量化的狀態(tài)表示視覺模塊在VLA系統(tǒng)里不是單純做目標(biāo)檢測(cè)。它需要提供一個(gè)持續(xù)更新的環(huán)境狀態(tài)因?yàn)楦邔尤蝿?wù)往往持續(xù)幾十秒甚至幾分鐘場(chǎng)景隨無人機(jī)運(yùn)動(dòng)不斷變化。我常用的方案是把輸入幀拆成兩路。一路做高頻率的局部感知專門輸出物體類別、邊界框、語義分割圖頻率盡量高保證低層控制有足夠新鮮的反饋另一路做低頻的全局感知類似視覺Transformer把整張場(chǎng)景圖編碼成環(huán)境記憶向量供規(guī)劃器使用。兩路的輸出合并成結(jié)構(gòu)化的場(chǎng)景狀態(tài)表比如在坐標(biāo)(12.5, 8.3)有一扇門顏色灰色狀態(tài)未知。這一步最大的坑在于時(shí)間一致性。無人機(jī)運(yùn)動(dòng)時(shí)目標(biāo)物在畫面里會(huì)出現(xiàn)、消失、再出現(xiàn)如果視覺模塊把它們當(dāng)成不同物體規(guī)劃層會(huì)完全混亂。所以需要加入基于位置的特征追蹤機(jī)制確保多次出現(xiàn)的同一物體在狀態(tài)表里是同一行記錄。仿真環(huán)境里還會(huì)有一個(gè)隱性問題傳感器噪聲太小。真實(shí)無人機(jī)的視覺會(huì)受運(yùn)動(dòng)模糊、曝光不足、光線急劇變化影響仿真環(huán)境默認(rèn)不擅長(zhǎng)模擬這些。如果基準(zhǔn)希望跨域泛化必須在數(shù)據(jù)生成時(shí)額外注入運(yùn)動(dòng)模糊和光照抖動(dòng)否則模型仿真好、真機(jī)崩。3.2 語言側(cè)指令理解、步驟拆分與意圖澄清語言模塊負(fù)責(zé)把自然語言指令轉(zhuǎn)成結(jié)構(gòu)化任務(wù)描述。這一步過去靠規(guī)則槽位填充現(xiàn)在基本都是大語言模型LLM直接完成。你需要讓LLM輸出兩種東西一是任務(wù)語義表示把目標(biāo)、約束、時(shí)序說清楚二是動(dòng)作序列規(guī)劃直接生成高層原語序列。例如檢查3號(hào)倉庫門是否關(guān)閉可以轉(zhuǎn)成移動(dòng)至3號(hào)倉庫門口 - 懸停 - 多角度拍攝門區(qū)域 - 執(zhí)行關(guān)閉狀態(tài)分類 - 生成狀態(tài)報(bào)告 - 返航。做這一步時(shí)Prompt設(shè)計(jì)比想象中重要。我踩過的坑是直接要求LLM輸出動(dòng)作序列它經(jīng)常會(huì)輸出一些模棱兩可的中間動(dòng)作比如尋找門口這對(duì)下游控制器毫無意義。后來我改成要求JSON格式輸出并顯式聲明動(dòng)作原語集合模型立刻穩(wěn)定很多。另外值得注意的一點(diǎn)是指令可能本身有歧義。檢查門是否關(guān)閉里的關(guān)閉可能是門的物理閉合也可能是設(shè)備系統(tǒng)意義上的關(guān)閉。所以語言模塊最好帶一個(gè)意圖澄清機(jī)制置信度低時(shí)可以在仿真環(huán)境中主動(dòng)詢問或者先飛近目標(biāo)做進(jìn)一步觀察再判斷。目前多數(shù)基準(zhǔn)沒有澄清機(jī)制但我認(rèn)為這是未來評(píng)估的一個(gè)重大加分項(xiàng)。3.3 動(dòng)作側(cè)高層動(dòng)作原語與底層飛行控制的銜接動(dòng)作側(cè)是把規(guī)劃序列變成真實(shí)飛行動(dòng)作的地方它處于一個(gè)尷尬的中間層太細(xì)了規(guī)劃器處理不了太粗了低層控制跟不上。我習(xí)慣把動(dòng)作層分成兩個(gè)子層子層一原語解釋器。它接收高層原語如移動(dòng)至12.5, 8.3, 2.0負(fù)責(zé)生成局部路徑。這里的路徑規(guī)劃需要考慮障礙物、禁飛區(qū)、飛行安全距離一般用采樣類規(guī)劃器加軌跡平滑處理。子層二底層穩(wěn)定控制器。負(fù)責(zé)把路徑點(diǎn)變成油門、俯仰、滾轉(zhuǎn)、偏航指令。仿真環(huán)境里這是現(xiàn)成的但真機(jī)上的PID參數(shù)往往需要重新調(diào)。這里有一個(gè)很容易被忽視的關(guān)鍵點(diǎn)原語之間的銜接。比如從一個(gè)懸停拍攝原語切換到移動(dòng)原語如果控制器切換不順暢無人機(jī)會(huì)有明顯的抖動(dòng)和掉高度影響視覺采集質(zhì)量。所以基準(zhǔn)里的控制器必須帶平滑過渡機(jī)制或者至少在評(píng)估時(shí)統(tǒng)計(jì)切換次數(shù)作為附加指標(biāo)否則性能差距可能是控制器造成的而不是模型造成的。我在實(shí)際調(diào)試中還發(fā)現(xiàn)動(dòng)作層的輸出頻率對(duì)VLA整個(gè)系統(tǒng)影響極大。LLM規(guī)劃器的推理速度慢可能幾百毫秒才能出一個(gè)動(dòng)作但低層控制需要20到50赫茲的指令。中間需要一個(gè)執(zhí)行緩存機(jī)制把上一個(gè)動(dòng)作原語翻譯成一段可連續(xù)執(zhí)行的軌跡確保模型思考期間無人機(jī)不會(huì)懸停不動(dòng)。4. 實(shí)驗(yàn)中的坑與避坑清單4.1 常見問題語言歧義、感知誤導(dǎo)、任務(wù)級(jí)稀疏獎(jiǎng)勵(lì)做基準(zhǔn)測(cè)試最常用的方式是訓(xùn)練一個(gè)VLA模型然后跑指標(biāo)。這里我總結(jié)了幾個(gè)反復(fù)出現(xiàn)的典型問題。第一個(gè)是語言捷徑。模型學(xué)會(huì)了不看視覺直接按指令模板猜答案。比如指令里出現(xiàn)檢查門就往上報(bào)告門已關(guān)閉因?yàn)橛?xùn)練數(shù)據(jù)里關(guān)閉更常見。這聽起來很蠢但在統(tǒng)計(jì)上確實(shí)經(jīng)常出現(xiàn)。解決辦法是在評(píng)測(cè)集里加入對(duì)抗樣本同一個(gè)指令配不同場(chǎng)景如果場(chǎng)景變了結(jié)果不變那基本可以判定模型在走捷徑。基準(zhǔn)設(shè)計(jì)時(shí)要用嚴(yán)格分割的想象場(chǎng)景子集來專門測(cè)這一點(diǎn)。第二個(gè)是感知誤導(dǎo)。仿真環(huán)境的物體材質(zhì)、紋理、光照太干凈模型把藍(lán)色門學(xué)成了藍(lán)色矩形區(qū)域一旦測(cè)試場(chǎng)景加入地面藍(lán)色標(biāo)牌就誤判門的位置。這個(gè)要通過域隨機(jī)化解決把顏色、紋理、陰影在訓(xùn)練時(shí)做大幅擾動(dòng)。第三個(gè)是任務(wù)級(jí)稀疏獎(jiǎng)勵(lì)。高層任務(wù)往往全程只有一個(gè)二值獎(jiǎng)勵(lì)模型很難從零開始在幾十步長(zhǎng)的任務(wù)里學(xué)到有效策略。這時(shí)需要把獎(jiǎng)勵(lì)拆成子目標(biāo)獎(jiǎng)勵(lì)比如前進(jìn)一步到目標(biāo)區(qū)域給一點(diǎn)、畫面中出現(xiàn)目標(biāo)物給一點(diǎn)、完成狀態(tài)判斷給一點(diǎn)。拆的時(shí)候注意別讓模型鉆空子它會(huì)學(xué)到繞圈刷路徑獎(jiǎng)勵(lì)所以有時(shí)還要加一個(gè)反重復(fù)獎(jiǎng)勵(lì)。4.2 實(shí)操經(jīng)驗(yàn)從離線數(shù)據(jù)到在線微調(diào)VLA模型的訓(xùn)練通常分兩步實(shí)際跑實(shí)驗(yàn)時(shí)會(huì)發(fā)現(xiàn)遠(yuǎn)沒有論文里寫的順利。第一步是離線預(yù)訓(xùn)練。用大模型生成的指令-動(dòng)作-圖像三元組做監(jiān)督學(xué)習(xí)讓模型學(xué)會(huì)看到什么應(yīng)該做什么。這個(gè)階段最怕的是數(shù)據(jù)分布差異太大比如訓(xùn)練集里沒有夜晚場(chǎng)景測(cè)試集全是夜晚模型直接撲街。解決方法是預(yù)訓(xùn)練數(shù)據(jù)里主動(dòng)加一定比例的困難場(chǎng)景哪怕它們只占很小的比例。第二步是仿真環(huán)境中在線微調(diào)。讓模型自己行動(dòng)拿結(jié)果反饋?zhàn)鰪?qiáng)化學(xué)習(xí)或DAgger式模仿學(xué)習(xí)。在線階段注意力要放在長(zhǎng)時(shí)程錯(cuò)誤積累上——模型前半段一旦理解錯(cuò)目標(biāo)后面全部白費(fèi)。我的經(jīng)驗(yàn)是先從短任務(wù)開始微調(diào)任務(wù)長(zhǎng)度逐漸增加一步步拉長(zhǎng)模型能穩(wěn)定處理的最大步數(shù)這個(gè)方法比直接端到端長(zhǎng)任務(wù)靠譜得多。還有一個(gè)容易忽略的小細(xì)節(jié)校驗(yàn)導(dǎo)航坐標(biāo)系的漂移。仿真環(huán)境下坐標(biāo)系理論上是統(tǒng)一的但多次復(fù)位后偶發(fā)的累積誤差會(huì)讓模型在長(zhǎng)任務(wù)后段系統(tǒng)性偏航。做實(shí)驗(yàn)前建議加一個(gè)短距離往返航向一致性檢查把這種漂移控制在千分之一以內(nèi)否則評(píng)估結(jié)果會(huì)有水分。4.3 評(píng)測(cè)一致性別讓隨機(jī)性毀掉AB對(duì)比做基準(zhǔn)最煩的事是同一個(gè)模型同一套配置跑了兩次結(jié)果差10個(gè)百分點(diǎn)。仿真環(huán)境里的物理噪聲、隨機(jī)種子、光照變化都會(huì)造成波動(dòng)所以基準(zhǔn)評(píng)測(cè)需要一整套手段保證公平。我的做法是每輪評(píng)測(cè)必須固定隨機(jī)種子和場(chǎng)景初始條件至少重復(fù)跑5到10次取均值并報(bào)告標(biāo)準(zhǔn)差如果模型有隨機(jī)采樣模塊比如規(guī)劃時(shí)的隨機(jī)路徑推理時(shí)也要固定種子或者做溫度參數(shù)調(diào)零評(píng)測(cè)腳本和執(zhí)行環(huán)境使用容器封裝避免不同機(jī)器上物理仿真庫版本不同導(dǎo)致動(dòng)力學(xué)結(jié)果不一致。有個(gè)更隱蔽的坑并行評(píng)估時(shí)的資源競(jìng)爭(zhēng)。很多人在多卡上同時(shí)跑評(píng)測(cè)如果仿真器是CPU密集型的GPU推理和CPU物理仿真在同時(shí)搶資源動(dòng)作響應(yīng)延遲會(huì)大幅波動(dòng)。最后的結(jié)果不是模型能力差而是評(píng)測(cè)環(huán)境差。建議模擬器推理和場(chǎng)景運(yùn)行進(jìn)程分開隔離或者至少記錄每次動(dòng)作的響應(yīng)延遲事后剔除異常值。5. 未來擴(kuò)展從單機(jī)到多機(jī)、從仿真到真實(shí)5.1 多機(jī)協(xié)同的評(píng)估挑戰(zhàn)當(dāng)前主流基準(zhǔn)基本是單無人機(jī)視角但真實(shí)場(chǎng)景里最有價(jià)值的是多機(jī)協(xié)同。從東面繞到倉庫后門看看有沒有異常車輛——如果只有一架無人機(jī)它必須先離開當(dāng)前區(qū)域才能過去中間可能錯(cuò)過其他區(qū)域的變化。如果有兩架無人機(jī)一架留在原地監(jiān)控另一架去后門任務(wù)完成度和信息完整性完全不同。多機(jī)協(xié)同帶來的評(píng)估問題很直接任務(wù)成功歸功于誰兩架飛機(jī)合作完成任務(wù)如果其中一架拉胯了但整體還是成功了性能曲線會(huì)很好看但這不代表每個(gè)單機(jī)都很強(qiáng)。未來基準(zhǔn)需要設(shè)計(jì)專門的協(xié)作效率指標(biāo)比如比較理想情況下需要幾架飛機(jī)完成任務(wù)和實(shí)際使用了多少架這個(gè)比值才能真正反映協(xié)同決策的水平。5.2 視覺-語言-動(dòng)作之外的常識(shí)層現(xiàn)在VLA模型最大的短板不是感知不是動(dòng)作而是常識(shí)。模型知道門是長(zhǎng)方形的但不一定知道門外有積雪時(shí)門可能被凍住打開會(huì)有聲音。這類物理世界常識(shí)目前在數(shù)據(jù)集里幾乎沒有體現(xiàn)。面向真實(shí)落地基準(zhǔn)必須加入常識(shí)推理型任務(wù)。例如如果看到地面有大量水漬繞開那片區(qū)域飛行或者倉庫窗戶破損說明可能有安全問題拍照并報(bào)告。這類任務(wù)對(duì)模型的開放世界知識(shí)要求很高也更能區(qū)分出到底是在做檢索式AI還是推理式AI。這一塊還有一個(gè)隱含問題常識(shí)是有地域和時(shí)間性的。同一個(gè)場(chǎng)景在北方的冬天和南方的雨季常識(shí)判斷完全不同。所以測(cè)試集最好能標(biāo)注場(chǎng)景環(huán)境屬性讓模型表現(xiàn)出對(duì)環(huán)境條件有自適應(yīng)理解。5.3 真正能落地的評(píng)估框架應(yīng)該具備什么如果讓我給做這類基準(zhǔn)的人一個(gè)參考框架我會(huì)說三個(gè)要素穩(wěn)定性、可擴(kuò)展性、真實(shí)性。穩(wěn)定性指評(píng)測(cè)協(xié)議能復(fù)現(xiàn)不能今天是這個(gè)成績(jī)明天是另一個(gè)成績(jī)可擴(kuò)展性指新的任務(wù)族、新的傳感器模態(tài)紅外、毫米波能很方便地加入真實(shí)性指仿真到真實(shí)的遷移能力至少要做sim-to-real的初步驗(yàn)證否則在仿真里刷到99%的成功率也沒有實(shí)際意義。很多基準(zhǔn)項(xiàng)目做到90分都會(huì)撐不住因?yàn)榫S護(hù)成本和拖動(dòng)新場(chǎng)景的成本太高。我比較看好的是**仿真管線真實(shí)場(chǎng)景補(bǔ)測(cè)**的組合模式大部分評(píng)測(cè)在仿真環(huán)境里跑但預(yù)留10%左右的真機(jī)測(cè)試項(xiàng)用來檢驗(yàn)?zāi)Ｐ褪欠癯霈F(xiàn)過擬合仿真特性。這個(gè)比例不需要多但必須有它決定了基準(zhǔn)的公信力。寫在最后的一點(diǎn)體會(huì)做這類基準(zhǔn)一段時(shí)間后我最大的體會(huì)是它比訓(xùn)練模型本身更能逼出問題。很多模型在自定義環(huán)境里看著很強(qiáng)搬到統(tǒng)一評(píng)測(cè)平臺(tái)上一跑逐項(xiàng)指標(biāo)一拆短板立刻現(xiàn)形。語言理解、視覺感知、動(dòng)作執(zhí)行任何一個(gè)環(huán)節(jié)拉胯總分都會(huì)被拖下去。我也越來越傾向于先設(shè)計(jì)評(píng)估、再設(shè)計(jì)模型的開發(fā)路徑先想清楚要在什么維度上獲勝再來選架構(gòu)和數(shù)據(jù)而不是先訓(xùn)一個(gè)大模型再去想它能干什么。拿這個(gè)思路去設(shè)計(jì)VLA系統(tǒng)大概率能少走很多彎路。如果你也在做無人機(jī)VLA類項(xiàng)目建議先別急著上大模型花點(diǎn)時(shí)間把你的任務(wù)定義清楚、評(píng)估協(xié)議定下來這套基礎(chǔ)設(shè)施才是整個(gè)項(xiàng)目最值錢的部分。后續(xù)無論換模型、換數(shù)據(jù)還是換場(chǎng)景你都有一個(gè)穩(wěn)定參照系來支撐判斷。