這話題最近被問(wèn)到太多了。每次去行業(yè)交流只要提到“具身人工智能”這個(gè)詞現(xiàn)場(chǎng)就會(huì)分成兩撥人一撥是搞機(jī)器人和AI的工程師眼睛發(fā)亮另一撥是業(yè)務(wù)側(cè)和市場(chǎng)側(cè)的伙伴禮貌點(diǎn)頭但一追問(wèn)就發(fā)現(xiàn)大家對(duì)這個(gè)詞的理解其實(shí)差得挺遠(yuǎn)。有人覺(jué)得具身智能就是人形機(jī)器人有人覺(jué)得是給大模型裝上手腳還有人干脆把它當(dāng)成智能家居的升級(jí)噱頭。我在跑具身智能相關(guān)項(xiàng)目的這兩年最大的感受是這個(gè)概念的核心不在“人工智能”三個(gè)字而在“具身”兩個(gè)字。加上到了2026年這個(gè)節(jié)點(diǎn)真正卡住落地進(jìn)度的反而不是模型能力而是數(shù)據(jù)基建。這篇東西就把我從技術(shù)選型、場(chǎng)景落地到數(shù)據(jù)管道搭建踩過(guò)的坑完整梳理一遍講清楚具身智能到底是什么、現(xiàn)在能干哪些活、以及數(shù)據(jù)基建到底該怎么搭。1. 具身人工智能到底是什么先別急著貼“人形機(jī)器人”的標(biāo)簽1.1 一句話拆穿“具身”二字具身人工智能英文對(duì)應(yīng) Embodied AI指的是一類能夠通過(guò)身體與環(huán)境持續(xù)交互、并從交互中學(xué)習(xí)和進(jìn)化的智能系統(tǒng)。聽(tīng)起來(lái)有點(diǎn)繞翻譯成大白話就是智能不是一個(gè)懸浮在云端的大腦它需要長(zhǎng)在一個(gè)身體里靠傳感器感知世界靠執(zhí)行器改變世界再靠行動(dòng)結(jié)果來(lái)修正自己對(duì)世界的理解。這和我們熟悉的聊天機(jī)器人有本質(zhì)差別。大模型是“坐在屋里讀過(guò)萬(wàn)卷書(shū)”的秀才能寫(xiě)詩(shī)、能推理、能寫(xiě)代碼但它沒(méi)有手也不知道“把一個(gè)杯子拿起來(lái)”這個(gè)動(dòng)作到底該用多大力氣。具身智能則像是“從小學(xué)徒做起”的老師傅它必須在真實(shí)物理世界里一遍遍試知道杯子會(huì)摔碎、螺絲會(huì)滑絲、門(mén)把手要往下壓才能推開(kāi)。我經(jīng)常用一個(gè)類比語(yǔ)言模型學(xué)的是“關(guān)于世界的描述”具身智能學(xué)的是“應(yīng)對(duì)世界的操作”。前者的知識(shí)來(lái)自互聯(lián)網(wǎng)上的文字和圖片后者的知識(shí)必須有一部分來(lái)自自己的身體感受。正是因?yàn)檫@個(gè)原因2026年大家開(kāi)始認(rèn)真建設(shè)數(shù)據(jù)基建因?yàn)槲淖謹(jǐn)?shù)據(jù)在網(wǎng)上幾乎是無(wú)限供應(yīng)的但“身體和世界互動(dòng)”的數(shù)據(jù)必須一臺(tái)一臺(tái)機(jī)器人、一個(gè)動(dòng)作一個(gè)動(dòng)作去攢。1.2 具身智能、人形機(jī)器人、大模型三者不是一回事做項(xiàng)目規(guī)劃時(shí)最怕的就是把這三個(gè)概念混著用。我用一張表把邊界劃出來(lái)概念核心形態(tài)能力重點(diǎn)本質(zhì)瓶頸大語(yǔ)言模型軟件、無(wú)實(shí)體符號(hào)理解、推理、生成缺乏物理世界的真實(shí)反饋人形機(jī)器人仿人形態(tài)硬件運(yùn)動(dòng)控制、仿人交互成本、可靠性與運(yùn)動(dòng)能力具身智能身體 感知 決策 行動(dòng)循環(huán)從交互中持續(xù)學(xué)習(xí)高質(zhì)量物理交互數(shù)據(jù)短缺人形機(jī)器人只是具身智能的其中一個(gè)載體不是全部。固定工位上的機(jī)械臂、倉(cāng)庫(kù)里的移動(dòng)底盤(pán)、農(nóng)田里的采摘機(jī)器人只要它們具備“感知-決策-執(zhí)行-反饋”這個(gè)閉環(huán)都在具身智能的范疇里。反過(guò)來(lái)一個(gè)人形機(jī)器人如果沒(méi)有智能決策能力只是一臺(tái)遙控機(jī)器那它也只能算高級(jí)硬件不能叫具身智能。把這個(gè)邊界理清楚后面做技術(shù)選型和場(chǎng)景規(guī)劃時(shí)會(huì)少走很多彎路。1.3 為什么 2026 年這個(gè)話題突然被推到臺(tái)前具身智能的學(xué)術(shù)概念早就有但2026年這個(gè)時(shí)間點(diǎn)發(fā)生了變化原因是三方力量同時(shí)到位了。第一通用大模型給機(jī)器人提供了“常識(shí)底座”。以前機(jī)器人做不好“把凌亂的桌面整理好”這種事因?yàn)樗焕斫馐裁唇小傲鑱y”、什么叫“整理”?，F(xiàn)在語(yǔ)言-視覺(jué)多模態(tài)模型提供了場(chǎng)景理解能力機(jī)器人至少能看懂環(huán)境了。第二硬件成本下探到了一個(gè)可以商用的區(qū)間。激光雷達(dá)、深度相機(jī)、六維力傳感器、高精度關(guān)節(jié)模組過(guò)去價(jià)格高得離譜現(xiàn)在雖然還不算便宜但已經(jīng)進(jìn)入中小團(tuán)隊(duì)可以嘗試的區(qū)間。第三也是最關(guān)鍵的純互聯(lián)網(wǎng)數(shù)據(jù)的紅利開(kāi)始見(jiàn)頂。大模型訓(xùn)練已經(jīng)把網(wǎng)絡(luò)上能扒的高質(zhì)量文字和圖片差不多用完了下一個(gè)能產(chǎn)生海量新數(shù)據(jù)的場(chǎng)景恰恰就是機(jī)器人“身體力行”地干活。誰(shuí)先把采集、清洗、標(biāo)注、回流的數(shù)據(jù)基建建起來(lái)誰(shuí)就有機(jī)會(huì)在這波浪潮里站穩(wěn)腳跟。2. 技術(shù)原理拆解從感知、理解到動(dòng)作的閉環(huán)2.1 先建立一個(gè)“大腦 小腦”的分層模型我剛開(kāi)始接觸具身智能時(shí)總想把所有能力塞進(jìn)一個(gè)模型里后來(lái)被現(xiàn)實(shí)教育了?，F(xiàn)在主流方案幾乎都采用分層架構(gòu)對(duì)應(yīng)的可以理解成人的“大腦”和“小腦”。感知層負(fù)責(zé)把傳感器的原始信號(hào)變成結(jié)構(gòu)化信息。攝像頭拍到畫(huà)面還不夠要做物體檢測(cè)、分割、位姿估計(jì)深度點(diǎn)云要轉(zhuǎn)成機(jī)器人坐標(biāo)系下的障礙物和可操作目標(biāo)IMU、關(guān)節(jié)編碼器、觸覺(jué)傳感器這些本體感知數(shù)據(jù)要統(tǒng)一時(shí)間戳。感知層的輸出質(zhì)量直接決定上層決策的天花板。我見(jiàn)過(guò)太多項(xiàng)目模型怎么調(diào)都不對(duì)勁最后發(fā)現(xiàn)是相機(jī)外參標(biāo)定漂了。決策層負(fù)責(zé)把自然語(yǔ)言指令變成可執(zhí)行的動(dòng)作序列。比如“把桌上的紅色馬克杯放到托盤(pán)里”決策層要理解哪個(gè)是紅色馬克杯、托盤(pán)在哪、需不需要先清開(kāi)擋住路徑的雜物。這部分現(xiàn)在大量借用大模型能力擅長(zhǎng)處理開(kāi)放詞匯和長(zhǎng)尾場(chǎng)景?？刂茖迂?fù)責(zé)把抽象的動(dòng)作意圖變成具體的關(guān)節(jié)力矩和軌跡。它需要滿足高頻實(shí)時(shí)性通常在幾十到幾百赫茲運(yùn)行還要處理碰撞規(guī)避、力控柔順、安全保護(hù)這些底線問(wèn)題。控制層如果跟不上上層模型再聰明機(jī)器人也是“心到手不到”。2.2 核心模型路線VLA、Diffusion Policy 與世界模型目前具身智能模型最熱門(mén)的路線是 VLA也就是 Vision-Language-Action視覺(jué)-語(yǔ)言-動(dòng)作模型。它把攝像頭畫(huà)面、語(yǔ)言指令和機(jī)器人狀態(tài)一起輸入模型直接輸出機(jī)器人動(dòng)作。思路很像大語(yǔ)言模型預(yù)測(cè)下一個(gè) tokenVLA 預(yù)測(cè)的是下一個(gè)動(dòng)作向量或者一組關(guān)節(jié)目標(biāo)。我自己跑下來(lái)VLA 有幾個(gè)關(guān)鍵設(shè)計(jì)點(diǎn)特別影響效果。第一個(gè)是動(dòng)作表示方式有些方案直接回歸連續(xù)坐標(biāo)有些方案把動(dòng)作空間離散化成 token 再預(yù)測(cè)后者在開(kāi)源模型里更常見(jiàn)訓(xùn)練更穩(wěn)但精度上限略低。第二個(gè)是動(dòng)作分塊也就是讓模型一次預(yù)測(cè)未來(lái) K 步的動(dòng)作而不是逐幀輸出。這個(gè)改動(dòng)特別實(shí)在避免了一步錯(cuò)步步錯(cuò)的累積誤差也讓動(dòng)作軌跡更平滑我記得第一次把 action chunk 從 1 改成 16 時(shí)任務(wù)成功率肉眼可見(jiàn)地漲了一截。Diffusion Policy 是另一條我比較看好的路線。它把動(dòng)作軌跡當(dāng)成一個(gè)生成問(wèn)題用擴(kuò)散模型從噪聲中一步步“去噪”出合理的動(dòng)作序列。好處是能建模多峰的技能分布——同一個(gè)任務(wù)“從抽屜里拿杯子”人可以把手伸到左邊或者右邊動(dòng)作不是唯一解擴(kuò)散模型天然擅長(zhǎng)這種多模態(tài)動(dòng)作比單純回歸更不容易被平均成一條奇怪的中間軌跡。世界模型則更前沿一點(diǎn)它的目標(biāo)不只是預(yù)測(cè)動(dòng)作而是預(yù)測(cè)環(huán)境在動(dòng)作之后會(huì)變成什么樣。如果機(jī)器人能模擬“把這個(gè)方塊推過(guò)去它會(huì)滑到哪個(gè)位置”就能在決策之前做想象和驗(yàn)證。2026年世界模型更多用在仿真數(shù)據(jù)生成和基于模型的規(guī)劃里離直接端到端部署還有距離但方向我很看好。2.3 Sim-to-Real仿真不是省事是數(shù)據(jù)杠桿技術(shù)原理中繞不開(kāi)的還有仿真訓(xùn)練與 Sim-to-Real 遷移。很多人以為用仿真數(shù)據(jù)就是為了省錢(qián)這個(gè)理解不全面。仿真的真正價(jià)值在于提供數(shù)據(jù)杠桿一個(gè)搭建好的仿真環(huán)境可以并行跑幾百個(gè)實(shí)例幾小時(shí)就產(chǎn)出真機(jī)幾個(gè)月才能攢到的數(shù)據(jù)量。但仿真數(shù)據(jù)有個(gè)致命問(wèn)題就是與真實(shí)世界存在 gap。仿真里的摩擦力、材質(zhì)變形、視覺(jué)光照都跟現(xiàn)實(shí)有偏差直接拿仿真策略上真機(jī)通常會(huì)被現(xiàn)實(shí)殘酷懲罰。我的處理原則是分任務(wù)看待涉及視覺(jué)泛化和運(yùn)動(dòng)學(xué)的任務(wù)先大量用仿真數(shù)據(jù)預(yù)訓(xùn)練涉及精細(xì)操作、柔順控制的任務(wù)仿真只用來(lái)做輔助增廣主力數(shù)據(jù)還得靠真機(jī)采。配合域隨機(jī)化比如隨機(jī)光照、隨機(jī)相機(jī)位置、隨機(jī)物體紋理可以讓策略在仿真里見(jiàn)過(guò)足夠多“奇怪”的情況到真機(jī)上反而更抗造。2.4 數(shù)據(jù)閉環(huán)怎么轉(zhuǎn)起來(lái)具身智能的工程本質(zhì)是把數(shù)據(jù)閉環(huán)跑通。這個(gè)閉環(huán)大概是部署機(jī)器人干活 → 全程記錄傳感器流和執(zhí)行動(dòng)作 → 篩選出有價(jià)值的 episode → 標(biāo)注指令和評(píng)估質(zhì)量 → 微調(diào)模型 → 回到仿真或?qū)嶒?yàn)室評(píng)測(cè) → 再次部署。2026年行業(yè)對(duì)數(shù)據(jù)閉環(huán)的重視程度已經(jīng)慢慢超過(guò)了對(duì)單一模型結(jié)構(gòu)的追逐。原因是大家都發(fā)現(xiàn)了模型結(jié)構(gòu)抄作業(yè)很容易但一套能穩(wěn)定產(chǎn)出高質(zhì)量數(shù)據(jù)的系統(tǒng)必須結(jié)合硬件、軟件、團(tuán)隊(duì)流程才能建起來(lái)。誰(shuí)能把閉環(huán)跑得更快誰(shuí)就能在單位時(shí)間內(nèi)吃進(jìn)更多有效經(jīng)驗(yàn)這就是具身智能時(shí)代的核心競(jìng)爭(zhēng)力。3. 應(yīng)用場(chǎng)景盤(pán)點(diǎn)哪些已經(jīng)賺錢(qián)哪些還在講階段3.1 工業(yè)制造最務(wù)實(shí)、最先出活的場(chǎng)景如果問(wèn)我現(xiàn)在哪個(gè)場(chǎng)景已經(jīng)能算清楚投資回報(bào)我首推工業(yè)制造。汽車總裝線上的螺絲擰緊、3C產(chǎn)線上的小零件上下料、倉(cāng)庫(kù)里的拆垛碼垛這些任務(wù)是結(jié)構(gòu)化的環(huán)境固定、物體種類有限、節(jié)拍要求明確、安全圍欄完備。具身智能在這里的最大優(yōu)勢(shì)是“柔性”傳統(tǒng)自動(dòng)化產(chǎn)線換一個(gè)工件就要重新示教編程具身智能模型換一個(gè)語(yǔ)言描述就能切換任務(wù)這個(gè)差異在離散制造業(yè)里非常值錢(qián)。我見(jiàn)過(guò)一個(gè)做質(zhì)檢的應(yīng)用機(jī)器人通過(guò)視覺(jué)判斷產(chǎn)品表面劃痕和凹陷再配合機(jī)械臂把不良品挑出來(lái)。這個(gè)場(chǎng)景原本用傳統(tǒng)機(jī)器視覺(jué)也能做但遇到幾千種產(chǎn)品型號(hào)時(shí)傳統(tǒng)方案每個(gè)型號(hào)都要單獨(dú)配置算法和參數(shù)具身智能方案只需要換一換語(yǔ)言描述和少量示例數(shù)據(jù)。這里的關(guān)鍵不是機(jī)器人的動(dòng)作多炫而是系統(tǒng)切換成本低。但工業(yè)場(chǎng)景也有它的現(xiàn)實(shí)門(mén)檻合同金額大、驗(yàn)收周期長(zhǎng)、產(chǎn)線安全冗余要求高。小團(tuán)隊(duì)想切入最好先找一個(gè)愿意配合做 POC 的甲方用一到兩個(gè)具體工位跑通閉環(huán)切忌一上來(lái)就承諾“全產(chǎn)線無(wú)人化”。3.2 倉(cāng)儲(chǔ)物流與無(wú)人配送正在從半自動(dòng)走向智能倉(cāng)儲(chǔ)物流是具身智能落地最快的第二梯隊(duì)。無(wú)人叉車、AMR 搬運(yùn)、機(jī)械臂揀選這些環(huán)節(jié)過(guò)去已經(jīng)用自動(dòng)化做了不少事但傳統(tǒng)的自動(dòng)化系統(tǒng)對(duì)環(huán)境變化非常敏感。貨架位置挪了十公分老系統(tǒng)可能就要重新標(biāo)定商品包裝換了款式視覺(jué)分揀系統(tǒng)可能就認(rèn)不出來(lái)了。具身智能在這里解決的是“環(huán)境復(fù)雜但規(guī)則相對(duì)固定”的問(wèn)題。移動(dòng)底盤(pán)用激光雷達(dá)和視覺(jué)做導(dǎo)航機(jī)械臂用 VLA 做隨機(jī)包裹抓取系統(tǒng)能在一個(gè)相對(duì)開(kāi)放的倉(cāng)庫(kù)環(huán)境里持續(xù)工作。從我的觀察看這個(gè)賽道的瓶頸反而不在模型而在機(jī)械臂末端執(zhí)行器的可靠性和抓取的魯棒性。軟包、易碎品、透明塑料袋每一類都給視覺(jué)和夾具設(shè)計(jì)上課。3.3 家庭服務(wù)與商用清潔市場(chǎng)大火候還沒(méi)到家庭服務(wù)機(jī)器人是話題度最高的場(chǎng)景幾乎每個(gè)做具身智能的人都會(huì)被問(wèn)到“你們什么時(shí)候能做家務(wù)機(jī)器人”。我說(shuō)話直接一點(diǎn)家用全自主整理2026年仍然偏早期。原因不是模型不行而是家庭環(huán)境的長(zhǎng)尾太長(zhǎng)一千個(gè)家庭有一千種杯子和抽屜安全要求又極其苛刻。相比起來(lái)商用清潔是更聰明的切入點(diǎn)環(huán)境邊界清晰、地面材質(zhì)統(tǒng)一、夜間可以無(wú)人操作商業(yè)模式也成熟洗地車加上智能避障和自動(dòng)回充已經(jīng)在不少商綜落地了。家用方向我更看好的是“半自主”模式也就是機(jī)器人做一部分、人做一部分在一些高頻低難度的動(dòng)作上先替代人力比如遞水、收拾桌面、給寵物喂食。消費(fèi)者對(duì)這類產(chǎn)品容忍度高一些容錯(cuò)空間也更大。場(chǎng)景成熟度最大瓶頸規(guī)?；瘯r(shí)間預(yù)期工業(yè)質(zhì)檢/上下料較高產(chǎn)線安全與集成成本已開(kāi)始倉(cāng)儲(chǔ)物流分揀中等復(fù)雜抓取與動(dòng)態(tài)環(huán)境未來(lái)1-2年商用清潔中等商業(yè)模式與運(yùn)維已開(kāi)始家庭全自主家務(wù)較低長(zhǎng)尾場(chǎng)景與安全未來(lái)3-5年醫(yī)療護(hù)理與農(nóng)業(yè)較低法規(guī)、可靠性與成本未來(lái)3-5年3.4 醫(yī)療護(hù)理、農(nóng)業(yè)與特種作業(yè)價(jià)值高耐心要足這幾個(gè)場(chǎng)景的共同特征是單點(diǎn)價(jià)值極高但落地周期長(zhǎng)。手術(shù)輔助機(jī)器人屬于被反復(fù)驗(yàn)證過(guò)的方向具身智能讓它從“執(zhí)行固定動(dòng)作”進(jìn)化到“理解手術(shù)意圖并輔助操作”對(duì)感知和力控的要求都是地獄級(jí)。農(nóng)業(yè)方面果實(shí)采摘是典型的非結(jié)構(gòu)化場(chǎng)景光線變化大、果實(shí)遮擋多、采收標(biāo)準(zhǔn)因人而異通用性比工業(yè)場(chǎng)景難很多但勞動(dòng)力缺口大一旦跑通就是剛需。特種作業(yè)比如高壓線路巡檢、地下管廊勘探核心價(jià)值是把人從危險(xiǎn)環(huán)境里替換出來(lái)這些場(chǎng)景往往政策需求強(qiáng)商業(yè)驗(yàn)證期也會(huì)相應(yīng)拉長(zhǎng)。我的建議是創(chuàng)業(yè)團(tuán)隊(duì)別什么都碰選一個(gè)自己能長(zhǎng)期深耕的垂直場(chǎng)景把數(shù)據(jù)和經(jīng)驗(yàn)壁壘做厚比做一個(gè)又酷又泛的通用機(jī)器人穩(wěn)妥得多。4. 數(shù)據(jù)基建具身智能最大的隱形瓶頸4.1 數(shù)據(jù)從哪里來(lái)四條數(shù)據(jù)源和它們的配比2026年大家已經(jīng)形成共識(shí)數(shù)據(jù)是具身智能的石油。但石油也分輕質(zhì)原油和重質(zhì)原油不同來(lái)源的數(shù)據(jù)質(zhì)量、成本和規(guī)模差異巨大。第一條路是真機(jī)遙操作采集。一個(gè)人戴著頭顯、拿著操作手柄遠(yuǎn)程控制機(jī)械臂完成任務(wù)同時(shí)記錄所有傳感器數(shù)據(jù)和動(dòng)作指令。這種數(shù)據(jù)質(zhì)量高因?yàn)樗鎸?shí)的物理反饋對(duì)精細(xì)任務(wù)尤其珍貴。缺點(diǎn)是貴非常貴。一個(gè)熟練操作員一天可能只能采幾十到上百條成功軌跡折算下來(lái)每條數(shù)據(jù)的成本要幾十塊錢(qián)。即便如此它也是精細(xì)操作任務(wù)不可替代的數(shù)據(jù)源。第二條路是仿真合成。用 Isaac、MuJoCo 這類仿真器批量生成數(shù)據(jù)成本低、規(guī)模大、可以自動(dòng)打標(biāo)簽。缺點(diǎn)是存在 sim-to-real gap直接遷移效果有限。我在數(shù)據(jù)獲取策略里一般安排仿真承擔(dān)感知理解和運(yùn)動(dòng)控制類任務(wù)的預(yù)訓(xùn)練真機(jī)數(shù)據(jù)負(fù)責(zé)精調(diào)。第三條路是使用互聯(lián)網(wǎng)視頻和圖文數(shù)據(jù)。海量人類操作視頻能教給模型“物體的物理行為”和“工具的使用意圖”這部分?jǐn)?shù)據(jù)不需要機(jī)器人真的動(dòng)過(guò)手可以先喂給視覺(jué)編碼器做初始化。但它缺少機(jī)器人本體坐標(biāo)系下的動(dòng)作標(biāo)簽只能用來(lái)做表征預(yù)訓(xùn)練不能直接當(dāng)控制數(shù)據(jù)用。第四條路是機(jī)器人自主運(yùn)行中產(chǎn)生的在線數(shù)據(jù)。機(jī)器人在真實(shí)環(huán)境里干活時(shí)傳感器會(huì)記錄大量指令、感知和結(jié)果哪怕不是人為標(biāo)注的高質(zhì)量 episode也可以用來(lái)做后訓(xùn)練和強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)判斷。這條路起步慢但隨著部署量增加它會(huì)成為最有壁壘的數(shù)據(jù)來(lái)源。我的建議是新項(xiàng)目落地?cái)?shù)據(jù)源配比可以參考“仿真預(yù)訓(xùn)練為主真機(jī)精調(diào)為核心互聯(lián)網(wǎng)數(shù)據(jù)做初始化”等真機(jī)部署量上來(lái)后再逐步降低仿真占比。4.2 一個(gè) episode 數(shù)據(jù)結(jié)構(gòu)長(zhǎng)什么樣說(shuō)到數(shù)據(jù)基建第一步是定義你的數(shù)據(jù)格式。我強(qiáng)烈建議團(tuán)隊(duì)在新項(xiàng)目第一天就統(tǒng)一全鏈路的數(shù)據(jù)協(xié)議不然后面每個(gè)環(huán)節(jié)都在“翻譯”數(shù)據(jù)極其痛苦。一個(gè)標(biāo)準(zhǔn)的機(jī)器人操作 episode 一般包含觀察序列、動(dòng)作序列、語(yǔ)言指令和元信息四大部分。用 JSON 示意大概是這樣{ episode_id: grasp_red_mug_0012, robot: arm_ur5e_gripper_robotiq, environment: lab_table_2026, task_instruction: 把紅色馬克杯放到托盤(pán)中央, observations: [ { timestamp_ms: 0, head_camera_rgb: path/to/frame_0000.jpg, depth: path/to/depth_0000.npy, joint_positions: [0.1, -0.5, 1.2, 0.3, 0.8, -0.2], end_effector_pose: [0.42, 0.15, 0.25, 3.14, 0.0, 1.57], gripper_state: 0.08 } ], actions: [ { timestamp_ms: 0, target_joint_positions: [0.12, -0.48, 1.18, 0.31, 0.79, -0.21], target_gripper: 0.06 } ], metadata: { collection_method: teleoperation, success: true, operator_id: op_07, difficulty: moderate } }這個(gè)結(jié)構(gòu)背后有幾個(gè)關(guān)鍵設(shè)計(jì)要求。第一觀察和動(dòng)作必須按時(shí)間戳對(duì)齊控制率一般是幾十赫茲感知幀率可能只有十幾赫茲數(shù)據(jù)管線里要能對(duì)齊到同一個(gè)時(shí)間軸。第二本體感知信息一定不能省很多團(tuán)隊(duì)只存相機(jī)畫(huà)面等到訓(xùn)練時(shí)才發(fā)現(xiàn)缺少關(guān)節(jié)角度模型根本學(xué)不會(huì)“自己當(dāng)前是什么姿勢(shì)”。第三語(yǔ)言指令要和具體操作的開(kāi)始結(jié)束幀對(duì)應(yīng)上否則指令與行為在時(shí)序上錯(cuò)位訓(xùn)練效果會(huì)大打折扣。4.3 標(biāo)注與后處理沒(méi)被數(shù)據(jù)氣哭過(guò)不算做過(guò)具身智能數(shù)據(jù)采集只是開(kāi)始后面的標(biāo)注和清洗才真正費(fèi)人。具身智能的標(biāo)注比純視覺(jué)標(biāo)注復(fù)雜得多因?yàn)樗恢皇墙o物體框一個(gè)名字還要標(biāo)“這個(gè)動(dòng)作在這個(gè)時(shí)間點(diǎn)是否有效”“這條軌跡是否完成了任務(wù)”“物體在被抓取前后的狀態(tài)變化”。我最開(kāi)始做數(shù)據(jù)平臺(tái)時(shí)犯過(guò)一個(gè)典型錯(cuò)誤就是太信任自動(dòng)生成的時(shí)間段切割。后來(lái)發(fā)現(xiàn)遙操作員在猶豫時(shí)手會(huì)抖那段軌跡又慢又亂如果不清洗模型學(xué)到的就是“人類猶豫時(shí)的手抖”。清洗規(guī)則里一定要考慮幾個(gè)維度軌跡成功與否、運(yùn)動(dòng)是否平滑、物體是否發(fā)生預(yù)期狀態(tài)變化、指令和動(dòng)作是否一致性對(duì)齊。失敗示范要不要保留我的經(jīng)驗(yàn)是要但要單獨(dú)標(biāo)記。只喂成功示范的模型像沒(méi)經(jīng)歷過(guò)挫折的小孩一遇到?jīng)]見(jiàn)過(guò)的位形就容易出錯(cuò)適當(dāng)混入失敗示范可以學(xué)到糾錯(cuò)行為。不過(guò)失敗示范比例太高模型會(huì)學(xué)會(huì)“半途放棄”我一般控制在成功:失敗為 8:2 左右。4.4 數(shù)據(jù)平臺(tái)的關(guān)鍵模塊存儲(chǔ)、版本、檢索、評(píng)測(cè)具身智能的數(shù)據(jù)平臺(tái)和傳統(tǒng)機(jī)器學(xué)習(xí)特征平臺(tái)有相似之處但多模態(tài) 時(shí)間序列讓工程復(fù)雜度上升不少。一個(gè)能長(zhǎng)期用的數(shù)據(jù)基建至少要包含四個(gè)模塊。存儲(chǔ)層可以用對(duì)象存儲(chǔ)加時(shí)序索引原始數(shù)據(jù)保持不動(dòng)方便回溯。版本層特別重要你需要給數(shù)據(jù)集打版本訓(xùn)練時(shí)記錄用的是哪個(gè)版本的數(shù)據(jù)否則模型效果明明漲了回看時(shí)卻搞不清是數(shù)據(jù)變了還是模型變了。檢索層要有因?yàn)橐鲩L(zhǎng)尾分析和錯(cuò)誤分析比如“找出所有在被子里抓取失敗的數(shù)據(jù)”沒(méi)有檢索能力你只能一遍遍翻錄屏。評(píng)測(cè)層更是必不可少要持續(xù)保留一個(gè)固定的“黃金評(píng)測(cè)集”任何模型改動(dòng)都先跑這個(gè)評(píng)測(cè)集防止調(diào) A 任務(wù)把 B 任務(wù)搞崩。4.5 一條最小可用的數(shù)據(jù)流水線實(shí)操指南很多團(tuán)隊(duì)在數(shù)據(jù)基建上糾結(jié)要不要上大平臺(tái)我的建議是先從一條最小可用的流水線開(kāi)始跑順了再擴(kuò)容。參考路徑如下第一步定一個(gè)基準(zhǔn)任務(wù)集。一開(kāi)始不需要多5到10個(gè)有代表性的操作任務(wù)覆蓋抓取、放置、開(kāi)門(mén)、倒水、疊布這些常見(jiàn)動(dòng)作類型。第二步統(tǒng)一錄制配置。固定相機(jī)位置、控制頻率、存儲(chǔ)格式把傳感器標(biāo)定一次并記錄標(biāo)定結(jié)果。第三步做一個(gè)數(shù)據(jù)可視化校驗(yàn)工具。這一步別省哪怕只是一個(gè)能逐幀回放圖像和動(dòng)作數(shù)據(jù)的網(wǎng)頁(yè)工具也行。沒(méi)有它數(shù)據(jù)問(wèn)題會(huì)被埋到訓(xùn)練后才暴露排查成本翻倍。第四步寫(xiě)自動(dòng)化質(zhì)量篩選腳本。自動(dòng)檢測(cè)軌跡中斷、關(guān)節(jié)超限、動(dòng)作突變、畫(huà)面丟幀這些問(wèn)題把明顯壞的數(shù)據(jù)先踢出去。第五步人工或半自動(dòng)標(biāo)注語(yǔ)言指令和任務(wù)結(jié)果。我見(jiàn)過(guò)不少團(tuán)隊(duì)卡在標(biāo)注這里其實(shí)可以先讓大模型根據(jù)視頻抽取指令草案再由人工修改效率能提升不少。第六步每次模型訓(xùn)練前固定數(shù)據(jù)版本訓(xùn)練后把評(píng)測(cè)結(jié)果記錄回?cái)?shù)據(jù)平臺(tái)。就這樣一個(gè)最小的閉環(huán)支撐30人以內(nèi)團(tuán)隊(duì)的迭代綽綽有余。5. 2026年落地現(xiàn)狀與工程化避坑指南5.1 技術(shù)路線里哪些是“真貨”被各種發(fā)布會(huì)轟炸之后大家很容易把“demo 效果好”和“產(chǎn)品可用”混為一談。拆開(kāi)來(lái)看目前技術(shù)路線里真正經(jīng)得住工程檢驗(yàn)的其實(shí)是這么幾類。第一類大規(guī)模預(yù)訓(xùn)練 VLA 做小范圍技能。比如固定工位上的分揀、拿取、放置在場(chǎng)景受限時(shí)效果足夠好能用自然語(yǔ)言切換任務(wù)。但它還遠(yuǎn)遠(yuǎn)做不到“進(jìn)到任何家庭都能干活”長(zhǎng)尾泛化仍然是老大難。第二類LLM 規(guī)劃器 底層控制策略的分層方案。上層用大模型做任務(wù)分解底層用傳統(tǒng)的軌跡規(guī)劃或?qū)W習(xí)型策略執(zhí)行。這種路線工程可控性強(qiáng)出問(wèn)題能定位到具體環(huán)節(jié)產(chǎn)品團(tuán)隊(duì)比較容易接受。第三類傳統(tǒng)機(jī)器人學(xué) 學(xué)習(xí)型殘差。在原有的運(yùn)動(dòng)規(guī)劃控制框架基礎(chǔ)上疊加一個(gè)學(xué)習(xí)型網(wǎng)絡(luò)去補(bǔ)償模型誤差和動(dòng)態(tài)變化。說(shuō)實(shí)話2026年真正量產(chǎn)部署的方案里很多走的是這條路雖然不夠炫但穩(wěn)定。我個(gè)人的判斷是中小團(tuán)隊(duì)別一上來(lái)就賭端到端大模型。先用分層架構(gòu)把產(chǎn)品跑起來(lái)同時(shí)把數(shù)據(jù)飛輪轉(zhuǎn)起來(lái)等數(shù)據(jù)量到了某個(gè)量級(jí)再逐步把更多環(huán)節(jié)替換成數(shù)據(jù)驅(qū)動(dòng)的模型成功率會(huì)高得多。5.2 最容易翻車的五個(gè)工程問(wèn)題數(shù)據(jù)不同步。相機(jī)圖像、關(guān)節(jié)狀態(tài)、動(dòng)作指令如果不帶統(tǒng)一時(shí)間戳訓(xùn)練時(shí)模型就會(huì)學(xué)到“看圖晚了一拍再動(dòng)手”的壞習(xí)慣。解決方法是數(shù)據(jù)采集端用統(tǒng)一時(shí)鐘源離線再對(duì)每幀打上亞毫秒級(jí)時(shí)間戳。相機(jī)標(biāo)定漂移。機(jī)械臂劇烈運(yùn)動(dòng)或長(zhǎng)期使用后手眼標(biāo)定容易發(fā)生變化機(jī)器人認(rèn)為的物體位置和真實(shí)位置對(duì)不上。我踩過(guò)這個(gè)坑模型在標(biāo)定時(shí)沒(méi)事過(guò)了兩周突然抓偏排查半天才發(fā)現(xiàn)是緊固螺絲松了。標(biāo)定狀態(tài)一定要監(jiān)控定期做自動(dòng)校驗(yàn)。任務(wù)指令歧義。同一個(gè)“整理桌面”指令操作員甲理解成把水杯擺齊操作員乙理解成把垃圾扔掉采出來(lái)的數(shù)據(jù)就是一堆矛盾示范。必須在采集任務(wù)書(shū)中明確定義指令和成功標(biāo)準(zhǔn)最好配圖片示意。評(píng)測(cè)指標(biāo)騙人。只看任務(wù)成功率會(huì)掩蓋很多問(wèn)題比如機(jī)器人“碰巧”把杯子推倒算不算成功要定義真正的狀態(tài)變化指標(biāo)比如物體最終位置、姿態(tài)是否符合要求。部署環(huán)境變化。訓(xùn)練時(shí)桌面光照恒定部署時(shí)拉了窗簾模型就不認(rèn)識(shí)了。這類問(wèn)題要靠域隨機(jī)化和部署前的快速評(píng)測(cè)解決別指望模型能憑空學(xué)會(huì)在所有環(huán)境下都工作。5.3 團(tuán)隊(duì)配置與成本小團(tuán)隊(duì)怎么起步具身智能項(xiàng)目最勸退人的就是“什么都要會(huì)”。我建議一個(gè)最小配置至少要有四類角色模型工程師負(fù)責(zé)數(shù)據(jù)處理和模型訓(xùn)練調(diào)優(yōu)機(jī)器人工程師負(fù)責(zé)硬件、運(yùn)動(dòng)控制和系統(tǒng)集成數(shù)據(jù)工程師負(fù)責(zé)采集工具、存儲(chǔ)和清洗流程再加幾個(gè)數(shù)據(jù)采集標(biāo)注操作員。這四個(gè)人可以不全職但一定不能缺位。成本方面第一批預(yù)算大頭在硬件和采集環(huán)境。一臺(tái)靠譜的機(jī)械臂加夾爪和傳感器套裝幾萬(wàn)到十幾萬(wàn)不等移動(dòng)底盤(pán)另算。第二大頭是算力微調(diào)一個(gè)中等規(guī)模的 VLA 模型如果只是少量數(shù)據(jù)精調(diào)租幾臺(tái)帶 A 卡的服務(wù)器就夠要是從零訓(xùn)練大模型成本另說(shuō)不建議小團(tuán)隊(duì)嘗試。存儲(chǔ)反而是相對(duì)便宜的原始數(shù)據(jù)先壓縮保存按 TB 級(jí)規(guī)劃預(yù)算壓力不大。給預(yù)算緊張團(tuán)隊(duì)的最樸素建議先買(mǎi)一臺(tái)單臂固定在工作臺(tái)上配深度相機(jī)和數(shù)據(jù)采集手柄把一個(gè)窄場(chǎng)景做深。我見(jiàn)過(guò)太多公司第一款產(chǎn)品就是人形機(jī)器人步履蹣跚、成本失控、數(shù)據(jù)采不動(dòng)。起步越小閉環(huán)越短活下來(lái)的概率越高。5.4 給正在立項(xiàng)的人幾條建議先定義閉環(huán)指標(biāo)再做 demo。很多人上來(lái)就要“能跑一個(gè)演示視頻”我說(shuō)先定清楚“在什么范圍、什么成功率、什么節(jié)拍下算完成”否則做出來(lái)的 demo 全是在挑數(shù)據(jù)。先借開(kāi)源模型別從零訓(xùn)練。OpenVLA 這類開(kāi)源 VLA 模型已經(jīng)預(yù)訓(xùn)練過(guò)行為知識(shí)在它上面用少量真機(jī)數(shù)據(jù)精調(diào)效果比自己從頭訓(xùn)好得多。2026年的競(jìng)爭(zhēng)不在“會(huì)訓(xùn)模型”而在“有沒(méi)有高質(zhì)量數(shù)據(jù)”。用云仿真做數(shù)據(jù)飛輪本地真機(jī)做驗(yàn)證。云端可以并行跑幾百個(gè)仿真環(huán)境讓模型在仿真里大量試錯(cuò)本地真機(jī)只做最終驗(yàn)證和少量精調(diào)數(shù)據(jù)采集。這個(gè)組合在成本和迭代速度上都是最優(yōu)解。6. 常見(jiàn)問(wèn)題速查表與我的實(shí)操心得6.1 高頻問(wèn)題速查表問(wèn)題一句話答案擴(kuò)展提示仿真數(shù)據(jù)能完全替代真機(jī)數(shù)據(jù)嗎不能精細(xì)操作和真實(shí)物理反饋必須真機(jī)VLA 是萬(wàn)能模型嗎不是長(zhǎng)尾泛化、復(fù)雜閉環(huán)仍有很大局限訓(xùn)練一個(gè)任務(wù)至少需要多少數(shù)據(jù)幾百條起步數(shù)據(jù)質(zhì)量遠(yuǎn)重于數(shù)量壞數(shù)據(jù)是毒藥具身智能和傳統(tǒng)機(jī)器人有什么區(qū)別傳統(tǒng)是規(guī)則驅(qū)動(dòng)具身是數(shù)據(jù)驅(qū)動(dòng)閉環(huán)本質(zhì)差異在“從經(jīng)驗(yàn)中學(xué)習(xí)”大模型做具身智能的核心短板缺少物理交互經(jīng)驗(yàn)必須用機(jī)器人數(shù)據(jù)和真實(shí)反饋補(bǔ)齊小團(tuán)隊(duì)要不要自己搭建數(shù)據(jù)平臺(tái)先做最小閉環(huán)別一上來(lái)搞重平臺(tái)流程跑順再擴(kuò)展6.2 幾個(gè)文檔里不會(huì)寫(xiě)的經(jīng)驗(yàn)我做過(guò)一次測(cè)試把同一個(gè)模型的訓(xùn)練數(shù)據(jù)從5萬(wàn)條清到2萬(wàn)條只是剔除了標(biāo)定漂移期間采的臟數(shù)據(jù)和指令不一致的 episode成功率反而提升了將近二十個(gè)百分點(diǎn)。從那以后我們定了一條規(guī)矩?cái)?shù)據(jù)質(zhì)量審查永遠(yuǎn)是訓(xùn)練季前最重要的任務(wù)。具身智能的數(shù)據(jù)不是越多越好是越“干凈覆蓋廣”越好。另一個(gè)容易被忽視的點(diǎn)是語(yǔ)言指令的寫(xiě)法。同樣一個(gè)動(dòng)作任務(wù)指令寫(xiě)“把桌子上的杯子拿開(kāi)”和寫(xiě)“把右側(cè)透明玻璃杯移到左邊托盤(pán)內(nèi)且杯口朝上”訓(xùn)練出來(lái)的行為風(fēng)格差別很大。操作指令應(yīng)該盡量具體、可驗(yàn)收、不產(chǎn)生歧義這個(gè)需要在數(shù)據(jù)采集規(guī)范里反復(fù)強(qiáng)調(diào)。還有一點(diǎn)是關(guān)于在線學(xué)習(xí)的?，F(xiàn)在很多人鼓吹“機(jī)器人應(yīng)該自己邊干邊學(xué)”理念沒(méi)問(wèn)題但實(shí)際部署時(shí)我勸大家冷靜。如果在真實(shí)開(kāi)放環(huán)境里做在線強(qiáng)化學(xué)習(xí)風(fēng)險(xiǎn)極高一次失控可能就造成安全事故。更靠譜的做法是離線大數(shù)據(jù)訓(xùn)練 部署后小規(guī)模安全適配把高危探索留到仿真里去做。最后說(shuō)個(gè)我最近常勸團(tuán)隊(duì)的話把模型野心砍一半把數(shù)據(jù)管道補(bǔ)一倍。具身智能離真正的通用還有距離2026年這場(chǎng)競(jìng)爭(zhēng)比的不是誰(shuí)模型參數(shù)更大而是誰(shuí)的閉環(huán)更快、數(shù)據(jù)工廠更扎實(shí)。如果你剛起步先讓一臺(tái)機(jī)械臂在固定工位上穩(wěn)定干成一個(gè)任務(wù)把這條真實(shí)數(shù)據(jù)流水線跑通你從里面獲取的經(jīng)驗(yàn)密度遠(yuǎn)超看一百篇論文。