據(jù)工程實錄：88 小時遙操作如何裂變成 78 萬條軌跡——潛動作標注、神經(jīng)軌跡、DexMimicGen 三條產(chǎn)線的完整拆解)
GR00T N1 數(shù)據(jù)工程實錄88 小時遙操作如何裂變成 78 萬條軌跡——潛動作標注、神經(jīng)軌跡、DexMimicGen 三條產(chǎn)線的完整拆解本文以數(shù)據(jù)工程師的視角拆解 GR00T N1 的訓(xùn)練數(shù)據(jù)是怎么從無到有生產(chǎn)出來的。所有數(shù)字均出自論文正文與附錄代碼與數(shù)據(jù)樣例對照官方倉庫 Isaac-GR00T。最后一節(jié)回到啟元 Q1。一、先看賬本GR00T N1 的數(shù)據(jù)資產(chǎn)負債表GR00T N1 論文有一個基本判斷具身智能的瓶頸不在模型架構(gòu)而在數(shù)據(jù)——互聯(lián)網(wǎng)上不存在機器人行為的語料庫。模型側(cè)它的答案是雙系統(tǒng)VLM 理解場景Flow-Matching DiT 生成動作但真正讓這套架構(gòu)跑起來的是數(shù)據(jù)側(cè)一條覆蓋三層的數(shù)據(jù)生產(chǎn)線——這也是本文的主角。做數(shù)據(jù)工程第一步是把賬算清楚。GR00T N1 的全部訓(xùn)練數(shù)據(jù)可以列成一張表數(shù)據(jù)資產(chǎn)數(shù)量折算時長生產(chǎn)成本來源真機遙操作數(shù)據(jù)GR-1—88 小時人工遙操作20Hz 采集自建團隊神經(jīng)軌跡視頻生成~30 萬條827 小時10.5 萬 L40 GPU 時視頻模型生成仿真軌跡DexMimicGen78 萬條6,500 小時11 小時掛機生成物理仿真人類視頻無動作標簽—數(shù)十萬小時級數(shù)據(jù)集整理Ego4D 等 7 個公開集Open X-Embodiment——公開集整合RT-1/Bridge-v2/DROID 等AgiBot-Alpha14 萬條—公開集智元 100 臺機器人兩個數(shù)字值得停下來想一想6,500 小時 / 11 小時。DexMimicGen 用 11 個小時把幾十條人類演示自動擴展成了 78 萬條仿真軌跡——折算下來等于一個人類演示員不吃不喝連續(xù)錄 9 個月。這就是論文里合成數(shù)據(jù)的杠桿率。88 小時 → 827 小時。神經(jīng)軌跡這條路用視頻生成模型做同樣的事拿 88 小時真機數(shù)據(jù)微調(diào)一個圖生視頻模型再從已有初始幀出發(fā)生成反事實軌跡換個物體、換個放置位置數(shù)據(jù)量直接 10 倍。真機數(shù)據(jù)是最貴的人工遙操作但它是錨點——所有合成數(shù)據(jù)的質(zhì)量都靠它兜底。二、底層沒有動作標簽的人類視頻怎么進訓(xùn)練集2.1 問題定義Ego4D、EPIC-KITCHENS 這些數(shù)據(jù)集有幾十萬小時的人類第一視角操作視頻是機器人最想要的行為先驗。但它們只有一個致命問題視頻里只有畫面沒有動作標注。你不知道人在操作時手臂的關(guān)節(jié)角是多少。GR00T N1 的解法分兩步先用 VQ-VAE 把畫面變化翻譯成潛動作再把潛動作當作一種虛擬機型的動作標簽直接進訓(xùn)練。2.2 潛動作提取VQ-VAE 的實現(xiàn)邏輯論文對模型結(jié)構(gòu)的描述很簡潔編碼器吃連續(xù)兩幀吐出離散潛動作解碼器拿潛動作加當前幀重建未來幀。# 潛動作 VQ-VAEclassLatentActionVQVAE(nn.Module): 訓(xùn)練目標給定 (x_t, x_{tH})讓模型學(xué)會把畫面發(fā)生了什么變化 壓縮成一個離散 code z_t并用 (z_t, x_t) 重建 x_{tH} def__init__(self,codebook_size):self.encoderVideoEncoder()# 輸入當前幀未來幀self.codebooknn.Embedding(codebook_size,d_latent)# 離散碼本self.decoderFrameDecoder()# 輸入潛動作當前幀defencode(self,x_t,x_future,H):z_contself.encoder(x_t,x_future)# 連續(xù)潛變量z_tquantize_nearest(z_cont,self.codebook)# VQ 量化為離散碼returnz_tdefforward(self,x_t,x_future,H):z_tself.encode(x_t,x_future,H)x_reconself.decoder(z_t,x_t)# z_t 當前幀 - 未來幀returnvqvae_loss(x_recon,x_future,z_cont,z_t)# 訓(xùn)練完成后編碼器即逆動力學(xué)模型# 輸入任意兩幀輸出潛動作標簽供策略預(yù)訓(xùn)練使用deflabel_video_with_latent_actions(vqvae,video,H):return[vqvae.encode(video[t],video[tH],H)fortinrange(0,len(video)-H)]這里最巧妙的設(shè)計是把潛動作當成一個獨立機型論文稱 LAPA embodiment。策略模型不需要知道潛動作和真機動作的區(qū)別它們在訓(xùn)練管道里地位完全相同——一個統(tǒng)一了所有數(shù)據(jù)源的動作接口。2.3 潛動作真的跨機型一致嗎論文 Figure 4 給了一個很有說服力的驗證在 8 種不同機型含人類的視頻里檢索相似潛動作同一個潛動作 1在所有機型上對應(yīng)的都是右臂向左移“潛動作 2對應(yīng)的都是右臂向右移”。潛空間自己學(xué)出了移動方向這種與具體機體無關(guān)的運動語義。這就是跨機型訓(xùn)練能 work 的根基。三、中層上神經(jīng)軌跡——用視頻模型腦補反事實數(shù)據(jù)3.1 生產(chǎn)流水線全流程神經(jīng)軌跡的完整生產(chǎn)流程我按論文 Sec 2.2 和附錄 F 的描述整理成流水線# 神經(jīng)軌跡生產(chǎn)流水線defneural_trajectory_pipeline(real_teleop_data):# Stage 1: 微調(diào)圖生視頻模型# 真實數(shù)據(jù): 3000 條樣本, 480P, 81 幀/條, 帶語言標注video_modelfinetune_img2vid_model(real_teleop_data,epochs100)# Stage 2: 生成新任務(wù)指令# 用多模態(tài) LLM 檢測初始幀中的物體枚舉物理合理的組合forinitial_frameincollect_initial_frames(real_teleop_data):objectsmllm.detect_objects(initial_frame)promptsmllm.generate_combinations(templatepick up {obj} from {src} to {dst},objectsobjects,constraintonly physically feasible combinations)# Stage 3: 生成視頻2 分鐘 L40 時間生成 1 秒視頻forpromptinprompts:videovideo_model.generate(initial_frame,prompt)# Stage 4: 質(zhì)量過濾——多模態(tài) LLM 當裁判keyframesdownsample(video,n8)ifnotmllm.judge_follows_instruction(keyframes,prompt):continue# 濾掉不聽指令的captionmllm.recaption(video)# 重新生成高質(zhì)量標注# Stage 5: 動作標注兩條路latent_actionsvqvae.label(video)# 路線 A: 潛動作pseudo_actionsidm.predict(video)# 路線 B: 逆動力學(xué)模型偽動作yieldTrainingSample(video,caption,latent_actions,pseudo_actions)3.2 三個工程細節(jié)細節(jié)一指令多樣性是編出來的。生成模型自己不會想我該生成什么任務(wù)多樣性完全靠 Stage 2 的 LLM 組合枚舉——檢測初始幀里有什么物體然后按把 X 從 A 拿到 B的模板窮舉物理合理的組合。左hand改右手、盤子換籃子一條真機數(shù)據(jù)就這樣裂變成幾十條合成數(shù)據(jù)。細節(jié)二質(zhì)量過濾靠AI 裁判。生成視頻最大的坑是模型不嚴格遵守指令讓它拿黃瓜它拿了蘋果。論文的做法是降采樣 8 幀喂給另一個多模態(tài) LLM 判卷不合格的直接丟棄合格的用 LLM 重新標注recaption。整條流水線沒有人工質(zhì)檢環(huán)節(jié)——這個規(guī)模30 萬條也確實沒法人工質(zhì)檢。細節(jié)三生成成本要算總賬。L40 上 2 分鐘生成 1 秒視頻827 小時視頻 105,000 L40 GPU 時用 3600 塊 L40 并行跑了約 1.5 天。折算云成本大約 15-30 萬美元。貴嗎對比人工遙操作每小時真機數(shù)據(jù)的成本設(shè)備折舊 操作員工時 數(shù)據(jù)管理這個價格反而便宜——而且是一次性投入。四、中層下仿真軌跡——DexMimicGen 的自動擴展仿真這條線的核心工具是 DexMimicGenNVIDIA 參與的開源項目。它的原理可以概括為演示切割 物體對齊 自動重放# DexMimicGen 數(shù)據(jù)擴展原理defdexmimicgen_expand(few_human_demos,simulator):# 1) 演示切割把完整演示拆成以物體為中心的子任務(wù)片段segments[]fordemoinfew_human_demos:segmentssegment_by_object(demo)# 抓蘋果是一段開抽屜是另一段# 2) 環(huán)境隨機化新場景里物體位置隨機擺放fornew_envinrandomize_scenes(simulator,n_scenes10000):forseginsegments:# 3) 片段變換保持末端執(zhí)行器-物體相對位姿把片段# 適配到新環(huán)境中物體的新位置transformedtransform_segment(seg,align_tonew_env.objects[seg.target_object])# 4) 插值銜接 逐步重放 成功校驗replay_with_interpolation(simulator,transformed,verify_successTrue)# 只有校驗成功的軌跡才入庫只保留成功軌跡這一步很關(guān)鍵——仿真里校驗成功的標準是確定的物體進了目標容器沒有所以仿真數(shù)據(jù)天然帶高質(zhì)量標簽這也是它和神經(jīng)軌跡最大的區(qū)別仿真給的是有真值動作的數(shù)據(jù)神經(jīng)軌跡給的只有偽標簽。任務(wù)體系上仿真數(shù)據(jù)基于 RoboCasa 框架構(gòu)建任務(wù)形式統(tǒng)一為把 A 從 B 重排到 C覆蓋 54 種容器組合每種組合生成 1 萬條演示合計 54 萬條預(yù)訓(xùn)練部分加上后訓(xùn)練共 78 萬條。五、頂層88 小時真機數(shù)據(jù)是怎么采集的頂層數(shù)據(jù)量最小但采集工程反而最重。論文列了三套遙操作方案方案硬件捕捉內(nèi)容定位方案一Manus Glove VIVE Ultimate Tracker腕部 6-DoF 手指骨架高精度主力方案方案二Apple Vision Pro頭顯 手勢消費級備選方案三Leap Motion腕部 6-DoF 手指仿真數(shù)據(jù)采集用采集流程操作員穿戴設(shè)備 → 實時動作捕捉 → 逆運動學(xué)重定向到 GR-1 全身 IK 控制器 → 20Hz 控制頻率執(zhí)行 → 同時記錄頭部相機圖像 人體本體感知 動作序列。標注分兩層細粒度抓取/移動/放置等原子動作和粗粒度高層任務(wù)描述分層標注支撐了策略同時學(xué)精確運動控制和高層任務(wù)推理。六、混合訓(xùn)練三層數(shù)據(jù)怎么下鍋數(shù)據(jù)生產(chǎn)完最后一道工序是混合。論文 Table 1 給出了每類數(shù)據(jù)適用的標注技術(shù)我轉(zhuǎn)譯成一張操作矩陣數(shù)據(jù)類型潛動作標注神經(jīng)軌跡擴展仿真擴展真機數(shù)據(jù)可用可用可用仿真數(shù)據(jù)可用可用—人類視頻可用——預(yù)訓(xùn)練時跨三層混合采樣后訓(xùn)練時針對單一機型微調(diào)并探索了真實數(shù)據(jù) : 神經(jīng)軌跡 1:1的混合比例?；旌线@件事在官方倉庫里有一套完整的工程實現(xiàn)三個關(guān)鍵環(huán)節(jié)都能在代碼里找到環(huán)節(jié)一多數(shù)據(jù)集加權(quán)采樣。訓(xùn)練入口腳本 examples/finetune.sh 提供了數(shù)據(jù)混合的調(diào)度參數(shù)# examples/finetune.shGLOBAL_BATCH_SIZE${GLOBAL_BATCH_SIZE:-32}SHARD_SIZE${SHARD_SIZE:-1024}NUM_SHARDS_PER_EPOCH${NUM_SHARDS_PER_EPOCH:-100000}EPISODE_SAMPLING_RATE${EPISODE_SAMPLING_RATE:-0.1}# 單 episode 被采到的概率DS_WEIGHTS_ALPHA${DS_WEIGHTS_ALPHA:-}# 多數(shù)據(jù)集采樣權(quán)重dataset_path 參數(shù)本身接受 os.pathsep 分隔的多個數(shù)據(jù)集根目錄gr00t/configs/finetune_config.py配合 DS_WEIGHTS_ALPHA 控制每個數(shù)據(jù)集在混合桶里的占比——論文里三層混合采樣落到工程上就是這幾個旋鈕。環(huán)節(jié)二跨數(shù)據(jù)集統(tǒng)計量合并。不同數(shù)據(jù)集的狀態(tài)/動作分布不同歸一化參數(shù)必須合并計算。真實實現(xiàn)gr00t/data/dataset/sharded_mixture_dataset.pydefmerge_statistics(per_dataset_stats,dataset_sampling_weights,...):按采樣權(quán)重合并多數(shù)據(jù)集統(tǒng)計量公式 Var_combined Σ(w_i * (σ_i2 μ_i2)) - (Σ(w_i * μ_i))2 dataset_sampling_weightsnp.array(dataset_sampling_weights)normalized_weightsdataset_sampling_weights/dataset_sampling_weights.sum()# ...... 加權(quán)合并 mean/std跨數(shù)據(jù)集取全局 min/max/q01/q99 ......。一個容易被忽略的細節(jié)mean/std 按權(quán)重加權(quán)但 q01/q99 是跨數(shù)據(jù)集取 min/max 包絡(luò)——保證任何一條數(shù)據(jù)歸一化后都不會超出 [0,1] 區(qū)間。環(huán)節(jié)三歸一化分位數(shù)。數(shù)據(jù)統(tǒng)計默認用 1%/99% 分位數(shù)而不是絕對極值gr00t/data/stats.pyq01np.quantile(np_data,0.01,axis0).tolist(),q99np.quantile(np_data,0.99,axis0).tolist(),遙操作數(shù)據(jù)里總有幾幀異常抖動用絕對 min/max 歸一化會把有效信號壓得很窄分位數(shù)歸一化是機器人數(shù)據(jù)管線的標配——Q1 將來做數(shù)據(jù)管線這一條直接抄。數(shù)據(jù)策略的實驗回報。論文的消融實驗驗證了這套體系每一環(huán)的含金量后訓(xùn)練混入神經(jīng)軌跡RoboCasa 30/100/300 演示檔分別提升 4.2%/8.8%/6.8%中等數(shù)據(jù)檔收益最大真機 10% 數(shù)據(jù)檔平均提升 5.8%。這套體系養(yǎng)出來的模型仿真三基準平均成功率 45.0%、真機 13 任務(wù)平均 76.8%均為同數(shù)據(jù)量對比中的最優(yōu)而整座數(shù)據(jù)金字塔最終兌成的總賬是只用 10% 真機數(shù)據(jù)42.6%幾乎追平 Diffusion Policy 全量數(shù)據(jù)的成績46.4%。數(shù)據(jù)生產(chǎn)體系的杠桿在實驗上是被驗證過的杠桿。七、啟元 Q1 的數(shù)據(jù)工程開工清單把 GR00T N1 的數(shù)據(jù)方法論壓到 Q1 的尺度我的判斷是Q1 的數(shù)據(jù)金字塔不需要 GR00T N1 的量級但需要同樣的結(jié)構(gòu)。對照開工清單第一優(yōu)先級把規(guī)則轉(zhuǎn)成數(shù)據(jù)現(xiàn)在就能做Q1 每個技能包的 JSON 配置motions、emotion_id、led、lines本身就是結(jié)構(gòu)化的行為描述。把技能包的執(zhí)行過程錄制成圖像 語言指令 動作序列三元組現(xiàn)有鼓勵/早安/倒計時三個技能立即變成種子數(shù)據(jù)。這是 Q1 手里唯一零成本的數(shù)據(jù)資產(chǎn)不錄就浪費了。錄的時候格式別自己發(fā)明直接對齊 GR00T 的 LeRobot 格式——倉庫自帶了一個標準樣例 demo_data/cube_to_bowl_5目錄結(jié)構(gòu)是三層cube_to_bowl_5/ ├── data/chunk-000/episode_000000.parquet# 狀態(tài)動作每 episode 一個 parquet├── videos/chunk-000/observation.images.front/# 相機視頻每路一個目錄└── meta/modality.json# 模態(tài)切片聲明關(guān)鍵其中 modality.json 聲明了狀態(tài)/動作向量的切片方式{state:{single_arm:{start:0,end:5},gripper:{start:5,end:6}},action:{single_arm:{start:0,end:5},gripper:{start:5,end:6}},video:{front:{original_key:observation.images.front},wrist:{original_key:observation.images.wrist}},annotation:{human.task_description:{original_key:task_index}}}這套格式的價值在于切片聲明與數(shù)據(jù)分離動作向量里哪幾維是手臂、哪幾維是夾爪由 modality.json 聲明而不是隱含在數(shù)據(jù)里訓(xùn)練側(cè)按聲明切片組合。Q1 的技能包導(dǎo)出腳本只要落成這個格式將來接 GR00T 后訓(xùn)練管線就是零改造。第二優(yōu)先級仿真數(shù)據(jù)1-2 個月Q1 只需仿真上肢動作物理復(fù)雜度遠低于 GR-1 全身靈巧手。用 Isaac Sim 搭 Q1 數(shù)字孿生把招手比心這類動作做成參數(shù)化任務(wù)幅度、次數(shù)、時長可調(diào)DexMimicGen 式的演示切割 重放 成功校驗可以直接套用。目標量級幾十小時仿真數(shù)據(jù)就夠后訓(xùn)練用。第三優(yōu)先級遙操作設(shè)備選型同步啟動參考 GR00T N1 的三套方案Q1 的合理選擇是 Leap Motion約幾百元捕捉上肢 手指正好覆蓋 Q1 的動作空間不必上 VIVE 數(shù)據(jù)手套的全身方案。暫不建議碰的人類視頻預(yù)訓(xùn)練潛動作預(yù)訓(xùn)練的收益來自海量數(shù)據(jù)Q1 的場景太窄上肢交互直接在人類視頻上做潛動作預(yù)訓(xùn)練的性價比不高。更務(wù)實的路線是等 Q1 仿真數(shù)據(jù)攢起來后直接微調(diào) GR00T N1 的開源權(quán)重——它的底層先驗 NVIDIA 已經(jīng)替你預(yù)訓(xùn)練好了。一句話總結(jié)GR00T N1 證明了數(shù)據(jù)不夠工程來湊是可行的——88 小時真機數(shù)據(jù) 視頻生成 仿真擴展 潛動作標注四件套把數(shù)據(jù)問題從有沒有變成了怎么生產(chǎn)。Q1 要抄的不是數(shù)據(jù)本身是這套生產(chǎn)體系。論文信息GR00T N1: An Open Foundation Model for Generalist Humanoid RobotsNVIDIA2025 年 3 月arXiv2503.14734開源項目信息項目地址https://github.com/NVIDIA/Isaac-GR00T項目定位GR00T N1 系列基礎(chǔ)模型的官方實現(xiàn)Apache 2.0 協(xié)議數(shù)據(jù)資產(chǎn)倉庫自帶 5 個 LeRobot 格式演示數(shù)據(jù)集demo_data/ 目錄含 parquet、相機視頻與模態(tài)聲明格式規(guī)范見 getting_started/data_preparation.md數(shù)據(jù)工具統(tǒng)計量生成gr00t/data/stats.py、多數(shù)據(jù)集混合sharded_mixture_dataset.py、機型模態(tài)配置注冊gr00t/configs/data/embodiment_configs.py格式參考本文引用的 modality.json 樣例出自 demo_data/cube_to_bowl_5可直接作為自建數(shù)據(jù)集的格式模板訪問啟元機器人開發(fā)者社區(qū)獲取 SDK、仿真工具、開發(fā)文檔完成從代碼仿真到真機落地的全流程開發(fā)https://dev.primebot.com/ GR00T N1 數(shù)據(jù)工程實錄：88 小時遙操作如何裂變成 78 萬條軌跡——潛動作標注、神經(jīng)軌跡、DexMimicGen 三條產(chǎn)線的完整拆解
GR00T N1 數(shù)據(jù)工程實錄88 小時遙操作如何裂變成 78 萬條軌跡——潛動作標注、神經(jīng)軌跡、DexMimicGen 三條產(chǎn)線的完整拆解本文以數(shù)據(jù)工程師的視角拆解 GR00T N1 的訓(xùn)練數(shù)據(jù)是怎么從無到有生產(chǎn)出來的。所有數(shù)字均出自論文正文與附錄代碼與數(shù)據(jù)樣例對照官方倉庫 Isaac-GR00T。最后一節(jié)回到啟元 Q1。一、先看賬本GR00T N1 的數(shù)據(jù)資產(chǎn)負債表GR00T N1 論文有一個基本判斷具身智能的瓶頸不在模型架構(gòu)而在數(shù)據(jù)——互聯(lián)網(wǎng)上不存在機器人行為的語料庫。模型側(cè)它的答案是雙系統(tǒng)VLM 理解場景Flow-Matching DiT 生成動作但真正讓這套架構(gòu)跑起來的是數(shù)據(jù)側(cè)一條覆蓋三層的數(shù)據(jù)生產(chǎn)線——這也是本文的主角。做數(shù)據(jù)工程第一步是把賬算清楚。GR00T N1 的全部訓(xùn)練數(shù)據(jù)可以列成一張表數(shù)據(jù)資產(chǎn)數(shù)量折算時長生產(chǎn)成本來源真機遙操作數(shù)據(jù)GR-1—88 小時人工遙操作20Hz 采集自建團隊神經(jīng)軌跡視頻生成~30 萬條827 小時10.5 萬 L40 GPU 時視頻模型生成仿真軌跡DexMimicGen78 萬條6,500 小時11 小時掛機生成物理仿真人類視頻無動作標簽—數(shù)十萬小時級數(shù)據(jù)集整理Ego4D 等 7 個公開集Open X-Embodiment——公開集整合RT-1/Bridge-v2/DROID 等AgiBot-Alpha14 萬條—公開集智元 100 臺機器人兩個數(shù)字值得停下來想一想6,500 小時 / 11 小時。DexMimicGen 用 11 個小時把幾十條人類演示自動擴展成了 78 萬條仿真軌跡——折算下來等于一個人類演示員不吃不喝連續(xù)錄 9 個月。這就是論文里合成數(shù)據(jù)的杠桿率。88 小時 → 827 小時。神經(jīng)軌跡這條路用視頻生成模型做同樣的事拿 88 小時真機數(shù)據(jù)微調(diào)一個圖生視頻模型再從已有初始幀出發(fā)生成反事實軌跡換個物體、換個放置位置數(shù)據(jù)量直接 10 倍。真機數(shù)據(jù)是最貴的人工遙操作但它是錨點——所有合成數(shù)據(jù)的質(zhì)量都靠它兜底。二、底層沒有動作標簽的人類視頻怎么進訓(xùn)練集2.1 問題定義Ego4D、EPIC-KITCHENS 這些數(shù)據(jù)集有幾十萬小時的人類第一視角操作視頻是機器人最想要的行為先驗。但它們只有一個致命問題視頻里只有畫面沒有動作標注。你不知道人在操作時手臂的關(guān)節(jié)角是多少。GR00T N1 的解法分兩步先用 VQ-VAE 把畫面變化翻譯成潛動作再把潛動作當作一種虛擬機型的動作標簽直接進訓(xùn)練。2.2 潛動作提取VQ-VAE 的實現(xiàn)邏輯論文對模型結(jié)構(gòu)的描述很簡潔編碼器吃連續(xù)兩幀吐出離散潛動作解碼器拿潛動作加當前幀重建未來幀。# 潛動作 VQ-VAEclassLatentActionVQVAE(nn.Module): 訓(xùn)練目標給定 (x_t, x_{tH})讓模型學(xué)會把畫面發(fā)生了什么變化 壓縮成一個離散 code z_t并用 (z_t, x_t) 重建 x_{tH} def__init__(self,codebook_size):self.encoderVideoEncoder()# 輸入當前幀未來幀self.codebooknn.Embedding(codebook_size,d_latent)# 離散碼本self.decoderFrameDecoder()# 輸入潛動作當前幀defencode(self,x_t,x_future,H):z_contself.encoder(x_t,x_future)# 連續(xù)潛變量z_tquantize_nearest(z_cont,self.codebook)# VQ 量化為離散碼returnz_tdefforward(self,x_t,x_future,H):z_tself.encode(x_t,x_future,H)x_reconself.decoder(z_t,x_t)# z_t 當前幀 - 未來幀returnvqvae_loss(x_recon,x_future,z_cont,z_t)# 訓(xùn)練完成后編碼器即逆動力學(xué)模型# 輸入任意兩幀輸出潛動作標簽供策略預(yù)訓(xùn)練使用deflabel_video_with_latent_actions(vqvae,video,H):return[vqvae.encode(video[t],video[tH],H)fortinrange(0,len(video)-H)]這里最巧妙的設(shè)計是把潛動作當成一個獨立機型論文稱 LAPA embodiment。策略模型不需要知道潛動作和真機動作的區(qū)別它們在訓(xùn)練管道里地位完全相同——一個統(tǒng)一了所有數(shù)據(jù)源的動作接口。2.3 潛動作真的跨機型一致嗎論文 Figure 4 給了一個很有說服力的驗證在 8 種不同機型含人類的視頻里檢索相似潛動作同一個潛動作 1在所有機型上對應(yīng)的都是右臂向左移“潛動作 2對應(yīng)的都是右臂向右移”。潛空間自己學(xué)出了移動方向這種與具體機體無關(guān)的運動語義。這就是跨機型訓(xùn)練能 work 的根基。三、中層上神經(jīng)軌跡——用視頻模型腦補反事實數(shù)據(jù)3.1 生產(chǎn)流水線全流程神經(jīng)軌跡的完整生產(chǎn)流程我按論文 Sec 2.2 和附錄 F 的描述整理成流水線# 神經(jīng)軌跡生產(chǎn)流水線defneural_trajectory_pipeline(real_teleop_data):# Stage 1: 微調(diào)圖生視頻模型# 真實數(shù)據(jù): 3000 條樣本, 480P, 81 幀/條, 帶語言標注video_modelfinetune_img2vid_model(real_teleop_data,epochs100)# Stage 2: 生成新任務(wù)指令# 用多模態(tài) LLM 檢測初始幀中的物體枚舉物理合理的組合forinitial_frameincollect_initial_frames(real_teleop_data):objectsmllm.detect_objects(initial_frame)promptsmllm.generate_combinations(templatepick up {obj} from {src} to {dst},objectsobjects,constraintonly physically feasible combinations)# Stage 3: 生成視頻2 分鐘 L40 時間生成 1 秒視頻forpromptinprompts:videovideo_model.generate(initial_frame,prompt)# Stage 4: 質(zhì)量過濾——多模態(tài) LLM 當裁判keyframesdownsample(video,n8)ifnotmllm.judge_follows_instruction(keyframes,prompt):continue# 濾掉不聽指令的captionmllm.recaption(video)# 重新生成高質(zhì)量標注# Stage 5: 動作標注兩條路latent_actionsvqvae.label(video)# 路線 A: 潛動作pseudo_actionsidm.predict(video)# 路線 B: 逆動力學(xué)模型偽動作yieldTrainingSample(video,caption,latent_actions,pseudo_actions)3.2 三個工程細節(jié)細節(jié)一指令多樣性是編出來的。生成模型自己不會想我該生成什么任務(wù)多樣性完全靠 Stage 2 的 LLM 組合枚舉——檢測初始幀里有什么物體然后按把 X 從 A 拿到 B的模板窮舉物理合理的組合。左hand改右手、盤子換籃子一條真機數(shù)據(jù)就這樣裂變成幾十條合成數(shù)據(jù)。細節(jié)二質(zhì)量過濾靠AI 裁判。生成視頻最大的坑是模型不嚴格遵守指令讓它拿黃瓜它拿了蘋果。論文的做法是降采樣 8 幀喂給另一個多模態(tài) LLM 判卷不合格的直接丟棄合格的用 LLM 重新標注recaption。整條流水線沒有人工質(zhì)檢環(huán)節(jié)——這個規(guī)模30 萬條也確實沒法人工質(zhì)檢。細節(jié)三生成成本要算總賬。L40 上 2 分鐘生成 1 秒視頻827 小時視頻 105,000 L40 GPU 時用 3600 塊 L40 并行跑了約 1.5 天。折算云成本大約 15-30 萬美元。貴嗎對比人工遙操作每小時真機數(shù)據(jù)的成本設(shè)備折舊 操作員工時 數(shù)據(jù)管理這個價格反而便宜——而且是一次性投入。四、中層下仿真軌跡——DexMimicGen 的自動擴展仿真這條線的核心工具是 DexMimicGenNVIDIA 參與的開源項目。它的原理可以概括為演示切割 物體對齊 自動重放# DexMimicGen 數(shù)據(jù)擴展原理defdexmimicgen_expand(few_human_demos,simulator):# 1) 演示切割把完整演示拆成以物體為中心的子任務(wù)片段segments[]fordemoinfew_human_demos:segmentssegment_by_object(demo)# 抓蘋果是一段開抽屜是另一段# 2) 環(huán)境隨機化新場景里物體位置隨機擺放fornew_envinrandomize_scenes(simulator,n_scenes10000):forseginsegments:# 3) 片段變換保持末端執(zhí)行器-物體相對位姿把片段# 適配到新環(huán)境中物體的新位置transformedtransform_segment(seg,align_tonew_env.objects[seg.target_object])# 4) 插值銜接 逐步重放 成功校驗replay_with_interpolation(simulator,transformed,verify_successTrue)# 只有校驗成功的軌跡才入庫只保留成功軌跡這一步很關(guān)鍵——仿真里校驗成功的標準是確定的物體進了目標容器沒有所以仿真數(shù)據(jù)天然帶高質(zhì)量標簽這也是它和神經(jīng)軌跡最大的區(qū)別仿真給的是有真值動作的數(shù)據(jù)神經(jīng)軌跡給的只有偽標簽。任務(wù)體系上仿真數(shù)據(jù)基于 RoboCasa 框架構(gòu)建任務(wù)形式統(tǒng)一為把 A 從 B 重排到 C覆蓋 54 種容器組合每種組合生成 1 萬條演示合計 54 萬條預(yù)訓(xùn)練部分加上后訓(xùn)練共 78 萬條。五、頂層88 小時真機數(shù)據(jù)是怎么采集的頂層數(shù)據(jù)量最小但采集工程反而最重。論文列了三套遙操作方案方案硬件捕捉內(nèi)容定位方案一Manus Glove VIVE Ultimate Tracker腕部 6-DoF 手指骨架高精度主力方案方案二Apple Vision Pro頭顯 手勢消費級備選方案三Leap Motion腕部 6-DoF 手指仿真數(shù)據(jù)采集用采集流程操作員穿戴設(shè)備 → 實時動作捕捉 → 逆運動學(xué)重定向到 GR-1 全身 IK 控制器 → 20Hz 控制頻率執(zhí)行 → 同時記錄頭部相機圖像 人體本體感知 動作序列。標注分兩層細粒度抓取/移動/放置等原子動作和粗粒度高層任務(wù)描述分層標注支撐了策略同時學(xué)精確運動控制和高層任務(wù)推理。六、混合訓(xùn)練三層數(shù)據(jù)怎么下鍋數(shù)據(jù)生產(chǎn)完最后一道工序是混合。論文 Table 1 給出了每類數(shù)據(jù)適用的標注技術(shù)我轉(zhuǎn)譯成一張操作矩陣數(shù)據(jù)類型潛動作標注神經(jīng)軌跡擴展仿真擴展真機數(shù)據(jù)可用可用可用仿真數(shù)據(jù)可用可用—人類視頻可用——預(yù)訓(xùn)練時跨三層混合采樣后訓(xùn)練時針對單一機型微調(diào)并探索了真實數(shù)據(jù) : 神經(jīng)軌跡 1:1的混合比例?；旌线@件事在官方倉庫里有一套完整的工程實現(xiàn)三個關(guān)鍵環(huán)節(jié)都能在代碼里找到環(huán)節(jié)一多數(shù)據(jù)集加權(quán)采樣。訓(xùn)練入口腳本 examples/finetune.sh 提供了數(shù)據(jù)混合的調(diào)度參數(shù)# examples/finetune.shGLOBAL_BATCH_SIZE${GLOBAL_BATCH_SIZE:-32}SHARD_SIZE${SHARD_SIZE:-1024}NUM_SHARDS_PER_EPOCH${NUM_SHARDS_PER_EPOCH:-100000}EPISODE_SAMPLING_RATE${EPISODE_SAMPLING_RATE:-0.1}# 單 episode 被采到的概率DS_WEIGHTS_ALPHA${DS_WEIGHTS_ALPHA:-}# 多數(shù)據(jù)集采樣權(quán)重dataset_path 參數(shù)本身接受 os.pathsep 分隔的多個數(shù)據(jù)集根目錄gr00t/configs/finetune_config.py配合 DS_WEIGHTS_ALPHA 控制每個數(shù)據(jù)集在混合桶里的占比——論文里三層混合采樣落到工程上就是這幾個旋鈕。環(huán)節(jié)二跨數(shù)據(jù)集統(tǒng)計量合并。不同數(shù)據(jù)集的狀態(tài)/動作分布不同歸一化參數(shù)必須合并計算。真實實現(xiàn)gr00t/data/dataset/sharded_mixture_dataset.pydefmerge_statistics(per_dataset_stats,dataset_sampling_weights,...):按采樣權(quán)重合并多數(shù)據(jù)集統(tǒng)計量公式 Var_combined Σ(w_i * (σ_i2 μ_i2)) - (Σ(w_i * μ_i))2 dataset_sampling_weightsnp.array(dataset_sampling_weights)normalized_weightsdataset_sampling_weights/dataset_sampling_weights.sum()# ...... 加權(quán)合并 mean/std跨數(shù)據(jù)集取全局 min/max/q01/q99 ......。一個容易被忽略的細節(jié)mean/std 按權(quán)重加權(quán)但 q01/q99 是跨數(shù)據(jù)集取 min/max 包絡(luò)——保證任何一條數(shù)據(jù)歸一化后都不會超出 [0,1] 區(qū)間。環(huán)節(jié)三歸一化分位數(shù)。數(shù)據(jù)統(tǒng)計默認用 1%/99% 分位數(shù)而不是絕對極值gr00t/data/stats.pyq01np.quantile(np_data,0.01,axis0).tolist(),q99np.quantile(np_data,0.99,axis0).tolist(),遙操作數(shù)據(jù)里總有幾幀異常抖動用絕對 min/max 歸一化會把有效信號壓得很窄分位數(shù)歸一化是機器人數(shù)據(jù)管線的標配——Q1 將來做數(shù)據(jù)管線這一條直接抄。數(shù)據(jù)策略的實驗回報。論文的消融實驗驗證了這套體系每一環(huán)的含金量后訓(xùn)練混入神經(jīng)軌跡RoboCasa 30/100/300 演示檔分別提升 4.2%/8.8%/6.8%中等數(shù)據(jù)檔收益最大真機 10% 數(shù)據(jù)檔平均提升 5.8%。這套體系養(yǎng)出來的模型仿真三基準平均成功率 45.0%、真機 13 任務(wù)平均 76.8%均為同數(shù)據(jù)量對比中的最優(yōu)而整座數(shù)據(jù)金字塔最終兌成的總賬是只用 10% 真機數(shù)據(jù)42.6%幾乎追平 Diffusion Policy 全量數(shù)據(jù)的成績46.4%。數(shù)據(jù)生產(chǎn)體系的杠桿在實驗上是被驗證過的杠桿。七、啟元 Q1 的數(shù)據(jù)工程開工清單把 GR00T N1 的數(shù)據(jù)方法論壓到 Q1 的尺度我的判斷是Q1 的數(shù)據(jù)金字塔不需要 GR00T N1 的量級但需要同樣的結(jié)構(gòu)。對照開工清單第一優(yōu)先級把規(guī)則轉(zhuǎn)成數(shù)據(jù)現(xiàn)在就能做Q1 每個技能包的 JSON 配置motions、emotion_id、led、lines本身就是結(jié)構(gòu)化的行為描述。把技能包的執(zhí)行過程錄制成圖像 語言指令 動作序列三元組現(xiàn)有鼓勵/早安/倒計時三個技能立即變成種子數(shù)據(jù)。這是 Q1 手里唯一零成本的數(shù)據(jù)資產(chǎn)不錄就浪費了。錄的時候格式別自己發(fā)明直接對齊 GR00T 的 LeRobot 格式——倉庫自帶了一個標準樣例 demo_data/cube_to_bowl_5目錄結(jié)構(gòu)是三層cube_to_bowl_5/ ├── data/chunk-000/episode_000000.parquet# 狀態(tài)動作每 episode 一個 parquet├── videos/chunk-000/observation.images.front/# 相機視頻每路一個目錄└── meta/modality.json# 模態(tài)切片聲明關(guān)鍵其中 modality.json 聲明了狀態(tài)/動作向量的切片方式{state:{single_arm:{start:0,end:5},gripper:{start:5,end:6}},action:{single_arm:{start:0,end:5},gripper:{start:5,end:6}},video:{front:{original_key:observation.images.front},wrist:{original_key:observation.images.wrist}},annotation:{human.task_description:{original_key:task_index}}}這套格式的價值在于切片聲明與數(shù)據(jù)分離動作向量里哪幾維是手臂、哪幾維是夾爪由 modality.json 聲明而不是隱含在數(shù)據(jù)里訓(xùn)練側(cè)按聲明切片組合。Q1 的技能包導(dǎo)出腳本只要落成這個格式將來接 GR00T 后訓(xùn)練管線就是零改造。第二優(yōu)先級仿真數(shù)據(jù)1-2 個月Q1 只需仿真上肢動作物理復(fù)雜度遠低于 GR-1 全身靈巧手。用 Isaac Sim 搭 Q1 數(shù)字孿生把招手比心這類動作做成參數(shù)化任務(wù)幅度、次數(shù)、時長可調(diào)DexMimicGen 式的演示切割 重放 成功校驗可以直接套用。目標量級幾十小時仿真數(shù)據(jù)就夠后訓(xùn)練用。第三優(yōu)先級遙操作設(shè)備選型同步啟動參考 GR00T N1 的三套方案Q1 的合理選擇是 Leap Motion約幾百元捕捉上肢 手指正好覆蓋 Q1 的動作空間不必上 VIVE 數(shù)據(jù)手套的全身方案。暫不建議碰的人類視頻預(yù)訓(xùn)練潛動作預(yù)訓(xùn)練的收益來自海量數(shù)據(jù)Q1 的場景太窄上肢交互直接在人類視頻上做潛動作預(yù)訓(xùn)練的性價比不高。更務(wù)實的路線是等 Q1 仿真數(shù)據(jù)攢起來后直接微調(diào) GR00T N1 的開源權(quán)重——它的底層先驗 NVIDIA 已經(jīng)替你預(yù)訓(xùn)練好了。一句話總結(jié)GR00T N1 證明了數(shù)據(jù)不夠工程來湊是可行的——88 小時真機數(shù)據(jù) 視頻生成 仿真擴展 潛動作標注四件套把數(shù)據(jù)問題從有沒有變成了怎么生產(chǎn)。Q1 要抄的不是數(shù)據(jù)本身是這套生產(chǎn)體系。論文信息GR00T N1: An Open Foundation Model for Generalist Humanoid RobotsNVIDIA2025 年 3 月arXiv2503.14734開源項目信息項目地址https://github.com/NVIDIA/Isaac-GR00T項目定位GR00T N1 系列基礎(chǔ)模型的官方實現(xiàn)Apache 2.0 協(xié)議數(shù)據(jù)資產(chǎn)倉庫自帶 5 個 LeRobot 格式演示數(shù)據(jù)集demo_data/ 目錄含 parquet、相機視頻與模態(tài)聲明格式規(guī)范見 getting_started/data_preparation.md數(shù)據(jù)工具統(tǒng)計量生成gr00t/data/stats.py、多數(shù)據(jù)集混合sharded_mixture_dataset.py、機型模態(tài)配置注冊gr00t/configs/data/embodiment_configs.py格式參考本文引用的 modality.json 樣例出自 demo_data/cube_to_bowl_5可直接作為自建數(shù)據(jù)集的格式模板訪問啟元機器人開發(fā)者社區(qū)獲取 SDK、仿真工具、開發(fā)文檔完成從代碼仿真到真機落地的全流程開發(fā)https://dev.primebot.com/