架構(gòu)：System 2 看懂場景、System 1 毫秒出手，2.2B 參數(shù)與 63.9ms 背后的每一根管線（附官方源碼對照）)
拆解 GR00T N1 雙系統(tǒng)架構(gòu)System 2 看懂場景、System 1 毫秒出手2.2B 參數(shù)與 63.9ms 背后的每一根管線附官方源碼對照本文把 GR00T N1 的架構(gòu)從輸入到輸出完整走一遍。文中代碼段摘自 NVIDIA 開源的 Isaac-GR00T 官方倉庫Apache 2.0 協(xié)議——論文 N1 與倉庫當(dāng)前主線 N1.7 在骨干網(wǎng)絡(luò)上迭代過但 Flow-Matching 動作生成的核心實(shí)現(xiàn)完全同構(gòu)。對啟元 Q1 的架構(gòu)啟發(fā)放在第六節(jié)。一、全局視角一張圖看懂?dāng)?shù)據(jù)流先把論文的研究背景釘在墻上一個(gè)模型要聽得懂語言、看得見場景還要在毫秒級節(jié)奏里輸出機(jī)器人動作而且最好跨機(jī)型通用。GR00T N1 給出的答案是雙系統(tǒng)理解交給 VLM行動交給 Flow-Matching DiT兩者以交叉注意力耦合、端到端聯(lián)合訓(xùn)練。下面從輸入到輸出把整條管線拆開。先上整體管線。GR00T N1 的前向過程只有三步圖像觀測 語言指令 ──[System2: Eagle-2 VLM]──視覺語言特征 φ_t │ 機(jī)器人狀態(tài) q_t ──────[System1: DiT]── 交叉注意力 ──┘ │ │ 加噪動作塊 A_τ ──去噪4步 │v動作塊 A_t(16步)[Figure 2: GR00T N1 模型概覽——System 2 與 System 1 的耦合關(guān)系]兩個(gè)系統(tǒng)不是串聯(lián)的兩級流水線而是條件生成關(guān)系System 2 每 100ms 算一次 φ_tSystem 1 拿著 φ_t 當(dāng)條件以 120Hz 的節(jié)奏持續(xù)生成動作。System 2 在兩次推理之間是凍結(jié)的——就像人眼掃一眼環(huán)境后手會連續(xù)執(zhí)行幾秒動作不需要每 8ms 重新看一次。二、System 2把 VLM 當(dāng)特征提取器用2.1 Eagle-2 骨干的三個(gè)關(guān)鍵參數(shù)GR00T N1 的 VLM 骨干是 NVIDIA 自家的 Eagle-2由 SigLIP-2 視覺編碼器 SmolLM2 語言模型組成。GR00T-N1-2B 總參數(shù) 2.2B其中 VLM 占 1.34B。有三個(gè)設(shè)計(jì)細(xì)節(jié)值得摳細(xì)節(jié)一圖像 token 數(shù)量。輸入圖像統(tǒng)一縮放到 224×224經(jīng)過 pixel shuffle 后每幀只產(chǎn)生 64 個(gè)圖像 token。這個(gè)數(shù)字很關(guān)鍵——多視角輸入比如左右腕三個(gè)相機(jī)時(shí) token 數(shù)線性增長64/幀的控制直接決定了 VLM 的推理延遲。作為對比很多 VLA 工作單幀用 256 tokenVLM 一跑就是幾百毫秒。細(xì)節(jié)二取中間層特征。這是我認(rèn)為整篇論文最反直覺但合理的一個(gè)選擇VLM 特征取 LLM 的第 12 層不是最后一層。官方倉庫的實(shí)現(xiàn)比取特征更徹底——直接把 12 層以上的所有層物理刪除# gr00t/model/modules/qwen3_backbone.py# needed since we dont use these layers. Also saves computewhilelen(self.model.language_model.layers)select_layer:self.model.language_model.layers.pop(-1)配合配置文件里的默認(rèn)值 select_layer: int 12gr00t/configs/model/gr00t_n1d7.py這意味著加載 VLM 時(shí)上層的語言頭、未用到的 Transformer 層壓根不進(jìn)顯存。中間層不是從 32 層里挑一層讀出來而是模型在結(jié)構(gòu)上就只有 12 層。為什么不用最后一層論文的實(shí)驗(yàn)結(jié)論是中間層特征推理更快不用跑完整個(gè) LLM且下游策略成功率更高。直觀解釋最后一層特征過度語言化抽象成了語義概念而動作生成需要的是保留空間細(xì)節(jié)的視覺-語言混合表征。第 12 層剛好卡在看懂了但還沒說出口的位置。細(xì)節(jié)三聊天模板對齊。訓(xùn)練策略時(shí)文本描述和圖像按 VLM 預(yù)訓(xùn)練時(shí)的 chat 格式輸入。這個(gè)細(xì)節(jié)保證了策略訓(xùn)練不破壞 VLM 的預(yù)訓(xùn)練知識。2.2 Q1 視角這個(gè)設(shè)計(jì)能用嗎Q1 沒有條件在設(shè)備端跑 1.34B 的 VLM。但取中間層 壓縮圖像 token這兩個(gè)思路可以移植到任何輕量 VLM 上——如果 Q1 未來要做云端理解模塊這兩個(gè)選擇能直接把推理成本砍一半以上。三、System 1Flow-Matching 動作生成3.1 先講清楚 Flow-Matching 在干什么Diffusion Policy 用的是標(biāo)準(zhǔn) DDPM 去噪GR00T N1 用的是 Flow-Matching流匹配。兩者都是從噪聲生成數(shù)據(jù)區(qū)別在于DDPM學(xué)習(xí)每一步去噪的噪聲殘差采樣幾十到上百步Flow-Matching學(xué)習(xí)一條從噪聲分布到數(shù)據(jù)分布的速度場向量場歐拉積分 4 步就能走完。對實(shí)時(shí)機(jī)器人控制來說4 步 vs 100 步就是能不能上機(jī)的區(qū)別。3.2 訓(xùn)練目標(biāo)源碼里只有三行核心論文公式 (1) 在官方倉庫里的樣子gr00t/model/gr00t_n1d7/gr00t_n1d7.py# 加噪與速度場目標(biāo)actionsaction_input.action noisetorch.randn(actions.shape,deviceactions.device,dtypeactions.dtype)tself.sample_time(actions.shape[0],deviceactions.device,dtypeactions.dtype)tt[:,None,None]# shape (B,1,1) for broadcastnoisy_trajectory(1-t)*noiset*actions# A_τ τ·A_t (1-τ)·εvelocityactions-noise# 速度場回歸目標(biāo)# ...... DiT 前向 ......hidden_states狀態(tài)加噪動作 token# encoder_hidden_statesVLM 第 12 層特征timesteptpredself.action_decoder(model_output,embodiment_id)pred_actionspred[:,-actions.shape[1]:]action_lossF.mse_loss(pred_actions,velocity,reductionnone)*action_mask lossaction_loss.sum()/(action_mask.sum()1e-6)# 按 action_mask 加權(quán)平均τ 的采樣邏輯同文件# __init__ 里構(gòu)建 Beta 分布濃度參數(shù)直接來自模型配置self.beta_distBeta(torch.tensor(float(config.noise_beta_alpha),dtypetorch.float32,devicecpu),torch.tensor(float(config.noise_beta_beta),dtypetorch.float32,devicecpu),)defsample_time(self,batch_size,device,dtype):sampleself.beta_dist.sample([batch_size]).to(device,dtypedtype)sample(1-sample)*self.config.noise_s# 截?cái)嗟?s0.999 以內(nèi)returnsample配置文件 gr00t/configs/model/gr00t_n1d7.py 里的默認(rèn)值noise_beta_alpha: float 1.5、noise_beta_beta: float 1.0、noise_s: float 0.999——與論文 Sec 2.1 寫的 Beta(1.5, 1)、s0.999 逐位一致可以逐字對上。三個(gè)值得注意的實(shí)現(xiàn)細(xì)節(jié)時(shí)間步分布不是均勻的。τ 從 Beta(1.5, 1) 采樣且截?cái)嘣?0.999 以內(nèi)——Beta(1.5,1) 的概率質(zhì)量偏向大 τ意味著訓(xùn)練時(shí)模型更多見到接近真實(shí)動作的樣本。這是從 π0Black et al., 2024繼承的技巧對收斂速度影響很大。τ 要一起編碼進(jìn)網(wǎng)絡(luò)。擴(kuò)散時(shí)間步通過 adaptive layer normalization 注入 DiT而不是簡單拼接倉庫里還能看到一個(gè)細(xì)節(jié)連續(xù) τ 會被離散化成桶num_timestep_buckets: int 1000后作為條件輸入。動作塊整體加噪。整個(gè)動作塊作為一個(gè)整體加噪、去噪保證塊內(nèi)時(shí)序一致性損失計(jì)算乘了 action_mask 并做歸一化意味著機(jī)型可以屏蔽自己不存在的動作維度——這是多機(jī)型共用一個(gè) DiT 的工程前提之一。3.3 推理4 步歐拉積分倉庫里的去噪主循環(huán)gr00t_n1d7.py# 推理去噪主循環(huán)# Run denoising steps.fortinrange(self.num_inference_timesteps):t_contt/float(self.num_inference_timesteps)# e.g. goes 0, 1/N, 2/N, ...t_discretizedint(t_cont*self.num_timestep_buckets)# Embed noised action trajectory.timesteps_tensortorch.full(size(batch_size,),fill_valuet_discretized,devicedevice)action_featuresself.action_encoder(actions,timesteps_tensor,embodiment_id)# ...... 狀態(tài)/動作 token 拼接與訓(xùn)練時(shí)完全一致 ......。model_outputself.model(hidden_statessa_embs,encoder_hidden_statesvl_embeds,timesteptimesteps_tensor,)predself.action_decoder(model_output,embodiment_id)pred_velocitypred[:,-self.action_horizon:]# Update actions using euler integration.actionsactionsdt*pred_velocity從純噪聲開始每步讓網(wǎng)絡(luò)預(yù)測速度場然后歐拉積分往前走一小步——論文說的 K4 步去噪落到代碼里就是一個(gè) range(4) 的 for 循環(huán)。num_inference_timesteps: int 4 也寫在配置默認(rèn)值里。16 步動作塊H16在 120Hz 控制頻率下覆蓋約 133ms。System 1 每 63.9ms 推理一次L40 GPU, bf16配合動作塊滑動執(zhí)行整體等效 120Hz 輸出。推理快、動作平滑這兩件事在 Flow-Matching 這里是同一件事。3.4 機(jī)型適配編碼器/解碼器的外掛設(shè)計(jì)GR00T N1 支持單臂、雙臂、人形 靈巧手等多種機(jī)型靠的不是多個(gè)模型而是機(jī)型特定的薄編碼器 共享的 DiT 主體倉庫里的證據(jù)是兩部分。先是配置gr00t/configs/model/gr00t_n1d7.pymax_state_dim:int132# 所有機(jī)型統(tǒng)一填充到這個(gè)維度max_action_dim:int132max_num_embodiments:int32# 支持注冊的機(jī)型數(shù)上限input_embedding_dim:int1536所有機(jī)型的狀態(tài)/動作向量都填充padding到統(tǒng)一維度每個(gè)機(jī)型分配一個(gè)獨(dú)立的編碼器槽位DiT 主體參數(shù)完全共享。再看機(jī)型標(biāo)簽的注冊表gr00t/data/embodiment_tags.pyclassEmbodimentTag(Enum):Embodiment tags supported by the GR00T N1.7 checkpoint.REAL_G1real_g1_relative_eef_relative_joints# 宇樹 G1 真機(jī)UNITREE_G1unitree_g1_full_body_with_waist_height_nav_cmdLIBERO_PANDAlibero_sim# 仿真 Panda# ...... 預(yù)訓(xùn)練/后訓(xùn)練機(jī)型各若干 ......。# New embodiment during post-trainingNEW_EMBODIMENTnew_embodiment# 自定義機(jī)型的統(tǒng)一注冊位 Any new embodiment. 預(yù)訓(xùn)練機(jī)型各自一個(gè)標(biāo)簽而所有自定義機(jī)型共用 NEW_EMBODIMENT 這一個(gè)注冊位——新增一個(gè)機(jī)型本質(zhì)上只是新增一對 MLP 編碼器/解碼器加一個(gè)標(biāo)簽百萬級參數(shù)DiT 主體億級參數(shù)原封不動。這個(gè)設(shè)計(jì)對多機(jī)型產(chǎn)品線比如啟元未來若同時(shí)有 Q1 和其他形態(tài)產(chǎn)品是直接的參考。四、DiT 內(nèi)部自注意力管動作交叉注意力管理解DiT 塊的結(jié)構(gòu)是 Flamingo/VIMA 式的交替設(shè)計(jì)。倉庫里的真實(shí)實(shí)現(xiàn)gr00t/model/modules/dit.py# 交替自注意力/交叉注意力assertself.config.interleave_self_attention,Interleave self attention must be enabledforidx,blockinenumerate(self.transformer_blocks):ifidx%21:# Self-attention blocks —— 動作 token 之間交互時(shí)序連貫性hidden_statesblock(hidden_states,...,tembtemb)else:# Cross-attention blocks - alternate between non-image and image tokensifidx%(2*self.attend_text_every_n_blocks)0:curr_encoder_attention_masknon_image_attention_maskelse:curr_encoder_attention_maskimage_attention_mask# Q動作, K/VVLM 特征且圖像 token 與文本 token 交替作為條件hidden_statesblock(hidden_states,encoder_hidden_statesencoder_hidden_states,encoder_attention_maskcurr_encoder_attention_mask,tembtemb,)這里有個(gè)論文正文沒有展開、但代碼寫得明明白白的細(xì)節(jié)交叉注意力不是把 VLM 特征一鍋端進(jìn)來而是 attend_text_every_n_blocks2 的節(jié)奏——隔一個(gè)交叉注意力塊換一類條件一層只看圖像 token下一層只看文本 token。配置默認(rèn)值 use_alternate_vl_dit: bool True 說明這是主線模型的實(shí)際形態(tài)。擴(kuò)散時(shí)間步 τ 則通過 AdaLayerNorm 注入每層。這個(gè)分工非常清晰注意力類型輸入學(xué)到什么自注意力加噪動作 token 狀態(tài) token動作塊內(nèi)部的時(shí)序結(jié)構(gòu)交叉注意力Q動作, K/VVLM 特征“現(xiàn)在該做什么任務(wù)”adaLN擴(kuò)散時(shí)間步 τ當(dāng)前處于去噪哪個(gè)階段對比一下 RT-2 的做法——把動作離散成 token 塞進(jìn) LLM 的詞表里用自回歸方式說出動作。兩條路線的本質(zhì)區(qū)別RT-2 讓動作遷就語言模型的接口GR00T N1 讓語言模型的輸出遷就動作生成的接口。后者對高頻控制明顯更友好。五、模型規(guī)格速查把 GR00T-N1-2B 的關(guān)鍵數(shù)字匯總成一張表右列是官方倉庫當(dāng)前主線N1.7配置文件 gr00t_n1d7.py的對照值項(xiàng)目論文 N1-2B倉庫主線 N1.7總參數(shù)量2.2BVLM 1.34B DiT 約 0.86B3BVLM 骨干換為 Cosmos-Reason2-2B視覺編碼224×224 → 64 token/幀230×230 裁剪 → 256×256image_crop_size 配置VLM 特征層第 12 層第 12 層select_layer 12未變動作塊長度 H16 步40 步action_horizon 40狀態(tài)/動作維度29 維GR-1統(tǒng)一填充到 132 維max_state_dim去噪步數(shù) K44num_inference_timesteps 4未變時(shí)間步分布Beta(1.5, 1), s0.999Beta(1.5, 1), s0.999未變推理延遲63.9 ms / 動作塊L40, bf16倉庫另提供 TensorRT 部署鏈路進(jìn)一步壓縮可以看到骨干網(wǎng)絡(luò)和動作塊長度在迭代但 Flow-Matching 的核心機(jī)制4 步去噪、Beta 采樣、雙系統(tǒng)解耦從論文到倉庫主線一直沒動——這正是本篇值得精讀的原因這些是經(jīng)過驗(yàn)證的穩(wěn)定設(shè)計(jì)。這套架構(gòu)的實(shí)驗(yàn)回報(bào)論文給得毫不含糊三個(gè)仿真基準(zhǔn)后訓(xùn)練平均成功率 45.0%比從零訓(xùn)練的 Diffusion Policy33.4%高 11.6 個(gè)百分點(diǎn)且機(jī)型越復(fù)雜優(yōu)勢越大人形基準(zhǔn)領(lǐng)先 17.3 個(gè)百分點(diǎn)真機(jī) 13 個(gè)任務(wù)平均 76.8%對 Diffusion Policy 的 46.4%System 1 單次推理 63.9msL40, bf164 步去噪就能實(shí)時(shí)出動作塊。架構(gòu)設(shè)計(jì)的每一處取舍最后都兌現(xiàn)成了延遲表和成功率表上的數(shù)字。六、Q1 的架構(gòu)路線圖三步走把上面的技術(shù)點(diǎn)翻譯成 Q1 視角的行動項(xiàng)第一步復(fù)用預(yù)設(shè)動作體系的動作原語思路。Q1 現(xiàn)在的 set_preset_motion(3008) 這套預(yù)設(shè)動作本質(zhì)上就是動作空間離散化。在引入學(xué)習(xí)式策略之前可以把每個(gè)預(yù)設(shè)動作當(dāng)作一個(gè)動作 token用一個(gè)小型序列模型學(xué)什么場景下按什么順序組合預(yù)設(shè)動作——這是最低成本的數(shù)據(jù)驅(qū)動化改造且完全兼容現(xiàn)有 PrimeConsole 校驗(yàn)體系。第二步輕量化 System 1。Q1 的交互動作招手、比心、舞蹈都是上肢短程運(yùn)動動作維度遠(yuǎn)低于 GR-1 的全身靈巧手。一個(gè) distilled 到 100M 參數(shù)的 Flow-Matching 頭配合 Q1 現(xiàn)有動作接口理論上有機(jī)會跑在設(shè)備端或邊緣盒子。第三步云端 System 2 端側(cè) System 1。語言理解、場景識別放云端走 Q1 現(xiàn)有的網(wǎng)絡(luò)能力動作生成放本地。這個(gè)分工和 Q1 現(xiàn)有配置在云端管理、動作在本地執(zhí)行的架構(gòu)是同構(gòu)的改造成本相對可控。一句話總結(jié)GR00T N1 真正可遷移的不是它的模型權(quán)重而是理解與行動解耦、動作生成用流匹配、機(jī)型差異用外掛編碼器吸收這三個(gè)設(shè)計(jì)決策。論文信息GR00T N1: An Open Foundation Model for Generalist Humanoid RobotsNVIDIA2025 年 3 月arXiv2503.14734開源項(xiàng)目信息項(xiàng)目地址https://github.com/NVIDIA/Isaac-GR00T項(xiàng)目定位GR00T N1 系列基礎(chǔ)模型的官方實(shí)現(xiàn)Apache 2.0 協(xié)議當(dāng)前主線為 N1.7本文引用代碼均出自該主線源碼地圖gr00t/model/模型實(shí)現(xiàn)本文的 ActionHead 與 DiT 源碼分別在 gr00t_n1d7/gr00t_n1d7.py 與 modules/dit.py、gr00t/configs/全部超參默認(rèn)值、gr00t/data/數(shù)據(jù)處理與機(jī)型標(biāo)簽注冊與論文對照Flow-Matching 動作頭、雙系統(tǒng)耦合、4 步去噪、機(jī)型外掛編碼器等核心機(jī)制與論文 N1 完全同構(gòu)骨干網(wǎng)絡(luò)與動作塊長度按 N1.7 演進(jìn)訪問啟元機(jī)器人開發(fā)者社區(qū)獲取 SDK、仿真工具、開發(fā)文檔完成從代碼仿真到真機(jī)落地的全流程開發(fā)https://dev.primebot.com/ 拆解 GR00T N1 雙系統(tǒng)架構(gòu)：System 2 看懂場景、System 1 毫秒出手，2.2B 參數(shù)與 63.9ms 背后的每一根管線（附官方源碼對照）
拆解 GR00T N1 雙系統(tǒng)架構(gòu)System 2 看懂場景、System 1 毫秒出手2.2B 參數(shù)與 63.9ms 背后的每一根管線附官方源碼對照本文把 GR00T N1 的架構(gòu)從輸入到輸出完整走一遍。文中代碼段摘自 NVIDIA 開源的 Isaac-GR00T 官方倉庫Apache 2.0 協(xié)議——論文 N1 與倉庫當(dāng)前主線 N1.7 在骨干網(wǎng)絡(luò)上迭代過但 Flow-Matching 動作生成的核心實(shí)現(xiàn)完全同構(gòu)。對啟元 Q1 的架構(gòu)啟發(fā)放在第六節(jié)。一、全局視角一張圖看懂?dāng)?shù)據(jù)流先把論文的研究背景釘在墻上一個(gè)模型要聽得懂語言、看得見場景還要在毫秒級節(jié)奏里輸出機(jī)器人動作而且最好跨機(jī)型通用。GR00T N1 給出的答案是雙系統(tǒng)理解交給 VLM行動交給 Flow-Matching DiT兩者以交叉注意力耦合、端到端聯(lián)合訓(xùn)練。下面從輸入到輸出把整條管線拆開。先上整體管線。GR00T N1 的前向過程只有三步圖像觀測 語言指令 ──[System2: Eagle-2 VLM]──視覺語言特征 φ_t │ 機(jī)器人狀態(tài) q_t ──────[System1: DiT]── 交叉注意力 ──┘ │ │ 加噪動作塊 A_τ ──去噪4步 │v動作塊 A_t(16步)[Figure 2: GR00T N1 模型概覽——System 2 與 System 1 的耦合關(guān)系]兩個(gè)系統(tǒng)不是串聯(lián)的兩級流水線而是條件生成關(guān)系System 2 每 100ms 算一次 φ_tSystem 1 拿著 φ_t 當(dāng)條件以 120Hz 的節(jié)奏持續(xù)生成動作。System 2 在兩次推理之間是凍結(jié)的——就像人眼掃一眼環(huán)境后手會連續(xù)執(zhí)行幾秒動作不需要每 8ms 重新看一次。二、System 2把 VLM 當(dāng)特征提取器用2.1 Eagle-2 骨干的三個(gè)關(guān)鍵參數(shù)GR00T N1 的 VLM 骨干是 NVIDIA 自家的 Eagle-2由 SigLIP-2 視覺編碼器 SmolLM2 語言模型組成。GR00T-N1-2B 總參數(shù) 2.2B其中 VLM 占 1.34B。有三個(gè)設(shè)計(jì)細(xì)節(jié)值得摳細(xì)節(jié)一圖像 token 數(shù)量。輸入圖像統(tǒng)一縮放到 224×224經(jīng)過 pixel shuffle 后每幀只產(chǎn)生 64 個(gè)圖像 token。這個(gè)數(shù)字很關(guān)鍵——多視角輸入比如左右腕三個(gè)相機(jī)時(shí) token 數(shù)線性增長64/幀的控制直接決定了 VLM 的推理延遲。作為對比很多 VLA 工作單幀用 256 tokenVLM 一跑就是幾百毫秒。細(xì)節(jié)二取中間層特征。這是我認(rèn)為整篇論文最反直覺但合理的一個(gè)選擇VLM 特征取 LLM 的第 12 層不是最后一層。官方倉庫的實(shí)現(xiàn)比取特征更徹底——直接把 12 層以上的所有層物理刪除# gr00t/model/modules/qwen3_backbone.py# needed since we dont use these layers. Also saves computewhilelen(self.model.language_model.layers)select_layer:self.model.language_model.layers.pop(-1)配合配置文件里的默認(rèn)值 select_layer: int 12gr00t/configs/model/gr00t_n1d7.py這意味著加載 VLM 時(shí)上層的語言頭、未用到的 Transformer 層壓根不進(jìn)顯存。中間層不是從 32 層里挑一層讀出來而是模型在結(jié)構(gòu)上就只有 12 層。為什么不用最后一層論文的實(shí)驗(yàn)結(jié)論是中間層特征推理更快不用跑完整個(gè) LLM且下游策略成功率更高。直觀解釋最后一層特征過度語言化抽象成了語義概念而動作生成需要的是保留空間細(xì)節(jié)的視覺-語言混合表征。第 12 層剛好卡在看懂了但還沒說出口的位置。細(xì)節(jié)三聊天模板對齊。訓(xùn)練策略時(shí)文本描述和圖像按 VLM 預(yù)訓(xùn)練時(shí)的 chat 格式輸入。這個(gè)細(xì)節(jié)保證了策略訓(xùn)練不破壞 VLM 的預(yù)訓(xùn)練知識。2.2 Q1 視角這個(gè)設(shè)計(jì)能用嗎Q1 沒有條件在設(shè)備端跑 1.34B 的 VLM。但取中間層 壓縮圖像 token這兩個(gè)思路可以移植到任何輕量 VLM 上——如果 Q1 未來要做云端理解模塊這兩個(gè)選擇能直接把推理成本砍一半以上。三、System 1Flow-Matching 動作生成3.1 先講清楚 Flow-Matching 在干什么Diffusion Policy 用的是標(biāo)準(zhǔn) DDPM 去噪GR00T N1 用的是 Flow-Matching流匹配。兩者都是從噪聲生成數(shù)據(jù)區(qū)別在于DDPM學(xué)習(xí)每一步去噪的噪聲殘差采樣幾十到上百步Flow-Matching學(xué)習(xí)一條從噪聲分布到數(shù)據(jù)分布的速度場向量場歐拉積分 4 步就能走完。對實(shí)時(shí)機(jī)器人控制來說4 步 vs 100 步就是能不能上機(jī)的區(qū)別。3.2 訓(xùn)練目標(biāo)源碼里只有三行核心論文公式 (1) 在官方倉庫里的樣子gr00t/model/gr00t_n1d7/gr00t_n1d7.py# 加噪與速度場目標(biāo)actionsaction_input.action noisetorch.randn(actions.shape,deviceactions.device,dtypeactions.dtype)tself.sample_time(actions.shape[0],deviceactions.device,dtypeactions.dtype)tt[:,None,None]# shape (B,1,1) for broadcastnoisy_trajectory(1-t)*noiset*actions# A_τ τ·A_t (1-τ)·εvelocityactions-noise# 速度場回歸目標(biāo)# ...... DiT 前向 ......hidden_states狀態(tài)加噪動作 token# encoder_hidden_statesVLM 第 12 層特征timesteptpredself.action_decoder(model_output,embodiment_id)pred_actionspred[:,-actions.shape[1]:]action_lossF.mse_loss(pred_actions,velocity,reductionnone)*action_mask lossaction_loss.sum()/(action_mask.sum()1e-6)# 按 action_mask 加權(quán)平均τ 的采樣邏輯同文件# __init__ 里構(gòu)建 Beta 分布濃度參數(shù)直接來自模型配置self.beta_distBeta(torch.tensor(float(config.noise_beta_alpha),dtypetorch.float32,devicecpu),torch.tensor(float(config.noise_beta_beta),dtypetorch.float32,devicecpu),)defsample_time(self,batch_size,device,dtype):sampleself.beta_dist.sample([batch_size]).to(device,dtypedtype)sample(1-sample)*self.config.noise_s# 截?cái)嗟?s0.999 以內(nèi)returnsample配置文件 gr00t/configs/model/gr00t_n1d7.py 里的默認(rèn)值noise_beta_alpha: float 1.5、noise_beta_beta: float 1.0、noise_s: float 0.999——與論文 Sec 2.1 寫的 Beta(1.5, 1)、s0.999 逐位一致可以逐字對上。三個(gè)值得注意的實(shí)現(xiàn)細(xì)節(jié)時(shí)間步分布不是均勻的。τ 從 Beta(1.5, 1) 采樣且截?cái)嘣?0.999 以內(nèi)——Beta(1.5,1) 的概率質(zhì)量偏向大 τ意味著訓(xùn)練時(shí)模型更多見到接近真實(shí)動作的樣本。這是從 π0Black et al., 2024繼承的技巧對收斂速度影響很大。τ 要一起編碼進(jìn)網(wǎng)絡(luò)。擴(kuò)散時(shí)間步通過 adaptive layer normalization 注入 DiT而不是簡單拼接倉庫里還能看到一個(gè)細(xì)節(jié)連續(xù) τ 會被離散化成桶num_timestep_buckets: int 1000后作為條件輸入。動作塊整體加噪。整個(gè)動作塊作為一個(gè)整體加噪、去噪保證塊內(nèi)時(shí)序一致性損失計(jì)算乘了 action_mask 并做歸一化意味著機(jī)型可以屏蔽自己不存在的動作維度——這是多機(jī)型共用一個(gè) DiT 的工程前提之一。3.3 推理4 步歐拉積分倉庫里的去噪主循環(huán)gr00t_n1d7.py# 推理去噪主循環(huán)# Run denoising steps.fortinrange(self.num_inference_timesteps):t_contt/float(self.num_inference_timesteps)# e.g. goes 0, 1/N, 2/N, ...t_discretizedint(t_cont*self.num_timestep_buckets)# Embed noised action trajectory.timesteps_tensortorch.full(size(batch_size,),fill_valuet_discretized,devicedevice)action_featuresself.action_encoder(actions,timesteps_tensor,embodiment_id)# ...... 狀態(tài)/動作 token 拼接與訓(xùn)練時(shí)完全一致 ......。model_outputself.model(hidden_statessa_embs,encoder_hidden_statesvl_embeds,timesteptimesteps_tensor,)predself.action_decoder(model_output,embodiment_id)pred_velocitypred[:,-self.action_horizon:]# Update actions using euler integration.actionsactionsdt*pred_velocity從純噪聲開始每步讓網(wǎng)絡(luò)預(yù)測速度場然后歐拉積分往前走一小步——論文說的 K4 步去噪落到代碼里就是一個(gè) range(4) 的 for 循環(huán)。num_inference_timesteps: int 4 也寫在配置默認(rèn)值里。16 步動作塊H16在 120Hz 控制頻率下覆蓋約 133ms。System 1 每 63.9ms 推理一次L40 GPU, bf16配合動作塊滑動執(zhí)行整體等效 120Hz 輸出。推理快、動作平滑這兩件事在 Flow-Matching 這里是同一件事。3.4 機(jī)型適配編碼器/解碼器的外掛設(shè)計(jì)GR00T N1 支持單臂、雙臂、人形 靈巧手等多種機(jī)型靠的不是多個(gè)模型而是機(jī)型特定的薄編碼器 共享的 DiT 主體倉庫里的證據(jù)是兩部分。先是配置gr00t/configs/model/gr00t_n1d7.pymax_state_dim:int132# 所有機(jī)型統(tǒng)一填充到這個(gè)維度max_action_dim:int132max_num_embodiments:int32# 支持注冊的機(jī)型數(shù)上限input_embedding_dim:int1536所有機(jī)型的狀態(tài)/動作向量都填充padding到統(tǒng)一維度每個(gè)機(jī)型分配一個(gè)獨(dú)立的編碼器槽位DiT 主體參數(shù)完全共享。再看機(jī)型標(biāo)簽的注冊表gr00t/data/embodiment_tags.pyclassEmbodimentTag(Enum):Embodiment tags supported by the GR00T N1.7 checkpoint.REAL_G1real_g1_relative_eef_relative_joints# 宇樹 G1 真機(jī)UNITREE_G1unitree_g1_full_body_with_waist_height_nav_cmdLIBERO_PANDAlibero_sim# 仿真 Panda# ...... 預(yù)訓(xùn)練/后訓(xùn)練機(jī)型各若干 ......。# New embodiment during post-trainingNEW_EMBODIMENTnew_embodiment# 自定義機(jī)型的統(tǒng)一注冊位 Any new embodiment. 預(yù)訓(xùn)練機(jī)型各自一個(gè)標(biāo)簽而所有自定義機(jī)型共用 NEW_EMBODIMENT 這一個(gè)注冊位——新增一個(gè)機(jī)型本質(zhì)上只是新增一對 MLP 編碼器/解碼器加一個(gè)標(biāo)簽百萬級參數(shù)DiT 主體億級參數(shù)原封不動。這個(gè)設(shè)計(jì)對多機(jī)型產(chǎn)品線比如啟元未來若同時(shí)有 Q1 和其他形態(tài)產(chǎn)品是直接的參考。四、DiT 內(nèi)部自注意力管動作交叉注意力管理解DiT 塊的結(jié)構(gòu)是 Flamingo/VIMA 式的交替設(shè)計(jì)。倉庫里的真實(shí)實(shí)現(xiàn)gr00t/model/modules/dit.py# 交替自注意力/交叉注意力assertself.config.interleave_self_attention,Interleave self attention must be enabledforidx,blockinenumerate(self.transformer_blocks):ifidx%21:# Self-attention blocks —— 動作 token 之間交互時(shí)序連貫性hidden_statesblock(hidden_states,...,tembtemb)else:# Cross-attention blocks - alternate between non-image and image tokensifidx%(2*self.attend_text_every_n_blocks)0:curr_encoder_attention_masknon_image_attention_maskelse:curr_encoder_attention_maskimage_attention_mask# Q動作, K/VVLM 特征且圖像 token 與文本 token 交替作為條件hidden_statesblock(hidden_states,encoder_hidden_statesencoder_hidden_states,encoder_attention_maskcurr_encoder_attention_mask,tembtemb,)這里有個(gè)論文正文沒有展開、但代碼寫得明明白白的細(xì)節(jié)交叉注意力不是把 VLM 特征一鍋端進(jìn)來而是 attend_text_every_n_blocks2 的節(jié)奏——隔一個(gè)交叉注意力塊換一類條件一層只看圖像 token下一層只看文本 token。配置默認(rèn)值 use_alternate_vl_dit: bool True 說明這是主線模型的實(shí)際形態(tài)。擴(kuò)散時(shí)間步 τ 則通過 AdaLayerNorm 注入每層。這個(gè)分工非常清晰注意力類型輸入學(xué)到什么自注意力加噪動作 token 狀態(tài) token動作塊內(nèi)部的時(shí)序結(jié)構(gòu)交叉注意力Q動作, K/VVLM 特征“現(xiàn)在該做什么任務(wù)”adaLN擴(kuò)散時(shí)間步 τ當(dāng)前處于去噪哪個(gè)階段對比一下 RT-2 的做法——把動作離散成 token 塞進(jìn) LLM 的詞表里用自回歸方式說出動作。兩條路線的本質(zhì)區(qū)別RT-2 讓動作遷就語言模型的接口GR00T N1 讓語言模型的輸出遷就動作生成的接口。后者對高頻控制明顯更友好。五、模型規(guī)格速查把 GR00T-N1-2B 的關(guān)鍵數(shù)字匯總成一張表右列是官方倉庫當(dāng)前主線N1.7配置文件 gr00t_n1d7.py的對照值項(xiàng)目論文 N1-2B倉庫主線 N1.7總參數(shù)量2.2BVLM 1.34B DiT 約 0.86B3BVLM 骨干換為 Cosmos-Reason2-2B視覺編碼224×224 → 64 token/幀230×230 裁剪 → 256×256image_crop_size 配置VLM 特征層第 12 層第 12 層select_layer 12未變動作塊長度 H16 步40 步action_horizon 40狀態(tài)/動作維度29 維GR-1統(tǒng)一填充到 132 維max_state_dim去噪步數(shù) K44num_inference_timesteps 4未變時(shí)間步分布Beta(1.5, 1), s0.999Beta(1.5, 1), s0.999未變推理延遲63.9 ms / 動作塊L40, bf16倉庫另提供 TensorRT 部署鏈路進(jìn)一步壓縮可以看到骨干網(wǎng)絡(luò)和動作塊長度在迭代但 Flow-Matching 的核心機(jī)制4 步去噪、Beta 采樣、雙系統(tǒng)解耦從論文到倉庫主線一直沒動——這正是本篇值得精讀的原因這些是經(jīng)過驗(yàn)證的穩(wěn)定設(shè)計(jì)。這套架構(gòu)的實(shí)驗(yàn)回報(bào)論文給得毫不含糊三個(gè)仿真基準(zhǔn)后訓(xùn)練平均成功率 45.0%比從零訓(xùn)練的 Diffusion Policy33.4%高 11.6 個(gè)百分點(diǎn)且機(jī)型越復(fù)雜優(yōu)勢越大人形基準(zhǔn)領(lǐng)先 17.3 個(gè)百分點(diǎn)真機(jī) 13 個(gè)任務(wù)平均 76.8%對 Diffusion Policy 的 46.4%System 1 單次推理 63.9msL40, bf164 步去噪就能實(shí)時(shí)出動作塊。架構(gòu)設(shè)計(jì)的每一處取舍最后都兌現(xiàn)成了延遲表和成功率表上的數(shù)字。六、Q1 的架構(gòu)路線圖三步走把上面的技術(shù)點(diǎn)翻譯成 Q1 視角的行動項(xiàng)第一步復(fù)用預(yù)設(shè)動作體系的動作原語思路。Q1 現(xiàn)在的 set_preset_motion(3008) 這套預(yù)設(shè)動作本質(zhì)上就是動作空間離散化。在引入學(xué)習(xí)式策略之前可以把每個(gè)預(yù)設(shè)動作當(dāng)作一個(gè)動作 token用一個(gè)小型序列模型學(xué)什么場景下按什么順序組合預(yù)設(shè)動作——這是最低成本的數(shù)據(jù)驅(qū)動化改造且完全兼容現(xiàn)有 PrimeConsole 校驗(yàn)體系。第二步輕量化 System 1。Q1 的交互動作招手、比心、舞蹈都是上肢短程運(yùn)動動作維度遠(yuǎn)低于 GR-1 的全身靈巧手。一個(gè) distilled 到 100M 參數(shù)的 Flow-Matching 頭配合 Q1 現(xiàn)有動作接口理論上有機(jī)會跑在設(shè)備端或邊緣盒子。第三步云端 System 2 端側(cè) System 1。語言理解、場景識別放云端走 Q1 現(xiàn)有的網(wǎng)絡(luò)能力動作生成放本地。這個(gè)分工和 Q1 現(xiàn)有配置在云端管理、動作在本地執(zhí)行的架構(gòu)是同構(gòu)的改造成本相對可控。一句話總結(jié)GR00T N1 真正可遷移的不是它的模型權(quán)重而是理解與行動解耦、動作生成用流匹配、機(jī)型差異用外掛編碼器吸收這三個(gè)設(shè)計(jì)決策。論文信息GR00T N1: An Open Foundation Model for Generalist Humanoid RobotsNVIDIA2025 年 3 月arXiv2503.14734開源項(xiàng)目信息項(xiàng)目地址https://github.com/NVIDIA/Isaac-GR00T項(xiàng)目定位GR00T N1 系列基礎(chǔ)模型的官方實(shí)現(xiàn)Apache 2.0 協(xié)議當(dāng)前主線為 N1.7本文引用代碼均出自該主線源碼地圖gr00t/model/模型實(shí)現(xiàn)本文的 ActionHead 與 DiT 源碼分別在 gr00t_n1d7/gr00t_n1d7.py 與 modules/dit.py、gr00t/configs/全部超參默認(rèn)值、gr00t/data/數(shù)據(jù)處理與機(jī)型標(biāo)簽注冊與論文對照Flow-Matching 動作頭、雙系統(tǒng)耦合、4 步去噪、機(jī)型外掛編碼器等核心機(jī)制與論文 N1 完全同構(gòu)骨干網(wǎng)絡(luò)與動作塊長度按 N1.7 演進(jìn)訪問啟元機(jī)器人開發(fā)者社區(qū)獲取 SDK、仿真工具、開發(fā)文檔完成從代碼仿真到真機(jī)落地的全流程開發(fā)https://dev.primebot.com/