駕駛】小鵬 FutureX 要點(diǎn)總結(jié)（小鵬）)
FutureX 要點(diǎn)總結(jié)小鵬關(guān)鍵圖表說明Figure 1展示了 FutureX 的整體架構(gòu)頂部直接從當(dāng)前潛在狀態(tài)規(guī)劃傳統(tǒng)方法底部通過思考模塊決定是否需要進(jìn)一步推理激活時(shí)進(jìn)行 CoT 展開預(yù)測未來潛在狀態(tài)Summarizer 模塊基于此精煉軌跡一、相關(guān)工作 (Related Work)論文在第2節(jié)回顧了以下方向1. 端到端自動(dòng)駕駛 (End-to-End Autonomous Driving)分為兩類模仿學(xué)習(xí) (Imitation Learning, IL)和強(qiáng)化學(xué)習(xí) (Reinforcement Learning, RL)代表性方法LTFTransFuserDriveTransformerVAD (Vectorized scene representation)DiffusionDriveSparseDrive等2. 世界模型 (World Model)用于建模場景演化相關(guān)工作GAIAWorld4DriveEponaDriving into the Future等3. Chain-of-Thought (CoT) 推理在自動(dòng)駕駛中的應(yīng)用DriveLMDriveVLMEmma等局限性這些方法主要在文本域生成解釋與實(shí)際的控制過程脫節(jié)二、核心思想 (Core Idea)1. 問題定義現(xiàn)有端到端系統(tǒng)僅基于當(dāng)前場景進(jìn)行單次前向預(yù)測在高度動(dòng)態(tài)的交通環(huán)境中可能產(chǎn)生次優(yōu)響應(yīng)自車行為會(huì)改變未來場景需要推理未來場景演化2. 解決方案引入潛在 Chain-of-Thought 推理將 CoT 重新解釋為狀態(tài)演化和動(dòng)作選擇每個(gè)推理步驟對應(yīng)潛在世界模型的前向展開隨后進(jìn)行內(nèi)部策略評估建立推理思考與規(guī)劃行動(dòng)之間的可微分、可學(xué)習(xí)接口3. 工作流程當(dāng)前場景 → Auto-think Switch → 判斷是否需要推理 ↓ [需要] → Thinking 模式 → 潛在世界模型 CoT 展開 → 預(yù)測未來場景表示 ↓ Summarizer Network → 基于未來表示和初始計(jì)劃預(yù)測偏移量 → 精煉運(yùn)動(dòng)計(jì)劃 [不需要] → Instant 模式 → 直接前向生成運(yùn)動(dòng)計(jì)劃核心組件Auto-think Switch評估當(dāng)前場景的規(guī)劃難度決定是否激活世界模型Thinking 模式潛在世界模型進(jìn)行 CoT 引導(dǎo)的展開預(yù)測未來場景表示Summarizer Network基于未來表示和初始運(yùn)動(dòng)計(jì)劃預(yù)測偏移量Instant 模式簡單場景下直接前向生成運(yùn)動(dòng)計(jì)劃三、創(chuàng)新點(diǎn) (Contributions)1. 概念創(chuàng)新將 CoT 重新定義為潛在未來推理在可學(xué)習(xí)的世界模型-策略循環(huán)中進(jìn)行顯式狀態(tài)演化和動(dòng)作選擇2. 方法創(chuàng)新提出FutureX首個(gè) CoT 驅(qū)動(dòng)的潛在世界模型Auto-Think Switch選擇性激活推理在性能和效率之間取得平衡適合實(shí)時(shí)部署3. 實(shí)驗(yàn)驗(yàn)證在經(jīng)典骨干網(wǎng)絡(luò)LTF、TransFuser上達(dá)到 SOTA在僅相機(jī)和相機(jī)-激光雷達(dá)兩種設(shè)置下均有效四、實(shí)驗(yàn)結(jié)論 (Experimental Results)1. 性能提升在NAVSIM基準(zhǔn)測試中FutureX-Auto 相比基線方法顯著提升方法模態(tài)PDMS 提升LTFCamera5.4TransFuserCamera-LiDAR6.22. 主要優(yōu)勢? 生成更合理的運(yùn)動(dòng)計(jì)劃?減少碰撞?不犧牲效率通過 Auto-Think Switch 實(shí)現(xiàn)性能與效率的平衡3. 實(shí)驗(yàn)設(shè)置基準(zhǔn)測試NAVSIM評估指標(biāo)PDMS (Planning Domain Metric Score) 等支持模態(tài)相機(jī)和相機(jī)-激光雷達(dá)兩種模態(tài)4. 整體結(jié)論FutureX 通過潛在 CoT 推理增強(qiáng)端到端規(guī)劃器在復(fù)雜動(dòng)態(tài)交通環(huán)境中表現(xiàn)更好方法具有通用性可應(yīng)用于多種端到端自動(dòng)駕駛架構(gòu)論文信息標(biāo)題FutureX: Enhance End-to-End Autonomous Driving via Latent Chain-of-Thought World ModelarXivhttps://arxiv.org/abs/2512.11226v1代碼將發(fā)布作者Hongbin Lin, Yiming Yang, Yifan Zhang, Chaoda Zheng, 等 【自動(dòng)駕駛】小鵬 FutureX 要點(diǎn)總結(jié)（小鵬）
FutureX 要點(diǎn)總結(jié)小鵬關(guān)鍵圖表說明Figure 1展示了 FutureX 的整體架構(gòu)頂部直接從當(dāng)前潛在狀態(tài)規(guī)劃傳統(tǒng)方法底部通過思考模塊決定是否需要進(jìn)一步推理激活時(shí)進(jìn)行 CoT 展開預(yù)測未來潛在狀態(tài)Summarizer 模塊基于此精煉軌跡一、相關(guān)工作 (Related Work)論文在第2節(jié)回顧了以下方向1. 端到端自動(dòng)駕駛 (End-to-End Autonomous Driving)分為兩類模仿學(xué)習(xí) (Imitation Learning, IL)和強(qiáng)化學(xué)習(xí) (Reinforcement Learning, RL)代表性方法LTFTransFuserDriveTransformerVAD (Vectorized scene representation)DiffusionDriveSparseDrive等2. 世界模型 (World Model)用于建模場景演化相關(guān)工作GAIAWorld4DriveEponaDriving into the Future等3. Chain-of-Thought (CoT) 推理在自動(dòng)駕駛中的應(yīng)用DriveLMDriveVLMEmma等局限性這些方法主要在文本域生成解釋與實(shí)際的控制過程脫節(jié)二、核心思想 (Core Idea)1. 問題定義現(xiàn)有端到端系統(tǒng)僅基于當(dāng)前場景進(jìn)行單次前向預(yù)測在高度動(dòng)態(tài)的交通環(huán)境中可能產(chǎn)生次優(yōu)響應(yīng)自車行為會(huì)改變未來場景需要推理未來場景演化2. 解決方案引入潛在 Chain-of-Thought 推理將 CoT 重新解釋為狀態(tài)演化和動(dòng)作選擇每個(gè)推理步驟對應(yīng)潛在世界模型的前向展開隨后進(jìn)行內(nèi)部策略評估建立推理思考與規(guī)劃行動(dòng)之間的可微分、可學(xué)習(xí)接口3. 工作流程當(dāng)前場景 → Auto-think Switch → 判斷是否需要推理 ↓ [需要] → Thinking 模式 → 潛在世界模型 CoT 展開 → 預(yù)測未來場景表示 ↓ Summarizer Network → 基于未來表示和初始計(jì)劃預(yù)測偏移量 → 精煉運(yùn)動(dòng)計(jì)劃 [不需要] → Instant 模式 → 直接前向生成運(yùn)動(dòng)計(jì)劃核心組件Auto-think Switch評估當(dāng)前場景的規(guī)劃難度決定是否激活世界模型Thinking 模式潛在世界模型進(jìn)行 CoT 引導(dǎo)的展開預(yù)測未來場景表示Summarizer Network基于未來表示和初始運(yùn)動(dòng)計(jì)劃預(yù)測偏移量Instant 模式簡單場景下直接前向生成運(yùn)動(dòng)計(jì)劃三、創(chuàng)新點(diǎn) (Contributions)1. 概念創(chuàng)新將 CoT 重新定義為潛在未來推理在可學(xué)習(xí)的世界模型-策略循環(huán)中進(jìn)行顯式狀態(tài)演化和動(dòng)作選擇2. 方法創(chuàng)新提出FutureX首個(gè) CoT 驅(qū)動(dòng)的潛在世界模型Auto-Think Switch選擇性激活推理在性能和效率之間取得平衡適合實(shí)時(shí)部署3. 實(shí)驗(yàn)驗(yàn)證在經(jīng)典骨干網(wǎng)絡(luò)LTF、TransFuser上達(dá)到 SOTA在僅相機(jī)和相機(jī)-激光雷達(dá)兩種設(shè)置下均有效四、實(shí)驗(yàn)結(jié)論 (Experimental Results)1. 性能提升在NAVSIM基準(zhǔn)測試中FutureX-Auto 相比基線方法顯著提升方法模態(tài)PDMS 提升LTFCamera5.4TransFuserCamera-LiDAR6.22. 主要優(yōu)勢? 生成更合理的運(yùn)動(dòng)計(jì)劃?減少碰撞?不犧牲效率通過 Auto-Think Switch 實(shí)現(xiàn)性能與效率的平衡3. 實(shí)驗(yàn)設(shè)置基準(zhǔn)測試NAVSIM評估指標(biāo)PDMS (Planning Domain Metric Score) 等支持模態(tài)相機(jī)和相機(jī)-激光雷達(dá)兩種模態(tài)4. 整體結(jié)論FutureX 通過潛在 CoT 推理增強(qiáng)端到端規(guī)劃器在復(fù)雜動(dòng)態(tài)交通環(huán)境中表現(xiàn)更好方法具有通用性可應(yīng)用于多種端到端自動(dòng)駕駛架構(gòu)論文信息標(biāo)題FutureX: Enhance End-to-End Autonomous Driving via Latent Chain-of-Thought World ModelarXivhttps://arxiv.org/abs/2512.11226v1代碼將發(fā)布作者Hongbin Lin, Yiming Yang, Yifan Zhang, Chaoda Zheng, 等