概論——運動控制與規(guī)劃)
第7章運動控制與規(guī)劃 (The Cerebellum)7.1 經(jīng)典控制理論PID、MPC 與 WBC盡管強化學(xué)習(xí)RL和大模型在頂層規(guī)劃上大放異彩但在底層的毫秒級控制回路中基于模型的經(jīng)典控制理論 (Model-Based Control)依然是絕對的王者。它們具有可解釋性強、穩(wěn)定性可證、計算效率高的特點構(gòu)成了具身智能體的“小腦”。我們將從最簡單的單關(guān)節(jié)控制講到最復(fù)雜的全身協(xié)調(diào)。1. PID 控制萬能的反饋調(diào)節(jié)器PID (比例-積分-微分)是控制理論的“瑞士軍刀”占據(jù)了工業(yè)控制 90% 以上的場景。在具身智能中它主要運行在MCU (電機驅(qū)動器)這一層級。三項之力P (Proportional)現(xiàn)在。誤差越大修正在力度越大。I (Integral)過去。消除穩(wěn)態(tài)誤差比如手臂舉著重物如果只有 P手臂會一直比目標(biāo)低一點點I 會累積這個誤差增加力度把手臂頂上去。D (Derivative)未來。預(yù)測誤差的變化趨勢提供阻尼Damping。防止手臂在到達目標(biāo)位置時沖過頭Overshoot。應(yīng)用場景FOC 電流環(huán)/速度環(huán)確保電機轉(zhuǎn)速嚴格跟隨指令。位置伺服讓機械臂關(guān)節(jié)精準(zhǔn)停在 90 度。局限PID 是“單入單出”SISO的它不知道別的關(guān)節(jié)在干什么也沒法處理多變量耦合比如手臂伸出去慣量變大PID 參數(shù)可能就不準(zhǔn)了。2. MPC (模型預(yù)測控制)具備預(yù)見能力的駕駛員MPC (Model Predictive Control)是一種更高級的控制策略。如果說 PID 是只看后視鏡誤差開車MPC 就是看著前擋風(fēng)玻璃預(yù)測開車。核心邏輯預(yù)測模型機器人心里有一個物理模型比如 FmaFma它能推演如果我未來 1 秒內(nèi)施加這些力我的身體狀態(tài)會怎么變化優(yōu)化求解在每一時刻它都要解一個優(yōu)化問題QP找到一組最優(yōu)的控制序列使得未來 N 步的狀態(tài)最接近目標(biāo)同時消耗能量最少且不違反約束比如關(guān)節(jié)不能反折電機扭矩不能超限。滾動時域雖然算出了未來 10 步的動作但只執(zhí)行第 1 步。下一毫秒根據(jù)新的傳感器反饋重新再算未來 10 步。具身智能中的應(yīng)用足式機器人落點規(guī)劃機器狗在跑的時候MPC 會預(yù)測重心未來的軌跡從而決定下一腳踩在哪里能保持平衡。軌跡跟蹤保證無人車高速過彎時不側(cè)翻。優(yōu)勢天然處理約束 (Constraints)。它永遠不會輸出一個會讓電機燒毀的指令。3. WBC (全身控制)化整為零的協(xié)調(diào)大師WBC (Whole-Body Control)是人形機器人和復(fù)雜多肢體機器人的核心算法。當(dāng)你想讓一個 20 個自由度的人形機器人“左手擦窗戶同時右手揮手還能單腳站立”時PID 和 MPC 就很難處理這種高度耦合的任務(wù)了。核心思想任務(wù)空間 (Task Space) - 關(guān)節(jié)空間 (Joint Space)用戶給出的指令是高層的Hand_Pos (x,y,z),Balance True。WBC 利用機器人的動力學(xué)模型 (Dynamics)將這些高層任務(wù)映射為全身 n 個關(guān)節(jié)的力矩指令。多任務(wù)優(yōu)先級 (Hierarchical Tasks)WBC 通過零空間投影 (Null-space Projection)技術(shù)實現(xiàn)了任務(wù)的優(yōu)先級管理優(yōu)先級 1 (最高)保持平衡。無論干什么重心投影點 (CoM) 必須在腳掌支撐域內(nèi)。優(yōu)先級 2左手擦窗。優(yōu)先級 3右手揮手。優(yōu)先級 4 (最低)姿態(tài)優(yōu)化比如讓關(guān)節(jié)盡量處于舒適區(qū)省電。效果如果右手揮手幅度太大導(dǎo)致要摔倒了WBC 會自動犧牲右手揮手的精度優(yōu)先保證不摔倒。應(yīng)用場景Atlas 機器人的后空翻。Tesla Optimus 行走時的手臂擺動與腰部扭轉(zhuǎn)協(xié)調(diào)。小結(jié)PID是細胞級的反應(yīng)負責(zé)單個肌肉的收縮。MPC是小腦級的預(yù)判負責(zé)短時間內(nèi)的軌跡規(guī)劃與避險。WBC是脊髓級的協(xié)調(diào)負責(zé)調(diào)動全身肌肉去完成復(fù)雜的復(fù)合動作并保證身體的物理一致性。這三者構(gòu)成了經(jīng)典控制的金字塔。在下一節(jié)我們將討論新興的強化學(xué)習(xí) (RL)如何挑戰(zhàn)并補充這個經(jīng)典體系特別是在處理復(fù)雜非結(jié)構(gòu)化地形時的魔力。7.2 強化學(xué)習(xí) (RL) 在運動控制中的應(yīng)用從行走到抓取經(jīng)典控制理論MPC/WBC雖然優(yōu)雅但極其依賴精確的物理模型。如果地面突然變軟泥潭或者機械臂抓起了一個重心未知的重物模型就會失效導(dǎo)致控制發(fā)散。深度強化學(xué)習(xí) (Deep Reinforcement Learning, DRL)提供了一種無需精確建模的解決方案。它通過與環(huán)境的億萬次交互利用神經(jīng)網(wǎng)絡(luò)直接擬合出從感知狀態(tài) (State)到動作指令 (Action)的映射函數(shù)。1. 核心范式端到端學(xué)習(xí) (End-to-End Learning)輸入原始傳感器數(shù)據(jù)關(guān)節(jié)角度、IMU 加速度、甚至深度圖。輸出關(guān)節(jié)電機的位置或力矩指令。黑盒中間不再需要人工設(shè)計的狀態(tài)機或動力學(xué)方程而是一個巨大的神經(jīng)網(wǎng)絡(luò)Policy Network。獎勵函數(shù) (Reward Function)這是人類唯一的干預(yù)手段。Reward 活著的時長 前進速度 - 摔倒懲罰 - 關(guān)節(jié)抖動懲罰 - 能耗懲罰。通過最大化這個分數(shù)機器人會自動涌現(xiàn)出我們期望的行為。2. Locomotion (行走)征服復(fù)雜地形在四足機器人領(lǐng)域RL 已經(jīng)基本取代了經(jīng)典控制成為業(yè)界標(biāo)桿SOTA。盲視運動 (Blind Locomotion)案例ETH Zurich 的 ANYmal 機器狗。原理訓(xùn)練一個基于本體感覺Proprioception的策略網(wǎng)絡(luò)。網(wǎng)絡(luò)不僅輸入當(dāng)前的關(guān)節(jié)狀態(tài)還輸入過去幾秒的歷史狀態(tài)。效果這種時序信息讓網(wǎng)絡(luò)能夠隱式地估計地形屬性。如果腳陷下去了網(wǎng)絡(luò)會“感覺”到并自動抬高腿部軌跡。它能像山羊一樣在亂石堆、滑溜的雪地、甚至?xí)莸拇矇|上行走且極其魯棒。視覺運動 (Visual Locomotion)進階將深度相機的數(shù)據(jù)編碼后喂給 RL 網(wǎng)絡(luò)。效果機器人學(xué)會了“預(yù)判”?？吹角懊娴呐_階它會提前調(diào)整步幅Step Length精準(zhǔn)地踩在臺階邊緣而不是像盲視策略那樣踢到臺階再調(diào)整。動作涌現(xiàn)有趣的是為了跑得更快更穩(wěn)RL 經(jīng)常會訓(xùn)練出一些非常自然的步態(tài)如小跑 Trot、飛奔 Gallop而工程師并沒有顯式地教它這些步態(tài)。3. Manipulation (抓取)解決靈巧操作難題相比于行走只有 12 個自由度靈巧手抓取20 自由度 物體接觸動力學(xué)的維度災(zāi)難更加嚴重經(jīng)典控制幾乎無能為力。Dactyl (OpenAI)單手轉(zhuǎn)魔方。通過 LSTM 網(wǎng)絡(luò)記憶魔方的狀態(tài)利用 PPO 算法訓(xùn)練。它學(xué)會了極其復(fù)雜的手指協(xié)同甚至學(xué)會了利用重力把魔方撥正——這些微操是很難用代碼寫出來的。In-Hand Manipulation (手內(nèi)重操縱)任務(wù)手里拿著一支筆只用手指把筆轉(zhuǎn)一圈。難點需要頻繁地斷開接觸、重新接觸Make and Break Contacts。RL 優(yōu)勢RL 天然不懼怕這種非連續(xù)的動力學(xué)變化只要仿真器夠準(zhǔn)它就能學(xué)會“盤核桃”般的精細操作。Teacher-Student 蒸餾由于視覺輸入維度太高直接訓(xùn)練很難收斂。通常先在仿真中用“全知教師”知道物體精確 6D 姿態(tài)訓(xùn)練一個策略然后蒸餾給只能看點云的“學(xué)生網(wǎng)絡(luò)”。4. 混合架構(gòu)RL WBC 的中庸之道目前在人形機器人如 Digit, Optimus上純端到端 RL 還存在安全隱患神經(jīng)網(wǎng)絡(luò)是個黑盒可能會輸出不可預(yù)測的大力矩打壞自己。因此工業(yè)界傾向于采用RL 上層規(guī)劃 WBC 底層保底的架構(gòu)RL 層50Hz觀察地形輸出期望的落腳點、身體姿態(tài)和擺動腿軌跡。它負責(zé)“隨WBC 層1kHz接收 RL 的指令結(jié)合精確的動力學(xué)模型計算具體的關(guān)節(jié)力矩。它負責(zé)“物理一致性”和“硬約束”比如防止關(guān)節(jié)超限。這種組合既利用了 RL 適應(yīng)復(fù)雜地形的靈活性又保留了經(jīng)典控制的安全性和平滑性。小結(jié)強化學(xué)習(xí)讓機器人從“聽指令的木偶”變成了“有運動天賦的運動員”。在Locomotion領(lǐng)域RL 賦予了機器人像動物一樣的地形適應(yīng)力。在Manipulation領(lǐng)域RL 讓機器人學(xué)會了像魔術(shù)師一樣的靈巧手法。但 RL 的不可解釋性依然是達摩克利斯之劍。在下一節(jié)我們將探討運動控制中的一個隱形殺手——延遲以及它是如何摧毀這些精妙算法的。7.3 延遲敏感性分析控制回路頻率與通信延遲的匹配關(guān)系在具身智能的控制系統(tǒng)中有一個至高無上的法則帶寬 (Bandwidth)。這里的帶寬不是指網(wǎng)速Mbps而是指系統(tǒng)能響應(yīng)多快變化的信號?？刂苹芈返念l率Frequency和通信延遲Latency共同決定了系統(tǒng)的帶寬上限。如果大腦發(fā)出指令的速度跟不上身體傾倒的速度機器人必摔無疑。1. 為什么是 1kHz (1ms)—— 香農(nóng)采樣定理的工程版在高性能機器人尤其是雙足、四足的底層控制中1kHz即 1ms 控制周期是一個事實上的行業(yè)標(biāo)準(zhǔn)。為什么物理動態(tài)特性剛體動力學(xué)告訴我們一個人形機器人失去平衡開始傾倒留給控制器挽救的時間窗口通常在30ms ~ 50ms左右。為了保證控制的平滑和穩(wěn)定我們需要在這個窗口內(nèi)進行至少 20~50 次調(diào)整。50ms/501ms50ms/501ms。這就是 1kHz 的由來。電流環(huán)的需求在 FOC 電機控制中電流的變化速度極快電感效應(yīng)。為了控制電流波形采樣頻率通常高達10kHz ~ 20kHz50μs 周期。這通常由 MCU 硬件定時器完成不經(jīng)過操作系統(tǒng)。2. 通信延遲控制系統(tǒng)的“相位滯后”在控制理論中純延遲Time Delay e?Tse?Ts 會引入相位滯后。??ω×T??ω×T其中 ωω 是信號頻率TT 是延遲時間。相位裕度 (Phase Margin) 的吞噬者一個穩(wěn)定的控制系統(tǒng)通常需要 45°~60° 的相位裕度。如果通信延遲過大相位滯后超過了相位裕度系統(tǒng)就會進入正反饋狀態(tài)——震蕩發(fā)散?，F(xiàn)象機器人的手臂開始像帕金森患者一樣高頻抖動或者雙腿在站立時不斷前后搖擺。定量分析假設(shè)機器人要跟蹤一個 5Hz 的正弦動作如快速跑步。若延遲 T1msT1ms相位滯后 ≈1.8°≈1.8°。忽略不計系統(tǒng)很穩(wěn)。若延遲 T20msT20ms典型 Wi-Fi 延遲相位滯后 ≈36°≈36°。系統(tǒng)極其危險稍有擾動就會失控。結(jié)論對于高動態(tài)機器人通信延遲必須控制在 1/10 的動作周期內(nèi)。3. 匹配關(guān)系短板效應(yīng)控制系統(tǒng)的整體性能取決于最慢的那個環(huán)節(jié)。環(huán)節(jié)典型頻率/耗時瓶頸分析感知 (Sensors)IMU: 1000Hz (1ms)br關(guān)節(jié)編碼器: 10kHz感知通常很快不是瓶頸。傳輸 (Bus)EtherCAT: 100μsbrUSB: 125μsbrWi-Fi 6: 5~10ms無線傳輸是最大的風(fēng)險點。br有線總線通常足夠快。計算 (Compute)WBC 求解 (QP): 0.5~2msbrRL 推理: 0.1ms復(fù)雜的優(yōu)化算法MPC/WBC可能計算超時導(dǎo)致丟幀。執(zhí)行 (Actuation)電機響應(yīng): 1~5ms (機械慣性)物理慣性是無法消除的最終限制。1kHz vs 1ms 的匹配為了實現(xiàn) 1kHz 的控制頻率整個回路讀數(shù)據(jù)傳數(shù)據(jù)算數(shù)據(jù)發(fā)指令必須在1ms內(nèi)跑完。這意味著傳輸耗時不能超過200μs留給計算 800μs。這正是為什么我們強調(diào)EtherCAT和星閃 (SparkLink)的原因——只有它們能提供 100μs 的確定性傳輸。4. 應(yīng)對高延遲的策略如果必須使用高延遲鏈路如 5G 遙控怎么辦預(yù)測控制 (Predictive Control)既然數(shù)據(jù)晚到了我就用模型預(yù)測現(xiàn)在的狀態(tài)用預(yù)測值做控制。這能補償部分相位滯后但犧牲了精度。降低增益 (Low Gain)把 PID 的參數(shù)調(diào)小讓機器人變得“軟”一點、慢一點。雖然響應(yīng)慢了但不容易震蕩。本地反射 (Local Reflex)這是終極解法。把高頻的平衡控制回路1kHz下沉到機器人的本地 MCU 或 智能關(guān)節(jié)里。云端/上層只發(fā)送低頻的目標(biāo)指令10Hz如“向前走”。比喻就像大腦命令“走路”脊髓負責(zé)協(xié)調(diào)肌肉。大腦反應(yīng)慢點沒關(guān)系脊髓快就行。小結(jié)在運動控制中時間就是生命。1kHz是高性能機器人的及格線。通信延遲每增加1ms系統(tǒng)的穩(wěn)定性邊界就收縮一圈。架構(gòu)師的任務(wù)就是通過算力下沉和確定性網(wǎng)絡(luò)在物理延遲不可避免的情況下榨干每一微秒的控制裕度。至此第七部分“運動控制與規(guī)劃”結(jié)束。有了強健的體魄和敏捷的反應(yīng)機器人還需要可靠的組件來支撐這一切。接下來的第8章我們將進入硬件工程的深水區(qū)——執(zhí)行器與機電一體化。 具身智能系統(tǒng)概論——運動控制與規(guī)劃
第7章運動控制與規(guī)劃 (The Cerebellum)7.1 經(jīng)典控制理論PID、MPC 與 WBC盡管強化學(xué)習(xí)RL和大模型在頂層規(guī)劃上大放異彩但在底層的毫秒級控制回路中基于模型的經(jīng)典控制理論 (Model-Based Control)依然是絕對的王者。它們具有可解釋性強、穩(wěn)定性可證、計算效率高的特點構(gòu)成了具身智能體的“小腦”。我們將從最簡單的單關(guān)節(jié)控制講到最復(fù)雜的全身協(xié)調(diào)。1. PID 控制萬能的反饋調(diào)節(jié)器PID (比例-積分-微分)是控制理論的“瑞士軍刀”占據(jù)了工業(yè)控制 90% 以上的場景。在具身智能中它主要運行在MCU (電機驅(qū)動器)這一層級。三項之力P (Proportional)現(xiàn)在。誤差越大修正在力度越大。I (Integral)過去。消除穩(wěn)態(tài)誤差比如手臂舉著重物如果只有 P手臂會一直比目標(biāo)低一點點I 會累積這個誤差增加力度把手臂頂上去。D (Derivative)未來。預(yù)測誤差的變化趨勢提供阻尼Damping。防止手臂在到達目標(biāo)位置時沖過頭Overshoot。應(yīng)用場景FOC 電流環(huán)/速度環(huán)確保電機轉(zhuǎn)速嚴格跟隨指令。位置伺服讓機械臂關(guān)節(jié)精準(zhǔn)停在 90 度。局限PID 是“單入單出”SISO的它不知道別的關(guān)節(jié)在干什么也沒法處理多變量耦合比如手臂伸出去慣量變大PID 參數(shù)可能就不準(zhǔn)了。2. MPC (模型預(yù)測控制)具備預(yù)見能力的駕駛員MPC (Model Predictive Control)是一種更高級的控制策略。如果說 PID 是只看后視鏡誤差開車MPC 就是看著前擋風(fēng)玻璃預(yù)測開車。核心邏輯預(yù)測模型機器人心里有一個物理模型比如 FmaFma它能推演如果我未來 1 秒內(nèi)施加這些力我的身體狀態(tài)會怎么變化優(yōu)化求解在每一時刻它都要解一個優(yōu)化問題QP找到一組最優(yōu)的控制序列使得未來 N 步的狀態(tài)最接近目標(biāo)同時消耗能量最少且不違反約束比如關(guān)節(jié)不能反折電機扭矩不能超限。滾動時域雖然算出了未來 10 步的動作但只執(zhí)行第 1 步。下一毫秒根據(jù)新的傳感器反饋重新再算未來 10 步。具身智能中的應(yīng)用足式機器人落點規(guī)劃機器狗在跑的時候MPC 會預(yù)測重心未來的軌跡從而決定下一腳踩在哪里能保持平衡。軌跡跟蹤保證無人車高速過彎時不側(cè)翻。優(yōu)勢天然處理約束 (Constraints)。它永遠不會輸出一個會讓電機燒毀的指令。3. WBC (全身控制)化整為零的協(xié)調(diào)大師WBC (Whole-Body Control)是人形機器人和復(fù)雜多肢體機器人的核心算法。當(dāng)你想讓一個 20 個自由度的人形機器人“左手擦窗戶同時右手揮手還能單腳站立”時PID 和 MPC 就很難處理這種高度耦合的任務(wù)了。核心思想任務(wù)空間 (Task Space) - 關(guān)節(jié)空間 (Joint Space)用戶給出的指令是高層的Hand_Pos (x,y,z),Balance True。WBC 利用機器人的動力學(xué)模型 (Dynamics)將這些高層任務(wù)映射為全身 n 個關(guān)節(jié)的力矩指令。多任務(wù)優(yōu)先級 (Hierarchical Tasks)WBC 通過零空間投影 (Null-space Projection)技術(shù)實現(xiàn)了任務(wù)的優(yōu)先級管理優(yōu)先級 1 (最高)保持平衡。無論干什么重心投影點 (CoM) 必須在腳掌支撐域內(nèi)。優(yōu)先級 2左手擦窗。優(yōu)先級 3右手揮手。優(yōu)先級 4 (最低)姿態(tài)優(yōu)化比如讓關(guān)節(jié)盡量處于舒適區(qū)省電。效果如果右手揮手幅度太大導(dǎo)致要摔倒了WBC 會自動犧牲右手揮手的精度優(yōu)先保證不摔倒。應(yīng)用場景Atlas 機器人的后空翻。Tesla Optimus 行走時的手臂擺動與腰部扭轉(zhuǎn)協(xié)調(diào)。小結(jié)PID是細胞級的反應(yīng)負責(zé)單個肌肉的收縮。MPC是小腦級的預(yù)判負責(zé)短時間內(nèi)的軌跡規(guī)劃與避險。WBC是脊髓級的協(xié)調(diào)負責(zé)調(diào)動全身肌肉去完成復(fù)雜的復(fù)合動作并保證身體的物理一致性。這三者構(gòu)成了經(jīng)典控制的金字塔。在下一節(jié)我們將討論新興的強化學(xué)習(xí) (RL)如何挑戰(zhàn)并補充這個經(jīng)典體系特別是在處理復(fù)雜非結(jié)構(gòu)化地形時的魔力。7.2 強化學(xué)習(xí) (RL) 在運動控制中的應(yīng)用從行走到抓取經(jīng)典控制理論MPC/WBC雖然優(yōu)雅但極其依賴精確的物理模型。如果地面突然變軟泥潭或者機械臂抓起了一個重心未知的重物模型就會失效導(dǎo)致控制發(fā)散。深度強化學(xué)習(xí) (Deep Reinforcement Learning, DRL)提供了一種無需精確建模的解決方案。它通過與環(huán)境的億萬次交互利用神經(jīng)網(wǎng)絡(luò)直接擬合出從感知狀態(tài) (State)到動作指令 (Action)的映射函數(shù)。1. 核心范式端到端學(xué)習(xí) (End-to-End Learning)輸入原始傳感器數(shù)據(jù)關(guān)節(jié)角度、IMU 加速度、甚至深度圖。輸出關(guān)節(jié)電機的位置或力矩指令。黑盒中間不再需要人工設(shè)計的狀態(tài)機或動力學(xué)方程而是一個巨大的神經(jīng)網(wǎng)絡(luò)Policy Network。獎勵函數(shù) (Reward Function)這是人類唯一的干預(yù)手段。Reward 活著的時長 前進速度 - 摔倒懲罰 - 關(guān)節(jié)抖動懲罰 - 能耗懲罰。通過最大化這個分數(shù)機器人會自動涌現(xiàn)出我們期望的行為。2. Locomotion (行走)征服復(fù)雜地形在四足機器人領(lǐng)域RL 已經(jīng)基本取代了經(jīng)典控制成為業(yè)界標(biāo)桿SOTA。盲視運動 (Blind Locomotion)案例ETH Zurich 的 ANYmal 機器狗。原理訓(xùn)練一個基于本體感覺Proprioception的策略網(wǎng)絡(luò)。網(wǎng)絡(luò)不僅輸入當(dāng)前的關(guān)節(jié)狀態(tài)還輸入過去幾秒的歷史狀態(tài)。效果這種時序信息讓網(wǎng)絡(luò)能夠隱式地估計地形屬性。如果腳陷下去了網(wǎng)絡(luò)會“感覺”到并自動抬高腿部軌跡。它能像山羊一樣在亂石堆、滑溜的雪地、甚至?xí)莸拇矇|上行走且極其魯棒。視覺運動 (Visual Locomotion)進階將深度相機的數(shù)據(jù)編碼后喂給 RL 網(wǎng)絡(luò)。效果機器人學(xué)會了“預(yù)判”?？吹角懊娴呐_階它會提前調(diào)整步幅Step Length精準(zhǔn)地踩在臺階邊緣而不是像盲視策略那樣踢到臺階再調(diào)整。動作涌現(xiàn)有趣的是為了跑得更快更穩(wěn)RL 經(jīng)常會訓(xùn)練出一些非常自然的步態(tài)如小跑 Trot、飛奔 Gallop而工程師并沒有顯式地教它這些步態(tài)。3. Manipulation (抓取)解決靈巧操作難題相比于行走只有 12 個自由度靈巧手抓取20 自由度 物體接觸動力學(xué)的維度災(zāi)難更加嚴重經(jīng)典控制幾乎無能為力。Dactyl (OpenAI)單手轉(zhuǎn)魔方。通過 LSTM 網(wǎng)絡(luò)記憶魔方的狀態(tài)利用 PPO 算法訓(xùn)練。它學(xué)會了極其復(fù)雜的手指協(xié)同甚至學(xué)會了利用重力把魔方撥正——這些微操是很難用代碼寫出來的。In-Hand Manipulation (手內(nèi)重操縱)任務(wù)手里拿著一支筆只用手指把筆轉(zhuǎn)一圈。難點需要頻繁地斷開接觸、重新接觸Make and Break Contacts。RL 優(yōu)勢RL 天然不懼怕這種非連續(xù)的動力學(xué)變化只要仿真器夠準(zhǔn)它就能學(xué)會“盤核桃”般的精細操作。Teacher-Student 蒸餾由于視覺輸入維度太高直接訓(xùn)練很難收斂。通常先在仿真中用“全知教師”知道物體精確 6D 姿態(tài)訓(xùn)練一個策略然后蒸餾給只能看點云的“學(xué)生網(wǎng)絡(luò)”。4. 混合架構(gòu)RL WBC 的中庸之道目前在人形機器人如 Digit, Optimus上純端到端 RL 還存在安全隱患神經(jīng)網(wǎng)絡(luò)是個黑盒可能會輸出不可預(yù)測的大力矩打壞自己。因此工業(yè)界傾向于采用RL 上層規(guī)劃 WBC 底層保底的架構(gòu)RL 層50Hz觀察地形輸出期望的落腳點、身體姿態(tài)和擺動腿軌跡。它負責(zé)“隨WBC 層1kHz接收 RL 的指令結(jié)合精確的動力學(xué)模型計算具體的關(guān)節(jié)力矩。它負責(zé)“物理一致性”和“硬約束”比如防止關(guān)節(jié)超限。這種組合既利用了 RL 適應(yīng)復(fù)雜地形的靈活性又保留了經(jīng)典控制的安全性和平滑性。小結(jié)強化學(xué)習(xí)讓機器人從“聽指令的木偶”變成了“有運動天賦的運動員”。在Locomotion領(lǐng)域RL 賦予了機器人像動物一樣的地形適應(yīng)力。在Manipulation領(lǐng)域RL 讓機器人學(xué)會了像魔術(shù)師一樣的靈巧手法。但 RL 的不可解釋性依然是達摩克利斯之劍。在下一節(jié)我們將探討運動控制中的一個隱形殺手——延遲以及它是如何摧毀這些精妙算法的。7.3 延遲敏感性分析控制回路頻率與通信延遲的匹配關(guān)系在具身智能的控制系統(tǒng)中有一個至高無上的法則帶寬 (Bandwidth)。這里的帶寬不是指網(wǎng)速Mbps而是指系統(tǒng)能響應(yīng)多快變化的信號?？刂苹芈返念l率Frequency和通信延遲Latency共同決定了系統(tǒng)的帶寬上限。如果大腦發(fā)出指令的速度跟不上身體傾倒的速度機器人必摔無疑。1. 為什么是 1kHz (1ms)—— 香農(nóng)采樣定理的工程版在高性能機器人尤其是雙足、四足的底層控制中1kHz即 1ms 控制周期是一個事實上的行業(yè)標(biāo)準(zhǔn)。為什么物理動態(tài)特性剛體動力學(xué)告訴我們一個人形機器人失去平衡開始傾倒留給控制器挽救的時間窗口通常在30ms ~ 50ms左右。為了保證控制的平滑和穩(wěn)定我們需要在這個窗口內(nèi)進行至少 20~50 次調(diào)整。50ms/501ms50ms/501ms。這就是 1kHz 的由來。電流環(huán)的需求在 FOC 電機控制中電流的變化速度極快電感效應(yīng)。為了控制電流波形采樣頻率通常高達10kHz ~ 20kHz50μs 周期。這通常由 MCU 硬件定時器完成不經(jīng)過操作系統(tǒng)。2. 通信延遲控制系統(tǒng)的“相位滯后”在控制理論中純延遲Time Delay e?Tse?Ts 會引入相位滯后。??ω×T??ω×T其中 ωω 是信號頻率TT 是延遲時間。相位裕度 (Phase Margin) 的吞噬者一個穩(wěn)定的控制系統(tǒng)通常需要 45°~60° 的相位裕度。如果通信延遲過大相位滯后超過了相位裕度系統(tǒng)就會進入正反饋狀態(tài)——震蕩發(fā)散?，F(xiàn)象機器人的手臂開始像帕金森患者一樣高頻抖動或者雙腿在站立時不斷前后搖擺。定量分析假設(shè)機器人要跟蹤一個 5Hz 的正弦動作如快速跑步。若延遲 T1msT1ms相位滯后 ≈1.8°≈1.8°。忽略不計系統(tǒng)很穩(wěn)。若延遲 T20msT20ms典型 Wi-Fi 延遲相位滯后 ≈36°≈36°。系統(tǒng)極其危險稍有擾動就會失控。結(jié)論對于高動態(tài)機器人通信延遲必須控制在 1/10 的動作周期內(nèi)。3. 匹配關(guān)系短板效應(yīng)控制系統(tǒng)的整體性能取決于最慢的那個環(huán)節(jié)。環(huán)節(jié)典型頻率/耗時瓶頸分析感知 (Sensors)IMU: 1000Hz (1ms)br關(guān)節(jié)編碼器: 10kHz感知通常很快不是瓶頸。傳輸 (Bus)EtherCAT: 100μsbrUSB: 125μsbrWi-Fi 6: 5~10ms無線傳輸是最大的風(fēng)險點。br有線總線通常足夠快。計算 (Compute)WBC 求解 (QP): 0.5~2msbrRL 推理: 0.1ms復(fù)雜的優(yōu)化算法MPC/WBC可能計算超時導(dǎo)致丟幀。執(zhí)行 (Actuation)電機響應(yīng): 1~5ms (機械慣性)物理慣性是無法消除的最終限制。1kHz vs 1ms 的匹配為了實現(xiàn) 1kHz 的控制頻率整個回路讀數(shù)據(jù)傳數(shù)據(jù)算數(shù)據(jù)發(fā)指令必須在1ms內(nèi)跑完。這意味著傳輸耗時不能超過200μs留給計算 800μs。這正是為什么我們強調(diào)EtherCAT和星閃 (SparkLink)的原因——只有它們能提供 100μs 的確定性傳輸。4. 應(yīng)對高延遲的策略如果必須使用高延遲鏈路如 5G 遙控怎么辦預(yù)測控制 (Predictive Control)既然數(shù)據(jù)晚到了我就用模型預(yù)測現(xiàn)在的狀態(tài)用預(yù)測值做控制。這能補償部分相位滯后但犧牲了精度。降低增益 (Low Gain)把 PID 的參數(shù)調(diào)小讓機器人變得“軟”一點、慢一點。雖然響應(yīng)慢了但不容易震蕩。本地反射 (Local Reflex)這是終極解法。把高頻的平衡控制回路1kHz下沉到機器人的本地 MCU 或 智能關(guān)節(jié)里。云端/上層只發(fā)送低頻的目標(biāo)指令10Hz如“向前走”。比喻就像大腦命令“走路”脊髓負責(zé)協(xié)調(diào)肌肉。大腦反應(yīng)慢點沒關(guān)系脊髓快就行。小結(jié)在運動控制中時間就是生命。1kHz是高性能機器人的及格線。通信延遲每增加1ms系統(tǒng)的穩(wěn)定性邊界就收縮一圈。架構(gòu)師的任務(wù)就是通過算力下沉和確定性網(wǎng)絡(luò)在物理延遲不可避免的情況下榨干每一微秒的控制裕度。至此第七部分“運動控制與規(guī)劃”結(jié)束。有了強健的體魄和敏捷的反應(yīng)機器人還需要可靠的組件來支撐這一切。接下來的第8章我們將進入硬件工程的深水區(qū)——執(zhí)行器與機電一體化。