量人形機(jī)器人示教數(shù)據(jù)：Psi0的PICO遙操作+RealSense相機(jī)完整工作流)
如何采集高質(zhì)量人形機(jī)器人示教數(shù)據(jù)Psi0的PICO遙操作RealSense相機(jī)完整工作流【免費(fèi)下載鏈接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ps/Psi0Ψ?Psi0是面向通用人形智能的開源視覺-語言-動作VLA基礎(chǔ)模型專為 Unitree G1 人形機(jī)器人設(shè)計(jì)。本文手把手教你用PICO VR 頭顯遙操作 RealSense 相機(jī)實(shí)時回傳的完整工作流在真實(shí)機(jī)器人上錄制高質(zhì)量示教數(shù)據(jù)——無需編程基礎(chǔ)跟著步驟走即可完成從環(huán)境搭建到數(shù)據(jù)入庫的全過程。一、工作流全景三臺設(shè)備各司其職Psi0 的數(shù)據(jù)采集系統(tǒng)由三個角色協(xié)同完成理解分工是上手的第一步設(shè)備角色負(fù)責(zé)的工作G1 機(jī)器人板載 PC圖像服務(wù)器采集 RealSense 相機(jī)畫面RGB紅外深度通過 ZMQ 實(shí)時推送主機(jī)/工作站遙操作大腦運(yùn)行遙操作主控進(jìn)程接收 PICO 追蹤數(shù)據(jù)驅(qū)動機(jī)器人并寫入數(shù)據(jù)PICO 頭顯操作輸入可視化頭部位姿、控制器、手部追蹤輸入同時看到機(jī)器人的第一視角畫面整個鏈路的核心邏輯操作員佩戴 PICO 進(jìn)行人在回路示教機(jī)器人頭戴的 RealSense 相機(jī)把畫面回傳給 PICO你看到的視角與模型訓(xùn)練時的視角完全一致保證數(shù)據(jù)所見即所得。二、環(huán)境搭建一次配好不再折騰2.1 主機(jī)部署環(huán)境在主機(jī)上創(chuàng)建 conda 環(huán)境包含逆運(yùn)動學(xué)庫和 CUDA 綁定等全部依賴conda env create -f real/psi_deploy_env.yaml conda activate psi_deploy環(huán)境定義文件見 psi_deploy_env.yaml。完整安裝說明含 Unitree SDK2 與本地包安裝在 real/README.md。2.2 PICO 串流服務(wù)主機(jī)需安裝 PICO 官方 XRoboToolkit PC Service 與 pybind SDKPICO 頭顯內(nèi)安裝對應(yīng)的 Robotics 客戶端確保兩者連接同一個 WiFi。具體命令步驟參見 real/README.md 中 PICO Only Setup 章節(jié)。2.3 RealSense 圖像服務(wù)器部署在機(jī)器人上這是工作流的眼睛。在 G1 板載 PC 上安裝依賴并啟動服務(wù)pip install pyrealsense2 opencv-python zmq numpy python realsense_server.py服務(wù)腳本 realsense_server.py 會以640×480 30fps同時采集 RGB、雙目紅外和深度流并通過 ZMQ端口 5556向主機(jī)推送最新幀。啟動后終端會提示RealSense: RGB IR Depth active.看到即可。 提示圖像服務(wù)器只在機(jī)器人 PC 上運(yùn)行主機(jī)和 PICO 都不需要裝相機(jī)驅(qū)動。三、PICO 連接與參數(shù)配置照著界面三步走PICO 客戶端界面分為三大面板按以下順序配置① Tracking追蹤面板勾選Head、Controller、Hand三個追蹤項(xiàng)打開Send開關(guān)讓主機(jī)收到頭部位姿、手柄與手部數(shù)據(jù)。② Remote Vision遠(yuǎn)程視覺面板選擇ZEDMINI點(diǎn)擊Listen再在彈窗中輸入主機(jī)的 IP 地址并 Confirm——這一步是把機(jī)器人相機(jī)畫面接回到 PICO 的關(guān)鍵。③ Data Collection數(shù)據(jù)采集面板保持默認(rèn)即可狀態(tài)欄顯示W(wǎng)ORKING表示串流鏈路已建立。??最后一步很關(guān)鍵把 PICO 手柄放在一旁等待頭顯自動激活手部追蹤模式你眼前會出現(xiàn)虛擬手掌。Psi0 的靈巧手控制就依賴這套手部追蹤而不是手柄。四、任務(wù)元數(shù)據(jù)準(zhǔn)備讓每條數(shù)據(jù)都有標(biāo)簽高質(zhì)量數(shù)據(jù)的前提是任務(wù)定義清晰。在real/teleop/task_defs/目錄下新建一個 JSON 文件描述任務(wù)格式參考 example.json{ tasks: [ { title: Walk towards the desk and use an air pump on the desk, category: Locomotion, objects: air pump, desk, description: Walk to the desk, locate the air pump, and operate it by pressing or squeezing. } ] }四個字段都有用title是任務(wù)名、category是任務(wù)大類、objects列出涉及的物體、description是詳細(xì)的自然語言指令——后者正是 VLA 模型的語言輸入寫具體、寫動作細(xì)節(jié)按下/擠壓而非籠統(tǒng)的操作能顯著提升微調(diào)效果。然后在real/teleop/目錄下運(yùn)行python taskcreator.py腳本 taskcreator.py 會自動為每個任務(wù)生成data/任務(wù)名/大類/標(biāo)題/metadata/metadata.json的目錄結(jié)構(gòu)后續(xù)錄制的 episode 都會歸檔到對應(yīng)目錄訓(xùn)練時直接按目錄讀取。五、開機(jī)到錄制標(biāo)準(zhǔn)操作流程 SOP??安全警告所有人員必須與機(jī)器人保持足夠安全距離按順序執(zhí)行以下 8 步這是 Psi0 官方推薦的遙操作標(biāo)準(zhǔn)流程詳見 real/README.md網(wǎng)絡(luò)打通主機(jī)直連 G1把主機(jī)對應(yīng)網(wǎng)卡 IP 設(shè)為192.168.123.123掩碼 255.255.255.0。機(jī)器人進(jìn)開發(fā)模式用遙控器按L2 B再L2 R2低版本固件為L1 A再L2 R2。吊起機(jī)器人用吊帶把 G1 懸空腳尖輕觸地面即可防止晃動摔倒。啟動圖像服務(wù)器G1 PC 上運(yùn)行python realsense_server.py。啟動遙操作主控主機(jī)上進(jìn)入real/teleop/運(yùn)行export CYCLONEDDS_URICycloneDDSDomainGeneralNetworkInterfaceAddress192.168.123.123/NetworkInterfaceAddress/General/Domain/CycloneDDS python main.py --robot g1 --pico_streamer --pico_ip 192.168.0.128入口腳本 main.py 會拉起master運(yùn)動控制和worker數(shù)據(jù)寫入兩個進(jìn)程等待兩者都進(jìn)入 waiting 狀態(tài)。PICO 進(jìn)入會話按 Remote Vision 配置好的地址連接點(diǎn)擊Enter VR和Allow。循環(huán)錄制 episode用下面的快捷鍵控制整個采集過程主控以30Hz頻率寫入數(shù)據(jù)見 manager.py按鍵作用s開始錄制一條新 episodeq成功完成保存當(dāng)前 episoded失敗丟棄當(dāng)前 episodeexit結(jié)束程序收尾官方建議每個任務(wù)至少錄制 40 條 episode用q/d嚴(yán)格篩選失敗的軌跡堅(jiān)決丟棄。 數(shù)據(jù)寫入采用異步隊(duì)列設(shè)計(jì)writers.py 中的AsyncWriter/AsyncImageWriter圖像和關(guān)節(jié)狀態(tài)各自落盤互不阻塞不會拖累 30Hz 的控制回路。六、SONIC 全身體控路線一條命令啟動采集如果使用 Ψ? 配套的 SONIC 全身控制棧G1 Dex1 靈巧夾爪采集入口被封裝成單條命令自動管理 tmux 會話和多進(jìn)程生命周期bash real/SONIC/scripts/collect_psi0-sonic-data.sh \ --camera-host 192.168.123.164 \ --network enp4s0 \ --task-prompt Pick up the object and place it in the container. \ --dataset-name sonic_dex1 \ --root-output-dir $HOME/data啟動腳本 collect_psi0-sonic-data.sh 會委托 SONIC 官方 launcher 完成相機(jī)服務(wù)器、PICO 管理器、數(shù)據(jù)導(dǎo)出器與 RTC 客戶端的完整編排并復(fù)用 SIMPLE 的 Remote Vision 通道把機(jī)器人ego_view畫面回傳給 PICO實(shí)現(xiàn)見 pico_camera_view.py。PICO 手柄快捷鍵對照real/SONIC/README.md按鍵組合功能長按右搖桿按下 0.6 秒策略模型 開/關(guān)左握把 A開始/停止一條 episode左握把 Y丟棄當(dāng)前 episodeA XPlanner 與全身 POSE 模式切換按Ctrl\可終止整個采集會話。七、從原始數(shù)據(jù)到可訓(xùn)練格式三步入庫錄好的原始數(shù)據(jù)不能直接訓(xùn)練需要轉(zhuǎn)換為 LeRobot 格式并計(jì)算歸一化統(tǒng)計(jì)量以 SONIC 路線為例scripts/data/ 下有現(xiàn)成工具python scripts/data/raw_sonic_to_psi_lerobot.py \ --data-root $HOME/data/sonic_dex1 \ --work-dir $PWD/data/sonic/lerobot \ --repo-id sonic_dex1 --robot-type g1 --end-effector dex1_virtual14 python scripts/data/calc_modality_stats.py \ --task-dir $PWD/data/sonic/lerobot/sonic_dex1raw_sonic_to_psi_lerobot.py把原始遙操作記錄轉(zhuǎn)成 LeRobot 數(shù)據(jù)集保留稠密的手部關(guān)節(jié)目標(biāo)calc_modality_stats.py計(jì)算各模態(tài)的均值/范圍等統(tǒng)計(jì)量生成meta/stats.json訓(xùn)練時用于動作歸一化。之后直接用 Psi0 官方 SONIC 訓(xùn)練配置如 finetune-real-sonic-psi0.sh開始微調(diào)無需改動任何模型或訓(xùn)練器代碼。八、新手避坑清單質(zhì)量到底差在哪常見問題正確做法任務(wù)描述寫得含糊description中寫清路徑動作物體如走到桌前按壓氣泵失敗 episode 隨手混入一律按d丟棄寧缺毋濫每條任務(wù)只錄幾條每任務(wù) ≥ 40 條覆蓋不同初始位姿與物體擺放相機(jī)畫面被手臂遮擋示范時保持頭部相機(jī)朝向任務(wù)區(qū)域別低頭過猛手部追蹤丟失手部在 PICO 視野內(nèi)、光線充足丟失后重新擺正雙手再繼續(xù)數(shù)據(jù)與視角不一致務(wù)必通過 Remote Vision 看機(jī)器人第一視角操作而不是看場地大屏訓(xùn)練報歸一化錯誤轉(zhuǎn)換后漏跑calc_modality_stats.py補(bǔ)跑并復(fù)制為stats_psi0.json寫在最后整套工作流的設(shè)計(jì)哲學(xué)可以總結(jié)為一句話操作員戴 PICO成為機(jī)器人RealSense 就是它的眼睛30Hz 異步落盤保證控制與寫入互不干擾。按本文流程走一遍你就有了一份標(biāo)簽清晰、視角一致、質(zhì)量可控的 G1 示教數(shù)據(jù)集——這正是 Ψ? 用少量遙操作數(shù)據(jù)就能微調(diào)出新技能的關(guān)鍵所在。【免費(fèi)下載鏈接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ps/Psi0創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何采集高質(zhì)量人形機(jī)器人示教數(shù)據(jù)：Psi0的PICO遙操作+RealSense相機(jī)完整工作流
如何采集高質(zhì)量人形機(jī)器人示教數(shù)據(jù)Psi0的PICO遙操作RealSense相機(jī)完整工作流【免費(fèi)下載鏈接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ps/Psi0Ψ?Psi0是面向通用人形智能的開源視覺-語言-動作VLA基礎(chǔ)模型專為 Unitree G1 人形機(jī)器人設(shè)計(jì)。本文手把手教你用PICO VR 頭顯遙操作 RealSense 相機(jī)實(shí)時回傳的完整工作流在真實(shí)機(jī)器人上錄制高質(zhì)量示教數(shù)據(jù)——無需編程基礎(chǔ)跟著步驟走即可完成從環(huán)境搭建到數(shù)據(jù)入庫的全過程。一、工作流全景三臺設(shè)備各司其職Psi0 的數(shù)據(jù)采集系統(tǒng)由三個角色協(xié)同完成理解分工是上手的第一步設(shè)備角色負(fù)責(zé)的工作G1 機(jī)器人板載 PC圖像服務(wù)器采集 RealSense 相機(jī)畫面RGB紅外深度通過 ZMQ 實(shí)時推送主機(jī)/工作站遙操作大腦運(yùn)行遙操作主控進(jìn)程接收 PICO 追蹤數(shù)據(jù)驅(qū)動機(jī)器人并寫入數(shù)據(jù)PICO 頭顯操作輸入可視化頭部位姿、控制器、手部追蹤輸入同時看到機(jī)器人的第一視角畫面整個鏈路的核心邏輯操作員佩戴 PICO 進(jìn)行人在回路示教機(jī)器人頭戴的 RealSense 相機(jī)把畫面回傳給 PICO你看到的視角與模型訓(xùn)練時的視角完全一致保證數(shù)據(jù)所見即所得。二、環(huán)境搭建一次配好不再折騰2.1 主機(jī)部署環(huán)境在主機(jī)上創(chuàng)建 conda 環(huán)境包含逆運(yùn)動學(xué)庫和 CUDA 綁定等全部依賴conda env create -f real/psi_deploy_env.yaml conda activate psi_deploy環(huán)境定義文件見 psi_deploy_env.yaml。完整安裝說明含 Unitree SDK2 與本地包安裝在 real/README.md。2.2 PICO 串流服務(wù)主機(jī)需安裝 PICO 官方 XRoboToolkit PC Service 與 pybind SDKPICO 頭顯內(nèi)安裝對應(yīng)的 Robotics 客戶端確保兩者連接同一個 WiFi。具體命令步驟參見 real/README.md 中 PICO Only Setup 章節(jié)。2.3 RealSense 圖像服務(wù)器部署在機(jī)器人上這是工作流的眼睛。在 G1 板載 PC 上安裝依賴并啟動服務(wù)pip install pyrealsense2 opencv-python zmq numpy python realsense_server.py服務(wù)腳本 realsense_server.py 會以640×480 30fps同時采集 RGB、雙目紅外和深度流并通過 ZMQ端口 5556向主機(jī)推送最新幀。啟動后終端會提示RealSense: RGB IR Depth active.看到即可。 提示圖像服務(wù)器只在機(jī)器人 PC 上運(yùn)行主機(jī)和 PICO 都不需要裝相機(jī)驅(qū)動。三、PICO 連接與參數(shù)配置照著界面三步走PICO 客戶端界面分為三大面板按以下順序配置① Tracking追蹤面板勾選Head、Controller、Hand三個追蹤項(xiàng)打開Send開關(guān)讓主機(jī)收到頭部位姿、手柄與手部數(shù)據(jù)。② Remote Vision遠(yuǎn)程視覺面板選擇ZEDMINI點(diǎn)擊Listen再在彈窗中輸入主機(jī)的 IP 地址并 Confirm——這一步是把機(jī)器人相機(jī)畫面接回到 PICO 的關(guān)鍵。③ Data Collection數(shù)據(jù)采集面板保持默認(rèn)即可狀態(tài)欄顯示W(wǎng)ORKING表示串流鏈路已建立。??最后一步很關(guān)鍵把 PICO 手柄放在一旁等待頭顯自動激活手部追蹤模式你眼前會出現(xiàn)虛擬手掌。Psi0 的靈巧手控制就依賴這套手部追蹤而不是手柄。四、任務(wù)元數(shù)據(jù)準(zhǔn)備讓每條數(shù)據(jù)都有標(biāo)簽高質(zhì)量數(shù)據(jù)的前提是任務(wù)定義清晰。在real/teleop/task_defs/目錄下新建一個 JSON 文件描述任務(wù)格式參考 example.json{ tasks: [ { title: Walk towards the desk and use an air pump on the desk, category: Locomotion, objects: air pump, desk, description: Walk to the desk, locate the air pump, and operate it by pressing or squeezing. } ] }四個字段都有用title是任務(wù)名、category是任務(wù)大類、objects列出涉及的物體、description是詳細(xì)的自然語言指令——后者正是 VLA 模型的語言輸入寫具體、寫動作細(xì)節(jié)按下/擠壓而非籠統(tǒng)的操作能顯著提升微調(diào)效果。然后在real/teleop/目錄下運(yùn)行python taskcreator.py腳本 taskcreator.py 會自動為每個任務(wù)生成data/任務(wù)名/大類/標(biāo)題/metadata/metadata.json的目錄結(jié)構(gòu)后續(xù)錄制的 episode 都會歸檔到對應(yīng)目錄訓(xùn)練時直接按目錄讀取。五、開機(jī)到錄制標(biāo)準(zhǔn)操作流程 SOP??安全警告所有人員必須與機(jī)器人保持足夠安全距離按順序執(zhí)行以下 8 步這是 Psi0 官方推薦的遙操作標(biāo)準(zhǔn)流程詳見 real/README.md網(wǎng)絡(luò)打通主機(jī)直連 G1把主機(jī)對應(yīng)網(wǎng)卡 IP 設(shè)為192.168.123.123掩碼 255.255.255.0。機(jī)器人進(jìn)開發(fā)模式用遙控器按L2 B再L2 R2低版本固件為L1 A再L2 R2。吊起機(jī)器人用吊帶把 G1 懸空腳尖輕觸地面即可防止晃動摔倒。啟動圖像服務(wù)器G1 PC 上運(yùn)行python realsense_server.py。啟動遙操作主控主機(jī)上進(jìn)入real/teleop/運(yùn)行export CYCLONEDDS_URICycloneDDSDomainGeneralNetworkInterfaceAddress192.168.123.123/NetworkInterfaceAddress/General/Domain/CycloneDDS python main.py --robot g1 --pico_streamer --pico_ip 192.168.0.128入口腳本 main.py 會拉起master運(yùn)動控制和worker數(shù)據(jù)寫入兩個進(jìn)程等待兩者都進(jìn)入 waiting 狀態(tài)。PICO 進(jìn)入會話按 Remote Vision 配置好的地址連接點(diǎn)擊Enter VR和Allow。循環(huán)錄制 episode用下面的快捷鍵控制整個采集過程主控以30Hz頻率寫入數(shù)據(jù)見 manager.py按鍵作用s開始錄制一條新 episodeq成功完成保存當(dāng)前 episoded失敗丟棄當(dāng)前 episodeexit結(jié)束程序收尾官方建議每個任務(wù)至少錄制 40 條 episode用q/d嚴(yán)格篩選失敗的軌跡堅(jiān)決丟棄。 數(shù)據(jù)寫入采用異步隊(duì)列設(shè)計(jì)writers.py 中的AsyncWriter/AsyncImageWriter圖像和關(guān)節(jié)狀態(tài)各自落盤互不阻塞不會拖累 30Hz 的控制回路。六、SONIC 全身體控路線一條命令啟動采集如果使用 Ψ? 配套的 SONIC 全身控制棧G1 Dex1 靈巧夾爪采集入口被封裝成單條命令自動管理 tmux 會話和多進(jìn)程生命周期bash real/SONIC/scripts/collect_psi0-sonic-data.sh \ --camera-host 192.168.123.164 \ --network enp4s0 \ --task-prompt Pick up the object and place it in the container. \ --dataset-name sonic_dex1 \ --root-output-dir $HOME/data啟動腳本 collect_psi0-sonic-data.sh 會委托 SONIC 官方 launcher 完成相機(jī)服務(wù)器、PICO 管理器、數(shù)據(jù)導(dǎo)出器與 RTC 客戶端的完整編排并復(fù)用 SIMPLE 的 Remote Vision 通道把機(jī)器人ego_view畫面回傳給 PICO實(shí)現(xiàn)見 pico_camera_view.py。PICO 手柄快捷鍵對照real/SONIC/README.md按鍵組合功能長按右搖桿按下 0.6 秒策略模型 開/關(guān)左握把 A開始/停止一條 episode左握把 Y丟棄當(dāng)前 episodeA XPlanner 與全身 POSE 模式切換按Ctrl\可終止整個采集會話。七、從原始數(shù)據(jù)到可訓(xùn)練格式三步入庫錄好的原始數(shù)據(jù)不能直接訓(xùn)練需要轉(zhuǎn)換為 LeRobot 格式并計(jì)算歸一化統(tǒng)計(jì)量以 SONIC 路線為例scripts/data/ 下有現(xiàn)成工具python scripts/data/raw_sonic_to_psi_lerobot.py \ --data-root $HOME/data/sonic_dex1 \ --work-dir $PWD/data/sonic/lerobot \ --repo-id sonic_dex1 --robot-type g1 --end-effector dex1_virtual14 python scripts/data/calc_modality_stats.py \ --task-dir $PWD/data/sonic/lerobot/sonic_dex1raw_sonic_to_psi_lerobot.py把原始遙操作記錄轉(zhuǎn)成 LeRobot 數(shù)據(jù)集保留稠密的手部關(guān)節(jié)目標(biāo)calc_modality_stats.py計(jì)算各模態(tài)的均值/范圍等統(tǒng)計(jì)量生成meta/stats.json訓(xùn)練時用于動作歸一化。之后直接用 Psi0 官方 SONIC 訓(xùn)練配置如 finetune-real-sonic-psi0.sh開始微調(diào)無需改動任何模型或訓(xùn)練器代碼。八、新手避坑清單質(zhì)量到底差在哪常見問題正確做法任務(wù)描述寫得含糊description中寫清路徑動作物體如走到桌前按壓氣泵失敗 episode 隨手混入一律按d丟棄寧缺毋濫每條任務(wù)只錄幾條每任務(wù) ≥ 40 條覆蓋不同初始位姿與物體擺放相機(jī)畫面被手臂遮擋示范時保持頭部相機(jī)朝向任務(wù)區(qū)域別低頭過猛手部追蹤丟失手部在 PICO 視野內(nèi)、光線充足丟失后重新擺正雙手再繼續(xù)數(shù)據(jù)與視角不一致務(wù)必通過 Remote Vision 看機(jī)器人第一視角操作而不是看場地大屏訓(xùn)練報歸一化錯誤轉(zhuǎn)換后漏跑calc_modality_stats.py補(bǔ)跑并復(fù)制為stats_psi0.json寫在最后整套工作流的設(shè)計(jì)哲學(xué)可以總結(jié)為一句話操作員戴 PICO成為機(jī)器人RealSense 就是它的眼睛30Hz 異步落盤保證控制與寫入互不干擾。按本文流程走一遍你就有了一份標(biāo)簽清晰、視角一致、質(zhì)量可控的 G1 示教數(shù)據(jù)集——這正是 Ψ? 用少量遙操作數(shù)據(jù)就能微調(diào)出新技能的關(guān)鍵所在。【免費(fèi)下載鏈接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ps/Psi0創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考