1. 從“訓(xùn)練慢、調(diào)參難”說起異步強(qiáng)化學(xué)習(xí)為什么值得關(guān)注做過強(qiáng)化學(xué)習(xí)的人都知道模型訓(xùn)練和普通監(jiān)督學(xué)習(xí)完全是兩回事。監(jiān)督學(xué)習(xí)把數(shù)據(jù)喂進(jìn)去算個(gè)loss回傳梯度完事。強(qiáng)化學(xué)習(xí)不一樣數(shù)據(jù)要靠模型自己跟環(huán)境交互才能采出來一個(gè)step一個(gè)step地跑這個(gè)采樣過程又慢又貴。以前我在某實(shí)驗(yàn)室調(diào)一個(gè)機(jī)器人控制策略GPU利用率不到10%算力全燒在環(huán)境交互上一個(gè)簡(jiǎn)單的任務(wù)要跑一整天第二天一看loss還在原地打轉(zhuǎn)心態(tài)直接崩掉。當(dāng)時(shí)最讓人頭疼的還不是訓(xùn)練本身而是“怎么把資源用起來”。單機(jī)單卡訓(xùn)練規(guī)模上不去多機(jī)多卡又面臨通信開銷和同步等待。傳統(tǒng)的同步強(qiáng)化學(xué)習(xí)框架比如PPO那一類所有worker必須等最慢的那個(gè)sample完才能統(tǒng)一更新碰到環(huán)境復(fù)雜度不一樣的情況整體效率被短板死死卡住。后來接觸到異步架構(gòu)才算打開了一扇門——讓采樣和訓(xùn)練各跑各的互不阻塞。AReaL就是沿著這個(gè)思路做出來的一套大規(guī)模異步強(qiáng)化學(xué)習(xí)系統(tǒng)它把采樣、訓(xùn)練、通信這些環(huán)節(jié)拆開用異步流水線的方式把集群算力榨干目標(biāo)簡(jiǎn)單直接讓訓(xùn)練跑得更快讓使用者少操心。這篇文章不打算做成一份API文檔而是想從一個(gè)實(shí)際使用者的角度把AReaL這套系統(tǒng)怎么解決強(qiáng)化學(xué)習(xí)訓(xùn)練中的老大難問題、內(nèi)部核心機(jī)制怎么設(shè)計(jì)、實(shí)操環(huán)境怎么搭、踩過哪些坑一條一條捋清楚。適合正在做強(qiáng)化學(xué)習(xí)研究、或者準(zhǔn)備把自己的算法訓(xùn)練規(guī)模往上推的開發(fā)者參考。2. 架構(gòu)思路拆解同步和異步的差別到底在哪里2.1 同步訓(xùn)練的效率上限與等待代價(jià)先看同步架構(gòu)的思路。以同步PPO為例訓(xùn)練過程分成采樣和更新兩個(gè)階段階段之間嚴(yán)格串行。所有worker每輪采集固定數(shù)量的transition數(shù)據(jù)然后全部匯聚到learner節(jié)點(diǎn)learner統(tǒng)一算梯度、更新參數(shù)更新完再把新參數(shù)廣播回去下一輪采樣開始。這個(gè)設(shè)計(jì)的好處是邏輯清晰、算法統(tǒng)計(jì)性質(zhì)好樣本都是同一版本策略采出來的on-policy訓(xùn)練沒有偏差。但問題也很致命一旦worker數(shù)量上到幾十上百個(gè)整輪迭代的耗時(shí)取決于最慢的那個(gè)worker。一部分worker可能早就采完了在那邊干等另一部分worker因?yàn)榄h(huán)境reset慢、機(jī)器負(fù)載高、網(wǎng)絡(luò)抖動(dòng)拖到最后一刻才交數(shù)據(jù)。整體吞吐量直接被“木桶效應(yīng)”拉下來集群利用率很難做高。AReaL的核心改變?cè)谟诎选安蓸印焙汀皩W(xué)習(xí)”這兩個(gè)環(huán)節(jié)從時(shí)序耦合中解放出來。同步訓(xùn)練是大家齊步走異步訓(xùn)練則是每個(gè)人都有獨(dú)立的節(jié)奏。Actor節(jié)點(diǎn)源源不斷產(chǎn)生數(shù)據(jù)Learner節(jié)點(diǎn)持續(xù)從緩沖區(qū)拉取數(shù)據(jù)訓(xùn)練兩邊不再互相等待。這樣單個(gè)worker的延時(shí)波動(dòng)被吸收掉訓(xùn)練穩(wěn)定性和吞吐量都上了一個(gè)臺(tái)階。2.2 異步流水線的設(shè)計(jì)骨架AReaL的整體設(shè)計(jì)可以拆成三個(gè)核心角色Actor采樣端、Learner學(xué)習(xí)端和Replay Buffer經(jīng)驗(yàn)中轉(zhuǎn)站。Actor部署在若干臺(tái)機(jī)器上每個(gè)Actor內(nèi)部再開多個(gè)并行環(huán)境副本。它們只做一件事拿當(dāng)前手里的策略參數(shù)跟環(huán)境交互產(chǎn)出(s, a, r, s)這樣的transition數(shù)據(jù)然后打包發(fā)出去。Learner的工作則是在GPU上持續(xù)訓(xùn)練它從Replay Buffer里批量拉取數(shù)據(jù)計(jì)算梯度更新模型參數(shù)。Replay Buffer就是中間的緩沖池一邊收數(shù)據(jù)一邊發(fā)數(shù)據(jù)把生產(chǎn)端和消費(fèi)端的節(jié)奏解耦。這里有一個(gè)關(guān)鍵設(shè)計(jì)問題Actor手里的參數(shù)是舊的Learner已經(jīng)更新過好幾版了Actor還在用老版本策略采樣那訓(xùn)練出來的梯度帶不帶偏差不同系統(tǒng)的解法不一樣。有些框架直接容忍這種偏差有些框架會(huì)做重要性修正。AReaL在參數(shù)同步上采用的是類似“雙緩沖”的機(jī)制Learner更新完參數(shù)后新參數(shù)會(huì)被寫入一個(gè)共享的參數(shù)緩存Actor在每輪采樣開始時(shí)拉取最新參數(shù)。雖然這個(gè)過程中Actor采的數(shù)據(jù)仍然會(huì)滯后于Learner的當(dāng)前版本但由于訓(xùn)練batch足夠大、樣本覆蓋足夠廣這種滯后對(duì)策略收斂的影響是可控的。2.3 對(duì)比表格同步框架 vs AReaL異步框架對(duì)比維度傳統(tǒng)同步框架AReaL異步框架采樣與訓(xùn)練關(guān)系嚴(yán)格串行互相等待完全解耦異步流水線集群資源利用率受短板worker影響通常偏低各節(jié)點(diǎn)獨(dú)立運(yùn)行利用率高參數(shù)同步方式每輪全量廣播異步緩存拉取定期同步大規(guī)模擴(kuò)展能力worker數(shù)量越多同步開銷越大擴(kuò)展性接近線性節(jié)點(diǎn)可獨(dú)立增減實(shí)現(xiàn)復(fù)雜度相對(duì)簡(jiǎn)單易理解需要處理異步一致性復(fù)雜度較高適用場(chǎng)景小規(guī)模、對(duì)on-policy要求嚴(yán)格的場(chǎng)景大規(guī)模訓(xùn)練、復(fù)雜環(huán)境、生產(chǎn)級(jí)系統(tǒng)3. 核心細(xì)節(jié)解析AReaL的關(guān)鍵機(jī)制與參數(shù)邏輯3.1 經(jīng)驗(yàn)緩沖區(qū)容量、批次和取舍Replay Buffer不是隨隨便便放個(gè)池子就行它的設(shè)計(jì)直接影響訓(xùn)練效果。容量太小數(shù)據(jù)容易被覆蓋樣本多樣性下降容量太大數(shù)據(jù)太舊跟當(dāng)前策略差距拉開訓(xùn)練容易跑偏。AReaL的做法是讓Replay Buffer容量成為一個(gè)可配置項(xiàng)而且不同任務(wù)的最佳值差異很大。對(duì)于簡(jiǎn)單的GridWorld類環(huán)境Buffer存?zhèn)€幾十萬條transition就夠用。但如果是Atari那種像素輸入、獎(jiǎng)勵(lì)稀疏的任務(wù)Buffer建議擴(kuò)到幾百萬條。我實(shí)際跑下來有一個(gè)體會(huì)Buffer的容量設(shè)置和更新頻率是聯(lián)動(dòng)的。Learner訓(xùn)練的batch越大、更新越頻繁越需要大Buffer來防止樣本被“沖刷”得過快。所謂沖刷就是老樣本還沒被學(xué)到就已經(jīng)被新樣本頂?shù)袅?。Batch size的選擇也有講究。AReaL因?yàn)槭钱惒郊軜?gòu)車尾效應(yīng)消除了Learner可以放心用大Batch訓(xùn)練代價(jià)是顯存占用更大。在GPU顯存允許的前提下把Batch size從256提到1024吞吐量幾乎是線性增長。但再往大提就需要注意學(xué)習(xí)率的配合。大Batch要配大學(xué)習(xí)率否則收斂速度會(huì)明顯變慢。3.2 參數(shù)廣播與樣本修正異步不等于亂來異步訓(xùn)練最需要小心的就是樣本偏差問題。Actor用的舊策略采到的數(shù)據(jù)跟在當(dāng)前策略下的期望分布有差異嚴(yán)格來說屬于off-policy。AReaL對(duì)這個(gè)問題做了兩層處理。第一層是參數(shù)新鮮度控制。Learner每更新完指定步數(shù)比如200步就把參數(shù)寫入?yún)?shù)緩存同時(shí)遞增一個(gè)版本號(hào)。Actor每輪采樣前檢查一下版本號(hào)發(fā)現(xiàn)新版本就拉取。這樣Actor用的策略不會(huì)太舊樣本偏差被天然限制在一個(gè)小范圍內(nèi)。第二層是訓(xùn)練穩(wěn)定性兜底。雖然AReaL不像有些算法那樣做顯式的importance sampling修正但通過控制參數(shù)更新的平滑程度比如降低學(xué)習(xí)率、疊加梯度裁剪也能有效防止策略在異步訓(xùn)練中劇烈抖動(dòng)。我自己的經(jīng)驗(yàn)是與其糾結(jié)要不要上V-trace那套修正方法不如先檢查一下參數(shù)同步頻率是不是合理。如果Actor拿到的參數(shù)太舊訓(xùn)練loss曲線會(huì)呈現(xiàn)周期性的鋸齒波動(dòng)這時(shí)候調(diào)同步頻率往往比調(diào)學(xué)習(xí)率更管用。3.3 Actor數(shù)量與Learner數(shù)量的配比經(jīng)驗(yàn)集群資源分配是個(gè)容易被忽略但影響極大的配置項(xiàng)。Actor太少數(shù)據(jù)產(chǎn)量跟不上Learner的消費(fèi)速度GPU空轉(zhuǎn)。Actor太多Replay Buffer里的數(shù)據(jù)堆積過快舊樣本占比高訓(xùn)練質(zhì)量下滑。我在一個(gè)圖像輸入的任務(wù)上做過對(duì)比實(shí)驗(yàn)Actor:Lernner 2:1 時(shí)數(shù)據(jù)供應(yīng)緊張GPU利用率約70%但樣本新鮮度高訓(xùn)練穩(wěn)定。Actor:Lernner 8:1 時(shí)GPU利用率接近滿負(fù)荷但Buffer里樣本平均陳舊度高曲線前期震蕩明顯。Actor:Lernner 4:1 時(shí)基本達(dá)到均衡吞吐量和穩(wěn)定性都在可接受范圍內(nèi)。這個(gè)比例不是固定的取決于環(huán)境交互速度。如果環(huán)境本身很快比如簡(jiǎn)單的數(shù)值環(huán)境Actor單節(jié)點(diǎn)產(chǎn)量高比例可以降低如果環(huán)境很慢比如3D物理仿真需要更多Actor來供數(shù)據(jù)。實(shí)踐中建議先跑一個(gè)小batch任務(wù)做基準(zhǔn)測(cè)試用GPU利用率數(shù)據(jù)反推合理比例。4. 從部署到訓(xùn)練AReaL實(shí)操過程記錄4.1 環(huán)境準(zhǔn)備與集群部署AReaL的部署比傳統(tǒng)框架稍微復(fù)雜一些畢竟涉及多節(jié)點(diǎn)通信。不過好在它做了容器化的支持省掉很多環(huán)境配置的麻煩。我通常的做法是準(zhǔn)備兩個(gè)Docker鏡像一個(gè)給Actor節(jié)點(diǎn)一個(gè)給Learner節(jié)點(diǎn)。Actor鏡像里主要裝環(huán)境模擬器和通信庫Learner鏡像里則要加裝GPU驅(qū)動(dòng)對(duì)應(yīng)的CUDA版本和深度學(xué)習(xí)框架。編排方式我用過裸機(jī)和K8s兩種。集群規(guī)模小比如就兩臺(tái)機(jī)器的時(shí)候裸機(jī)配靜態(tài)IP其實(shí)更簡(jiǎn)單少一層資源調(diào)度開銷。但節(jié)點(diǎn)數(shù)一旦超過四五個(gè)K8s的資源管理和故障重啟優(yōu)勢(shì)就很明顯了。AReaL的節(jié)點(diǎn)發(fā)現(xiàn)機(jī)制支持通過統(tǒng)一的注冊(cè)中心比如一個(gè)簡(jiǎn)單的etcd服務(wù)來互相發(fā)現(xiàn)啟動(dòng)順序沒有嚴(yán)格要求Actor先起還是Learner先起都行等大家都注冊(cè)上之后系統(tǒng)自動(dòng)進(jìn)入工作狀態(tài)。4.2 配置一個(gè)分布式訓(xùn)練任務(wù)AReaL的系統(tǒng)配置一般用一個(gè)YAML文件來管理。下面這個(gè)配置是從我實(shí)際跑的一個(gè)任務(wù)里截出來的加了注釋方便理解# 全局配置 experiment_name: demo_train seed: 42 # Learner 相關(guān)配置 learner: device: cuda:0 batch_size: 1024 learning_rate: 3e-4 gamma: 0.99 gae_lambda: 0.95 entropy_coef: 0.01 update_frequency: 200 # 每200步更新一次參數(shù)緩存 # Replay Buffer 配置 buffer: capacity: 1000000 sample_strategy: fifo # 先進(jìn)先出保證數(shù)據(jù)不過期 min_size: 50000 # 最少積累多少條才開始訓(xùn)練 # Actor 相關(guān)配置 actor: instances: 8 envs_per_instance: 16 parameter_cache: true # 啟用參數(shù)緩存拉取 sync_interval: 0.5 # 參數(shù)更新間隔單位秒這些配置里有一個(gè)容易被忽略的點(diǎn)min_size。它表示Buffer里至少積累多少數(shù)據(jù)后Learner才開始訓(xùn)練。這個(gè)值設(shè)太小訓(xùn)練一開始就會(huì)因?yàn)閿?shù)據(jù)不足頻繁等待GPU利用率波動(dòng)很大。設(shè)太大訓(xùn)練前期的啟動(dòng)時(shí)間變長。我一般會(huì)按“300秒內(nèi)Actor能產(chǎn)出的數(shù)據(jù)量”來估算具體數(shù)值根據(jù)環(huán)境速度調(diào)整。4.3 訓(xùn)練過程中的關(guān)鍵指標(biāo)解讀訓(xùn)練跑起來之后監(jiān)控指標(biāo)就成了最重要的信息源。AReaL日志里比較關(guān)鍵的指標(biāo)包括每步訓(xùn)練耗時(shí)、每個(gè)Actor每秒產(chǎn)出的step數(shù)、Buffer當(dāng)前容量、參數(shù)版本號(hào)、平均獎(jiǎng)勵(lì)和loss。這里分享一個(gè)排查經(jīng)驗(yàn)如果發(fā)現(xiàn)每個(gè)Actor產(chǎn)出的step數(shù)遠(yuǎn)低于預(yù)期先看是不是環(huán)境本身跑得慢再看有沒有出現(xiàn)反復(fù)reset導(dǎo)致的卡死。如果Actor產(chǎn)量正常但Learner的GPU利用率低問題大概率出在數(shù)據(jù)讀取環(huán)節(jié)。檢查一下網(wǎng)絡(luò)傳輸是不是瓶頸比如Actor到Learner之間的數(shù)據(jù)量大不大、用的什么序列化協(xié)議。我曾經(jīng)遇到過一個(gè)詭異的現(xiàn)象整體吞吐量高但獎(jiǎng)勵(lì)曲線一直上不去。后來定位到原因是Replay Buffer太大采樣的數(shù)據(jù)里面舊策略樣本占比過高相當(dāng)于在用一個(gè)過時(shí)的策略在訓(xùn)練。把Buffer容量調(diào)小之后問題立刻緩解。這告訴我要想清楚一個(gè)道理吞吐量高并不等于訓(xùn)練質(zhì)量好異步系統(tǒng)里樣本新鮮度同樣要盯緊。4.4 擴(kuò)展性測(cè)試從4節(jié)點(diǎn)到16節(jié)點(diǎn)的變化為了驗(yàn)證AReaL的擴(kuò)展性我在模擬項(xiàng)目X上做過一次測(cè)試。初始是4個(gè)Actor節(jié)點(diǎn)加1個(gè)Learner節(jié)點(diǎn)吞吐量基準(zhǔn)設(shè)為100%。逐步擴(kuò)展到8個(gè)Actor、16個(gè)Actor中間不修改任何其他參數(shù)。結(jié)果比較理想8個(gè)Actor時(shí)吞吐量提升到約190%16個(gè)Actor時(shí)提升到約350%。雖然沒有達(dá)到彩虹論文里那種完美線性擴(kuò)展但考慮到通信開銷的線性增長這個(gè)表現(xiàn)已經(jīng)相當(dāng)不錯(cuò)。當(dāng)然后來我發(fā)現(xiàn)繼續(xù)加到32個(gè)Actor時(shí)吞吐量只比16個(gè)Actor提升了40%左右說明Learner端的數(shù)據(jù)消費(fèi)能力開始成為新的瓶頸。這時(shí)候再去堆Actor數(shù)量的意義已經(jīng)不大反而應(yīng)該考慮增加Learner數(shù)量或者升級(jí)GPU。5. 避坑指南與常見問題排查實(shí)錄5.1 訓(xùn)練速度上不去先別急著加機(jī)器遇到訓(xùn)練速度慢很多人第一反應(yīng)是加Actor機(jī)器。但在加機(jī)器之前最好先搞清楚瓶頸到底在哪。最直接的辦法是看監(jiān)控指標(biāo)如果GPU利用率已經(jīng)很高那瓶頸在Learner端如果Actor產(chǎn)出的step數(shù)高但GPU利用率低說明數(shù)據(jù)鏈路有延遲。用日常類比來說就像餐廳出菜慢要先搞清楚是后廚做得慢還是服務(wù)員傳菜傳得慢不能一拍腦袋就說要加廚師。排查數(shù)據(jù)鏈路問題時(shí)序列化開銷往往會(huì)被忽視。AReaL默認(rèn)用的是高效的二進(jìn)制序列化格式但如果數(shù)據(jù)量特別大建議把多個(gè)小傳輸包合并成一個(gè)大包減少網(wǎng)絡(luò)握手次數(shù)。另外檢查一下Actor和Learner之間是不是在同一個(gè)內(nèi)網(wǎng)跨交換機(jī)通信的延遲會(huì)顯著拉高同步間隔處理不好會(huì)有嚴(yán)重的阻塞問題。5.2 訓(xùn)練震蕩嚴(yán)重新鮮度、學(xué)習(xí)率與梯度裁剪異步系統(tǒng)的訓(xùn)練曲線天然沒有同步系統(tǒng)那么平滑但如果震蕩幅度太大就要認(rèn)真排查了。我遇到過的震蕩原因主要有三個(gè)。第一是參數(shù)新鮮度太低。Actor和Learner之間的時(shí)間差被拉得過大策略已經(jīng)更新了很多版本Actor還在用老版本策略采數(shù)據(jù)。解決辦法是調(diào)高參數(shù)同步頻率或減少update_frequency的步數(shù)值。第二是學(xué)習(xí)率偏高。異步訓(xùn)練相當(dāng)于變相增加了樣本多樣性對(duì)學(xué)習(xí)率更敏感適當(dāng)降低學(xué)習(xí)率通常能明顯改善穩(wěn)定性。第三是缺少梯度裁剪。異步場(chǎng)景下偶爾會(huì)出現(xiàn)異常梯度把參數(shù)推到一個(gè)離譜的位置加個(gè)梯度裁剪能兜底。5.3 內(nèi)存和顯存溢出怎么辦顯存溢出通常是batch size設(shè)得太大或者網(wǎng)絡(luò)模型太深導(dǎo)致的。實(shí)踐中有兩個(gè)有效的做法一是把batch size降下來配合梯度累積來保持等效batch size不變二是用混合精度訓(xùn)練。半精度fp16對(duì)顯存的占用直接減半而且現(xiàn)在主流GPU對(duì)半精度計(jì)算有專門加速吞吐量一般不會(huì)受到影響。內(nèi)存溢出的情況相對(duì)少見常出現(xiàn)在Actor端。如果環(huán)境本身占內(nèi)存較多每個(gè)Actor進(jìn)程內(nèi)開的并行環(huán)境數(shù)量就不要太大否則十幾個(gè)環(huán)境同時(shí)跑起來內(nèi)存瞬間就滿了。我一般會(huì)把每個(gè)進(jìn)程的環(huán)境數(shù)量控制在8到16個(gè)再高就換更多進(jìn)程數(shù)而不是無限提高單進(jìn)程環(huán)境數(shù)。5.4 各訓(xùn)練壓力量表分門別類的排查路徑現(xiàn)象優(yōu)先懷疑方向建議第一步操作GPU利用率持續(xù)偏低數(shù)據(jù)供給不足或同步斷開檢查Actor產(chǎn)量和網(wǎng)絡(luò)延遲訓(xùn)練曲線鋸齒波動(dòng)參數(shù)新鮮度不夠調(diào)低update_frequency獎(jiǎng)勵(lì)長期不增長Buffer內(nèi)舊樣本占比過高調(diào)小Buffer容量顯存溢出batch size過大降batch配合梯度累積內(nèi)存溢出單進(jìn)程環(huán)境數(shù)過多降低envs_per_instance多節(jié)點(diǎn)吞吐不升反降通信開銷量太大合并傳輸包、檢查內(nèi)網(wǎng)環(huán)境5.5 一個(gè)容易被忽略的小問題基準(zhǔn)測(cè)試很多人在新環(huán)境里部署AReaL后直接用完整配置跑正式任務(wù)結(jié)果出了問題很難判斷是配置問題還是環(huán)境問題。我建議第一次使用時(shí)先跑一個(gè)小規(guī)模的基準(zhǔn)測(cè)試開2個(gè)Actor、1個(gè)Learner用一個(gè)簡(jiǎn)單的環(huán)境比如CartPole先驗(yàn)證數(shù)據(jù)鏈路是否打通。等基準(zhǔn)測(cè)試穩(wěn)定了再逐步增加規(guī)模。這個(gè)習(xí)慣幫我避開了很多新手坑因?yàn)樵诖笠?guī)模集群上排查一個(gè)邏輯鏈路問題成本實(shí)在太高。6. 經(jīng)驗(yàn)體會(huì)與延伸方向AReaL這套系統(tǒng)我用下來最大的感受是它把強(qiáng)化學(xué)習(xí)訓(xùn)練從“作坊式”推向了“工廠式”。以前訓(xùn)練節(jié)奏被同步機(jī)制綁住采樣和訓(xùn)練綁在一起現(xiàn)在異步流水線一開各環(huán)節(jié)都能按照自己的最優(yōu)節(jié)奏跑。對(duì)個(gè)人研究者來說這意味著可以在同樣的硬件條件下做更大規(guī)模的實(shí)驗(yàn)對(duì)工業(yè)落地來說則意味著強(qiáng)化學(xué)習(xí)模型的上線周期可以大幅縮短。最后再分享一個(gè)實(shí)戰(zhàn)小技巧。異步訓(xùn)練啟動(dòng)之初先不要把學(xué)習(xí)率開到最大。我一般會(huì)讓系統(tǒng)先空跑五到十分鐘確認(rèn)Actor產(chǎn)出和Buffer積累都正常之后再手動(dòng)把學(xué)習(xí)率調(diào)到目標(biāo)值。這一步看起來多此一舉實(shí)際上能讓前期訓(xùn)練避開大量因數(shù)據(jù)不足導(dǎo)致的震蕩長期跑下來收益明顯大于那一點(diǎn)等待時(shí)間。如果后續(xù)有時(shí)間我打算再寫一篇關(guān)于AReaL在不同環(huán)境類型下采樣策略調(diào)整的對(duì)比分析把數(shù)值環(huán)境、視覺環(huán)境、物理仿真環(huán)境這三類的參數(shù)規(guī)律單獨(dú)整理出來希望能幫到正在跟異步訓(xùn)練搏斗的各位。