很多剛接觸強(qiáng)化學(xué)習(xí)的同學(xué)第一個(gè)崩潰點(diǎn)往往不在算法推導(dǎo)而在環(huán)境接口。網(wǎng)上教程張嘴就是env.step(action)可一旦你真去寫(xiě)reset返回什么、step返回幾個(gè)值、action_space到底是個(gè)什么對(duì)象每一步都可能把人卡住。gym 環(huán)境庫(kù)就是這套交互標(biāo)準(zhǔn)的核心載體它把智能體怎么跟任務(wù)世界打交道這件抽象的事固化成了幾個(gè)極其具體的方法和數(shù)據(jù)結(jié)構(gòu)。你不需要懂每個(gè)環(huán)境內(nèi)部的物理引擎也不用關(guān)心游戲畫(huà)面怎么渲染只要會(huì)按接口規(guī)范操作就能在幾十個(gè)現(xiàn)成任務(wù)上快速驗(yàn)證強(qiáng)化學(xué)習(xí)算法。這篇文章我會(huì)先講清楚 gym 環(huán)境庫(kù)在整個(gè)強(qiáng)化學(xué)習(xí)里的定位然后手把手帶你把 CartPole 跑起來(lái)再?gòu)挠^測(cè)空間、動(dòng)作空間、內(nèi)置環(huán)境、自定義環(huán)境、訓(xùn)練循環(huán)這些角度逐一拆開(kāi)揉碎。適合剛學(xué)強(qiáng)化學(xué)習(xí)、想看明白別人代碼里環(huán)境部分在干嘛的同學(xué)也適合準(zhǔn)備自己造環(huán)境、跑實(shí)驗(yàn)的讀者。讀完你會(huì)發(fā)現(xiàn)環(huán)境庫(kù)沒(méi)那么玄乎它更像是一張寫(xiě)得明明白白的接口合同剩下的只是熟練。1. 為什么所有強(qiáng)化學(xué)習(xí)例程都從 gym.make 開(kāi)始環(huán)境接口的歷史角色1.1 算法實(shí)現(xiàn)與任務(wù)環(huán)境為什么要解耦強(qiáng)化學(xué)習(xí)的最基本框架是智能體不斷在環(huán)境里試錯(cuò)觀察狀態(tài)、做出動(dòng)作、拿到獎(jiǎng)勵(lì)、再看新?tīng)顟B(tài)。聽(tīng)起來(lái)很簡(jiǎn)單但一旦落到代碼里麻煩就來(lái)了。不同任務(wù)的世界觀完全不同控制一根倒立桿要看桿的角度玩射擊游戲要看畫(huà)面像素讓小車爬坡要看位置和速度。如果每個(gè)任務(wù)都自己寫(xiě)一套接口那么每換一個(gè)任務(wù)算法代碼就要跟著改一遍這幾乎等于沒(méi)法做研究也沒(méi)法做工程復(fù)用。環(huán)境庫(kù)存在的意義就是把任務(wù)怎么做和算法怎么學(xué)這兩件事徹底分開(kāi)。算法側(cè)只認(rèn)一個(gè)抽象的環(huán)境對(duì)象不需要知道里面是物理仿真還是游戲模擬器只要負(fù)責(zé)接收觀測(cè)、給出動(dòng)作、消費(fèi)獎(jiǎng)勵(lì)。環(huán)境側(cè)只需要按照統(tǒng)一規(guī)范把狀態(tài)、獎(jiǎng)勵(lì)、終止信號(hào)交出來(lái)至于狀態(tài)是怎么算出來(lái)的它不關(guān)心。于是同一套策略網(wǎng)絡(luò)、同一套更新公式就能從一個(gè)任務(wù)無(wú)縫切到另一個(gè)任務(wù)。這也是為什么你在各種強(qiáng)化學(xué)習(xí)教程里都看到gym.make它更像是整個(gè)實(shí)驗(yàn)流程的入口文件。1.2 gym 環(huán)境庫(kù)的合同到底是什么我把 gym 的接口理解成一份合同你遵守這份合同就能跟它底下的幾十種任務(wù)無(wú)縫協(xié)作。合同的核心是五個(gè)要素。第一是環(huán)境構(gòu)造通常用gym.make(環(huán)境名)直接加載一個(gè)現(xiàn)成任務(wù)。第二是reset()回合開(kāi)始前把環(huán)境恢復(fù)到初始狀態(tài)并給你一個(gè)初始觀測(cè)。第三是step(action)你把智能體當(dāng)前回合要做的動(dòng)作傳進(jìn)去環(huán)境模擬一步后返回新的觀測(cè)、獎(jiǎng)勵(lì)、是否結(jié)束等信息。第四是observation_space和action_space這兩個(gè)屬性告訴你狀態(tài)和動(dòng)作的合法范圍與數(shù)據(jù)結(jié)構(gòu)算法網(wǎng)絡(luò)怎么搭、輸出層怎么設(shè)計(jì)全看它們。第五是render()和close()負(fù)責(zé)可視化與資源釋放。類比一下它就像家電的標(biāo)準(zhǔn)化插座。你不需要知道每一臺(tái)電器內(nèi)部的電路怎么走只需要把插頭做成統(tǒng)一規(guī)格插上去就能用。環(huán)境庫(kù)就是那個(gè)統(tǒng)一規(guī)格的插座算法是電器任務(wù)是電源。協(xié)議一旦固定下來(lái)維護(hù)成本直線下降。2. 把第一個(gè)環(huán)境跑起來(lái)CartPole 的完整交互循環(huán)2.1 安裝與版本先確認(rèn)你拿到的是哪一代接口安裝 gym 非常簡(jiǎn)單一條命令的事pip install gym裝完以后我強(qiáng)烈建議你先做一件事打印一下環(huán)境本身并執(zhí)行一次reset和一次step確認(rèn)自己手上的接口是哪個(gè)版本。因?yàn)?gym 社區(qū)經(jīng)歷過(guò)好幾次 API 調(diào)整不同教程基于不同版本代碼經(jīng)常對(duì)不上。import gym env gym.make(CartPole-v1) print(env.reset()) print(env.step(env.action_space.sample()))如果你的輸出像這樣說(shuō)明你拿的是新版接口(array([ 0.034, 0.018, -0.023, 0.014]), {}) (array([ 0.035, -0.032, -0.023, 0.055]), 1.0, False, False, {})新版reset()返回兩個(gè)值初始觀測(cè)和一個(gè) info 字典step()返回五個(gè)值觀測(cè)、獎(jiǎng)勵(lì)、終止標(biāo)志、截?cái)鄻?biāo)志、info。如果你的輸出比這少或者只剩一個(gè)觀測(cè)說(shuō)明教程是在老版本接口上寫(xiě)的。判斷清楚版本再動(dòng)手比硬著頭皮跑通代碼重要得多。很多報(bào)錯(cuò)根本不是邏輯問(wèn)題而是接口字段數(shù)量對(duì)不上。2.2 最小交互循環(huán)裝好之后我們用 CartPole 寫(xiě)一個(gè)最小可運(yùn)行的交互循環(huán)。CartPole 的任務(wù)很直白一根桿子立在可移動(dòng)的小車上你要通過(guò)對(duì)小車施加向左或向右的力讓桿子盡量保持豎直不倒下。import gym env gym.make(CartPole-v1) obs, info env.reset(seed42) print(初始觀測(cè):, obs, 額外信息:, info) for step in range(5): action env.action_space.sample() # 隨機(jī)選一個(gè)合法動(dòng)作 obs, reward, terminated, truncated, info env.step(action) done terminated or truncated print(f第{step 1}步 | 動(dòng)作: {action} | 觀測(cè): {obs} | 獎(jiǎng)勵(lì): {reward} | 結(jié)束: {done}) if done: obs, info env.reset() break env.close()這段代碼的關(guān)鍵點(diǎn)有三個(gè)動(dòng)作要直接從action_space.sample()里取保證它一定合法terminated和truncated要用or合并成done因?yàn)檫@倆任何一種情況都意味著本回合結(jié)束回合結(jié)束之后一定要調(diào)用reset()讓環(huán)境回到新的初始狀態(tài)才能開(kāi)始下一回合。2.3 理解 step 返回的值觀測(cè)、獎(jiǎng)勵(lì)、終止、截?cái)?、額外信息step返回的五個(gè)值乍看簡(jiǎn)單但每個(gè)都有講究。第一個(gè)是觀測(cè)也就是智能體在下一步能看到的世界狀態(tài)。CartPole 的觀測(cè)是一個(gè)四維向量每一項(xiàng)都有明確的物理含義維度含義大致范圍0小車位置-4.8 到 4.81小車速度-Inf 到 Inf2桿與豎直方向夾角-24° 到 24°3桿頂端角速度-Inf 到 Inf第二個(gè)是獎(jiǎng)勵(lì)。CartPole 的獎(jiǎng)勵(lì)很簡(jiǎn)單每存活一步就加 1。所以一回合如果堅(jiān)持了 200 步總回報(bào)就是 200。第三個(gè)和第四個(gè)是結(jié)束標(biāo)志。這里有一個(gè)很多新手容易忽略的區(qū)分terminated表示環(huán)境自己判定任務(wù)結(jié)束比如桿倒了、車沖出了邊界truncated表示環(huán)境還沒(méi)結(jié)束但因?yàn)檫_(dá)到最大步數(shù)或外部條件被強(qiáng)制截?cái)唷＠习姹纠镞@倆合并成一個(gè)done新版本拆開(kāi)了對(duì)訓(xùn)練過(guò)程影響不小后面我會(huì)詳細(xì)說(shuō)。第五個(gè)是 info 字典一般用來(lái)放調(diào)試信息比如某些游戲的真實(shí)計(jì)分、剪枝后額外使用的數(shù)據(jù)。正常情況下訓(xùn)練用不到它但如果你做算法調(diào)優(yōu)它是很好的參照。3. 讀懂 spaces 模塊觀測(cè)空間與動(dòng)作空間就是算法的邊界條件3.1 主流空間類型和它們的形狀語(yǔ)義observation_space和action_space是環(huán)境給算法的最重要提示你的輸入是什么形狀你的輸出該怎么約束。這兩個(gè)屬性不是普通元組而是 gym 的 spaces 對(duì)象寫(xiě)算法之前必須先搞懂它們。最常見(jiàn)的幾種空間類型如下空間類型含義典型場(chǎng)景Discrete(n)離散整數(shù)動(dòng)作取值 0 到 n-1CartPole 的左右推、走迷宮的方向Box(low, high, shape)連續(xù)向量或矩陣每個(gè)元素有上下界Pendulum 的連續(xù)扭矩、圖像像素矩陣MultiDiscrete(nvec)多個(gè)離散維度組合同時(shí)控制多個(gè)可調(diào)檔位MultiBinary(n)元素只能取 0 或 1 的向量開(kāi)關(guān)組合類控制問(wèn)題Dict(spaces)多個(gè)子空間組成的字典混合觀測(cè)比如同時(shí)有傳感器和圖像為什么要強(qiáng)調(diào)這是 spaces 對(duì)象因?yàn)楣庥行螤钸€不夠你還需要知道取值邊界、到底離散還是連續(xù)、采樣一個(gè)隨機(jī)合法動(dòng)作怎么弄。這些信息都封裝在對(duì)象的方法和屬性里了。3.2 從 space 對(duì)象能提取什么信息實(shí)際寫(xiě)代碼的時(shí)候我?guī)缀趺看味紩?huì)先做這樣一個(gè)打印import gym import numpy as np env gym.make(CartPole-v1) print(動(dòng)作空間:, env.action_space) print(觀測(cè)空間:, env.observation_space) print(離散動(dòng)作數(shù):, env.action_space.n) print(觀測(cè)形狀:, env.observation_space.shape) random_action env.action_space.sample() print(隨機(jī)動(dòng)作:, random_action, type(random_action)) sample_obs env.observation_space.sample() print(隨機(jī)觀測(cè):, sample_obs) print(觀測(cè)下界:, env.observation_space.low) print(觀測(cè)上界:, env.observation_space.high)以 CartPole 為例你會(huì)看到動(dòng)作空間是Discrete(2)說(shuō)明合法的動(dòng)作只有 0 和 1觀測(cè)空間是Box(4,)形狀是(4,)。這里observation_space.low和high非常有用它直接給出了每個(gè)維度的取值范圍。如果你要做輸入歸一化或者要判斷一個(gè)狀態(tài)是否越界這兩個(gè)數(shù)組就是依據(jù)。另一個(gè)容易踩坑的點(diǎn)是類型。Discrete采樣出來(lái)的動(dòng)作是整數(shù)類型而很多神經(jīng)網(wǎng)絡(luò)的輸出是浮點(diǎn)概率分布或浮點(diǎn)標(biāo)量。如果你要自己把 softmax 輸出的概率轉(zhuǎn)成動(dòng)作記得用int()轉(zhuǎn)一下否則傳進(jìn)step可能會(huì)直接報(bào)錯(cuò)或者被環(huán)境庫(kù)靜默強(qiáng)制轉(zhuǎn)換造成難以排查的行為異常。4. 內(nèi)置環(huán)境群像從 CartPole 到像素級(jí)街機(jī)每個(gè)任務(wù)都是一道強(qiáng)化學(xué)習(xí)考題4.1 幾個(gè)典型內(nèi)置環(huán)境的對(duì)照與教學(xué)點(diǎn)gym 自帶的環(huán)境非常多從最簡(jiǎn)控制問(wèn)題到像素級(jí)游戲都有。環(huán)境多不是重點(diǎn)重點(diǎn)是你應(yīng)該從每個(gè)任務(wù)里讀出它想考你什么。我整理了幾個(gè)經(jīng)典型號(hào)供你挑訓(xùn)練用環(huán)境動(dòng)作空間觀測(cè)空間獎(jiǎng)勵(lì)特征它考你什么CartPole-v1離散 2Box(4,)每步 1最基礎(chǔ)的狀態(tài)表示與穩(wěn)定控制Pendulum-v1連續(xù) 1 維Box(3,)每步都有負(fù)分連續(xù)動(dòng)作控制、負(fù)獎(jiǎng)勵(lì)設(shè)計(jì)MountainCar-v0離散 3Box(2,)每步 -1到達(dá)山頂才結(jié)束稀疏獎(jiǎng)勵(lì)與延遲獎(jiǎng)勵(lì)需要探索LunarLander-v2離散 4Box(8,)分段獎(jiǎng)勵(lì)成功 100多維度狀態(tài)、多階段目標(biāo)、燃料控制像素級(jí)街機(jī)環(huán)境離散若干圖像 Box取決于游戲規(guī)則視覺(jué)輸入、CNN、高維觀測(cè)學(xué)習(xí)拿 Pendulum 來(lái)說(shuō)它的目標(biāo)是讓擺錘倒立起來(lái)動(dòng)作是連續(xù)扭矩。它返回的 reward 永遠(yuǎn)是一個(gè)負(fù)的二次型數(shù)值越接近理想狀態(tài)越接近 0。也就是說(shuō)這不是攢分越高越好的環(huán)境而是虧損越少越好。你評(píng)估算法時(shí)就得用回合總回報(bào)的回升趨勢(shì)來(lái)判斷而不是看單步獎(jiǎng)勵(lì)是否為正。MountainCar 則更陰險(xiǎn)。小車在谷底發(fā)動(dòng)機(jī)功率不夠直接沖坡永遠(yuǎn)上不去需要先來(lái)回?fù)u晃積蓄動(dòng)能。每步扣 1 分只有到達(dá)山頂才結(jié)束。這個(gè)環(huán)境是天然的稀疏獎(jiǎng)勵(lì)試金石很多初學(xué)者用最簡(jiǎn)單的隨機(jī)策略跑這個(gè)任務(wù)會(huì)發(fā)現(xiàn)永遠(yuǎn)結(jié)束不了從而誤以為環(huán)境卡死了。其實(shí)這正是它的教學(xué)目的讓你理解獎(jiǎng)勵(lì)稀疏時(shí)探索有多難。4.2 跑陌生環(huán)境之前先來(lái)一次環(huán)境體檢我養(yǎng)成了一個(gè)習(xí)慣拿到任何陌生環(huán)境不急著寫(xiě)算法先做一次體檢。體檢腳本大概長(zhǎng)這樣import gym import numpy as np env gym.make(環(huán)境名) obs, info env.reset(seed0) print(空間信息:, env.observation_space, env.action_space) returns [] for episode in range(10): obs, info env.reset() total_reward 0 done False while not done: action env.action_space.sample() obs, reward, terminated, truncated, info env.step(action) total_reward reward done terminated or truncated returns.append(total_reward) print(f回合 {episode 1} 總回報(bào): {total_reward}) print(隨機(jī)策略平均回報(bào):, np.mean(returns)) print(隨機(jī)策略回報(bào)標(biāo)準(zhǔn)差:, np.std(returns))這個(gè)過(guò)程能讓你在 5 分鐘內(nèi)知道動(dòng)作空間有多大、觀測(cè)數(shù)據(jù)長(zhǎng)什么樣、隨機(jī)策略大概能拿多少分、回合最長(zhǎng)能跑多少步。這個(gè)東西稱不上高級(jí)但能避免你在一個(gè)自身設(shè)計(jì)有問(wèn)題的任務(wù)上盲目調(diào)算法。比如某個(gè)環(huán)境隨機(jī)策略回報(bào)的標(biāo)準(zhǔn)差極大說(shuō)明單次回合的隨機(jī)性很高訓(xùn)練時(shí)就要適當(dāng)多采幾條軌跡。5. 手寫(xiě)一個(gè)自定義環(huán)境從空實(shí)現(xiàn)到可訓(xùn)練五步走完整過(guò)程5.1 自定義環(huán)境的骨架五個(gè)必須實(shí)現(xiàn)的方法很多場(chǎng)景下內(nèi)置環(huán)境不夠用比如你想研究一個(gè)全新的業(yè)務(wù)調(diào)度問(wèn)題、想給本科生設(shè)計(jì)一個(gè)可視化教學(xué)環(huán)境這時(shí)候就得自己寫(xiě)環(huán)境。別怕只要照著骨架填內(nèi)容就行。我以一個(gè) 5×5 網(wǎng)格尋寶為例智能體從左上角出發(fā)目標(biāo)是右下角的寶藏每走一步可以用上、下、左、右四個(gè)動(dòng)作。狀態(tài)是當(dāng)前所在格子編號(hào)碰到寶藏給 1 分走 50 步?jīng)]拿到就截?cái)唷mport gym import numpy as np from gym import spaces class GridWalkingEnv(gym.Env): def __init__(self, size5): super().__init__() self.size size self.action_space spaces.Discrete(4) self.observation_space spaces.Discrete(size * size) self.start_state 0 self.goal_state size * size - 1 self.state None self.steps 0 self.max_steps 50 def reset(self, *, seedNone, optionsNone): super().reset(seedseed) self.state self.start_state self.steps 0 return self._get_obs(), {} def _get_obs(self): return self.state def step(self, action): row, col divmod(self.state, self.size) if action 0: row max(0, row - 1) # 上 elif action 1: row min(self.size - 1, row 1) # 下 elif action 2: col max(0, col - 1) # 左 elif action 3: col min(self.size - 1, col 1) # 右 self.state row * self.size col self.steps 1 reward 1.0 if self.state self.goal_state else 0.0 terminated self.state self.goal_state truncated self.steps self.max_steps info {} return self._get_obs(), reward, terminated, truncated, info def render(self): for row in range(self.size): line for col in range(self.size): idx row * self.size col if idx self.state: line A elif idx self.goal_state: line G else: line . print(line) def close(self): pass這個(gè)類看起來(lái)不長(zhǎng)但它把 gym 環(huán)境的全部契約都實(shí)現(xiàn)了reset返回(obs, info)step返回(obs, reward, terminated, truncated, info)并且定義了action_space和observation_space。5.2 從能跑到科學(xué)可信獎(jiǎng)勵(lì)設(shè)計(jì)、隨機(jī)性、終止條件代碼能跑只是第一步自定義環(huán)境真正難的是設(shè)計(jì)是否合理。首先看獎(jiǎng)勵(lì)。上面這個(gè)尋寶環(huán)境用的是 0/1 獎(jiǎng)勵(lì)只有到達(dá)終點(diǎn)才給 1 分。如果你直接拿它訓(xùn)練智能體前幾百回合大概率什么都學(xué)不到因?yàn)殡S機(jī)走 5×5 網(wǎng)格碰到終點(diǎn)的概率太低了。常見(jiàn)的改進(jìn)是增加距離懲罰每走一步扣 0.01或者給接近終點(diǎn)的狀態(tài)一點(diǎn)塑形獎(jiǎng)勵(lì)讓策略梯度有信號(hào)可循。但也別獎(jiǎng)勵(lì)給得太密太密會(huì)誘導(dǎo)智能體原地刷獎(jiǎng)勵(lì)而不是真正走向終點(diǎn)。其次看隨機(jī)性。如果你的環(huán)境里涉及隨機(jī)初始化比如隨機(jī)放置起點(diǎn)和終點(diǎn)一定要把隨機(jī)數(shù)的生成交給self.np_random而不是直接用 Python 的random模塊。因?yàn)閞eset()里調(diào)用了super().reset(seedseed)gym 會(huì)幫你維護(hù)一個(gè)可復(fù)現(xiàn)的隨機(jī)源。直接調(diào)用super().reset(seedseed)這件事尤其重要很多私有環(huán)境寫(xiě)完后 seed 無(wú)效問(wèn)題就出在這里。第三看終止條件。我故意在尋寶環(huán)境里加了max_steps50就是為了讓訓(xùn)練不會(huì)無(wú)限循環(huán)。如果你不設(shè)這個(gè)上限一個(gè)永遠(yuǎn)完不成任務(wù)的環(huán)境會(huì)讓訓(xùn)練腳本掛在那里表面上看起來(lái)是算法還在學(xué)實(shí)際上已經(jīng)死循環(huán)了。terminated和truncated的語(yǔ)義也要分開(kāi)找到寶藏是terminated步數(shù)超限是truncated這兩者對(duì)后續(xù)算法的影響不同。5.3 環(huán)境注冊(cè)與直接使用兩種加載方式自定義環(huán)境寫(xiě)完后有兩種用法。第一種也是最簡(jiǎn)單的方式直接實(shí)例化這個(gè)類不用通過(guò)gym.make。這樣在調(diào)試單腳本時(shí)最方便你可以直接在文件里 new 一個(gè)對(duì)象然后調(diào)reset、step跑循環(huán)。缺點(diǎn)是沒(méi)法套用 gym 的包裝器和統(tǒng)一配置。第二種是注冊(cè)到環(huán)境注冊(cè)表這樣就可以像內(nèi)置環(huán)境一樣gym.make(GridWalk-v0)加載。方法是在模塊里調(diào)用注冊(cè)函數(shù)from gym.envs.registration import register register( idGridWalk-v0, entry_point你的模塊名:GridWalkingEnv, max_episode_steps50, )注冊(cè)的好處是統(tǒng)一管理你可以通過(guò)max_episode_steps給環(huán)境加上默認(rèn)的時(shí)間截?cái)噙€能配合后續(xù)要講的并行環(huán)境工具一并用。但我得提醒你如果只在單個(gè)腳本里做實(shí)驗(yàn)注冊(cè)反而多一層負(fù)擔(dān)不如直接實(shí)例化省得處理模塊路徑問(wèn)題。6. 寫(xiě)訓(xùn)練循環(huán)時(shí)的環(huán)境側(cè)細(xì)節(jié)重置、截?cái)?、并行與隨機(jī)種子的連鎖反應(yīng)6.1 最容易寫(xiě)錯(cuò)的循環(huán)結(jié)構(gòu)環(huán)境代碼本身寫(xiě)清楚了還要寫(xiě)對(duì)使用它的訓(xùn)練循環(huán)。我見(jiàn)過(guò)太多新手在循環(huán)結(jié)構(gòu)上陰溝翻船。標(biāo)準(zhǔn)的智能體與環(huán)境交互大致是這樣obs, info env.reset() for step in range(max_steps_per_episode): action agent.act(obs) next_obs, reward, terminated, truncated, info env.step(action) agent.learn(obs, action, reward, next_obs, terminated, truncated) obs next_obs if terminated or truncated: obs, info env.reset() break這里有個(gè)順序問(wèn)題obs必須在reset()之后立刻拿到接著在步進(jìn)后立刻更新為next_obs而不是在圖省事的情況下把reset()放在循環(huán)開(kāi)頭。如果每步都調(diào)一次reset()環(huán)境永遠(yuǎn)不會(huì)有進(jìn)展如果不及時(shí)更新obs智能體拿到的就是上一時(shí)刻的狀態(tài)時(shí)序就亂了。6.2 時(shí)間限制與回合統(tǒng)計(jì)的陷阱當(dāng)我們從環(huán)境拿到terminatedTrue或truncatedTrue時(shí)很多訓(xùn)練算法都會(huì)把它們統(tǒng)一當(dāng)成回合結(jié)束來(lái)處理。在簡(jiǎn)單代碼里這問(wèn)題不大但如果你寫(xiě)的是帶自舉的算法比如 DQN 或者帶有價(jià)值網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)就必須區(qū)分。道理很簡(jiǎn)單terminatedTrue意味著任務(wù)真正結(jié)束之后沒(méi)有下一狀態(tài)價(jià)值目標(biāo)里不應(yīng)該加未來(lái)回報(bào)truncatedTrue只是步數(shù)到了上限任務(wù)本身還可以繼續(xù)這時(shí)候如果也把未來(lái)回報(bào)砍掉會(huì)嚴(yán)重低估這個(gè)狀態(tài)的價(jià)值。CartPole 里 500 步的截?cái)嗑褪且粋€(gè)典型例子。很多用老接口done一把抓的訓(xùn)練腳本在 CartPole 上長(zhǎng)期訓(xùn)練后會(huì)出現(xiàn)價(jià)值估計(jì)偏差根子就在這里。我建議在訓(xùn)練循環(huán)里把這兩個(gè)標(biāo)志分開(kāi)存進(jìn) info或者至少讓 loss 計(jì)算時(shí)分別處理。如果你的算法庫(kù)不區(qū)分那就把截?cái)酄顟B(tài)單獨(dú)標(biāo)記下來(lái)在計(jì)算回報(bào)時(shí)按未來(lái)還有延續(xù)的方式處理。6.3 多環(huán)境并行與隨機(jī)種子的管理單環(huán)境交互的樣本速度往往不夠。實(shí)際訓(xùn)練里通常一次性開(kāi)多個(gè)并行的環(huán)境副本讓智能體同時(shí)采集大量軌跡再用這些樣本更新網(wǎng)絡(luò)。多環(huán)境并行在接口上不算復(fù)雜核心是向量化多個(gè)環(huán)境實(shí)例打包成一個(gè)向量環(huán)境對(duì)象一次step同時(shí)推進(jìn)所有副本。并行環(huán)境的隨機(jī)種子管理是重災(zāi)區(qū)。如果你給每個(gè)環(huán)境設(shè)置同一個(gè) seed它們初始狀態(tài)完全一樣采集到的軌跡天然重復(fù)訓(xùn)練多樣性大打折扣。正確做法是讓每個(gè)副本獲得不同的 seeddef make_env(rank, seed_base0): def _thunk(): env gym.make(CartPole-v1) env.reset(seedseed_base rank) return env return _thunk同時(shí)np.random.seed、Python 內(nèi)置random.seed、環(huán)境的 random source 是三套互相獨(dú)立的隨機(jī)體系。很多實(shí)驗(yàn)復(fù)現(xiàn)不出來(lái)不是因?yàn)樗惴ㄓ须S機(jī)性而是只給環(huán)境設(shè)了 seed忘了給 PyTorch 或 NumPy 設(shè)置種子。想要可復(fù)現(xiàn)所有隨機(jī)源都要在入口統(tǒng)一初始化。7. 踩過(guò)的坑和繞過(guò)的彎gym 環(huán)境使用的七條經(jīng)驗(yàn)7.1 版本接口不同引發(fā)的連鎖問(wèn)題我見(jiàn)過(guò)最浪費(fèi)時(shí)間的一次 debug是把老教程里的done四元組硬套到新版本環(huán)境上。step返回五個(gè)值之后解包直接報(bào)錯(cuò)。這種問(wèn)題表面上是語(yǔ)法錯(cuò)誤實(shí)際上是整個(gè)接口語(yǔ)義的升級(jí)。遇到這種情況先打印一下當(dāng)前環(huán)境的返回結(jié)構(gòu)再對(duì)照教程去改比盲猜快得多。7.2 渲染用于檢查不要開(kāi)著訓(xùn)練render()確實(shí)能讓你看到智能體在做什么但代價(jià)是大量 CPU 和內(nèi)存開(kāi)銷。我早期經(jīng)常開(kāi)著渲染訓(xùn)練覺(jué)得看著它在學(xué)很有感覺(jué)結(jié)果一個(gè)步驟從毫秒級(jí)拖到幾百毫秒訓(xùn)練速度掉了一個(gè)數(shù)量級(jí)。正確做法是訓(xùn)練時(shí)完全關(guān)閉渲染實(shí)在想看就把模式調(diào)成rgb_array隔一段時(shí)間手動(dòng)采樣一幀存下來(lái)觀察。7.3 陌生環(huán)境先跑隨機(jī)策略這一步我已強(qiáng)調(diào)過(guò)但值得再放一遍任何新環(huán)境先跑 10-20 回合隨機(jī)策略記錄獎(jiǎng)勵(lì)均值和回合長(zhǎng)度。這不是浪費(fèi)時(shí)間而是在給算法設(shè)定一個(gè)下限參照。如果隨機(jī)策略的平均回報(bào)是負(fù)分而你的算法跑了一百回合還在負(fù)分附近說(shuō)明訓(xùn)練可能沒(méi)生效如果隨機(jī)策略就能拿到正分說(shuō)明任務(wù)太簡(jiǎn)單可能檢驗(yàn)不出算法的提升。這個(gè)參照幾乎能幫你在所有環(huán)境上快速判斷訓(xùn)練是否進(jìn)入正軌。7.4 獎(jiǎng)勵(lì)尺度會(huì)直接影響超參不同環(huán)境的獎(jiǎng)勵(lì)量級(jí)差得很遠(yuǎn)CartPole 是每步 1Pendulum 是每步負(fù)的小數(shù)某些環(huán)境一回合能拿上百分。同一個(gè)學(xué)習(xí)率在 CartPole 上可能沒(méi)問(wèn)題換到 LunarLander 就震蕩到飛起。盡可能先把獎(jiǎng)勵(lì)歸一化或者在算法層面對(duì) reward 做標(biāo)準(zhǔn)化。自定義環(huán)境時(shí)盡量把獎(jiǎng)勵(lì)控制在容易比較的量級(jí)能少很多調(diào)參的苦。7.5 空間類型別想當(dāng)然很多人拿到環(huán)境后不打印observation_space直接按自己的想象給神經(jīng)網(wǎng)絡(luò)輸入。比如把Box(4,)當(dāng)成(4,1)輸入或者把Discrete(4)的動(dòng)作空間當(dāng)成連續(xù)值回歸。我的習(xí)慣是先打印空間的 shape、low、high再寫(xiě)網(wǎng)絡(luò)結(jié)構(gòu)。動(dòng)作層尤其要留意離散動(dòng)作用分類頭連續(xù)動(dòng)作用帶 tanh 或 scale 的輸出層一旦弄混算法怎么訓(xùn)都不收斂。7.6 自定義環(huán)境要刻意制造隨機(jī)性一個(gè)完全確定性的自定義環(huán)境訓(xùn)練出來(lái)是沒(méi)法泛化的。比如前面的網(wǎng)格尋寶如果起點(diǎn)固定、終點(diǎn)固定、地圖固定算法可能學(xué)會(huì)的只是一條記憶路徑換個(gè)地圖立刻失效。合理的做法是把起點(diǎn)和終點(diǎn)在每次reset時(shí)隨機(jī)擺放但記得用self.np_random生成隨機(jī)數(shù)保證 seed 可控。7.7 先做環(huán)境測(cè)試再寫(xiě)完整算法最后一個(gè)經(jīng)驗(yàn)來(lái)自一次慘痛教訓(xùn)。我花了很長(zhǎng)時(shí)間寫(xiě)了一個(gè)定制環(huán)境直接上手訓(xùn)練完整算法結(jié)果怎么調(diào)都不收斂最后發(fā)現(xiàn)自己寫(xiě)的終止條件有 bug某些狀態(tài)下reward沒(méi)給對(duì)導(dǎo)致智能體學(xué)到的是原地不動(dòng)。從那以后我每次寫(xiě)完環(huán)境都會(huì)先拿隨機(jī)策略反復(fù)跑幾十回合逐字段打印觀測(cè)、獎(jiǎng)勵(lì)、結(jié)束標(biāo)志確認(rèn)環(huán)境行為符合預(yù)期才敢把 agent 接上去。這個(gè)習(xí)慣給我省下的時(shí)間遠(yuǎn)超寫(xiě)測(cè)試本身花掉的時(shí)間。說(shuō)到底gym 環(huán)境庫(kù)的價(jià)值不只是提供一堆現(xiàn)成游戲它真正教會(huì)我的是把任務(wù)和算法分層思考的能力。無(wú)論你以后是繼續(xù)研究新算法還是把強(qiáng)化學(xué)習(xí)落地到具體業(yè)務(wù)這套先理解接口、再做環(huán)境體檢、最后動(dòng)手訓(xùn)練的流程都通用。希望這篇拆解能讓你下次看到gym.make時(shí)少一點(diǎn)迷茫多一點(diǎn)底氣。