做ARPG游戲深度強(qiáng)化學(xué)習(xí)這事兒我琢磨了挺久。很多朋友一上來就懟著算法調(diào)參結(jié)果訓(xùn)練出來的智能體要么原地轉(zhuǎn)圈要么瘋了一樣往墻上撞。根子往往不在模型上而在環(huán)境本身——你給智能體提供的那個(gè)“世界”構(gòu)造得不夠合理它當(dāng)然學(xué)不到有意義的行為。ARPG0.1這個(gè)項(xiàng)目名字起得很實(shí)在它就是在做一個(gè)專門用于深度強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)的ARPG游戲世界版本號0.1意味著先跑通再說。ARPG這個(gè)品類對強(qiáng)化學(xué)習(xí)特別有挑戰(zhàn)性因?yàn)樗烊话B續(xù)動(dòng)作移動(dòng)方向、轉(zhuǎn)向速度、離散決策攻擊、翻滾、用藥還帶時(shí)序延遲的反饋一個(gè)技能打中目標(biāo)要經(jīng)過施法前搖、彈道飛行、傷害結(jié)算。跟棋盤游戲或簡單街機(jī)游戲比起來這個(gè)世界復(fù)雜得多也真實(shí)得多。如果你正打算拿強(qiáng)化學(xué)習(xí)做游戲AI或者想搞一套能訓(xùn)練智能體的游戲環(huán)境又不想從零寫物理引擎那這篇關(guān)于ARPG0.1世界構(gòu)造的拆解正好是給你準(zhǔn)備的。1. 整體設(shè)計(jì)思路為什么用ARPG環(huán)境來訓(xùn)練強(qiáng)化學(xué)習(xí)1.1 環(huán)境設(shè)計(jì)的本質(zhì)給智能體一個(gè)可交互的協(xié)議構(gòu)建ARPG0.1世界之前必須先想清楚一個(gè)根本問題強(qiáng)化學(xué)習(xí)環(huán)境到底是什么它不是一個(gè)游戲它是一個(gè)接口協(xié)議。智能體不關(guān)心你的傷害數(shù)值怎么算不關(guān)心你的美術(shù)動(dòng)畫有多華麗它只關(guān)心三件事我當(dāng)前能觀測到什么我能執(zhí)行什么動(dòng)作做完動(dòng)作之后我得到了多少獎(jiǎng)勵(lì)。所以ARPG0.1的世界構(gòu)造本質(zhì)上是定義三個(gè)接口觀測空間、動(dòng)作空間、獎(jiǎng)勵(lì)機(jī)制。任何ARPG玩法都是這三者的具體化。這么說你可能覺得抽象拿生活類比一下你把一個(gè)孩子放到游樂場里他要學(xué)會(huì)“怎么玩得開心”。孩子看不到商家的運(yùn)營規(guī)則他只能看到滑梯、秋千、沙坑觀測能選擇去玩哪個(gè)設(shè)施動(dòng)作玩了之后覺得高興還是無聊獎(jiǎng)勵(lì)。強(qiáng)化學(xué)習(xí)的智能體就是這樣一個(gè)孩子ARPG0.1就是游樂場——游樂場設(shè)計(jì)得好不好直接決定孩子能不能學(xué)會(huì)“玩”。很多初學(xué)者容易犯一個(gè)錯(cuò)誤把環(huán)境設(shè)計(jì)等同于游戲功能開發(fā)。結(jié)果做了一堆漂亮的UI界面、攝像機(jī)跟隨、角色動(dòng)畫狀態(tài)機(jī)但這些對訓(xùn)練毫無幫助。在ARPG0.1里我堅(jiān)持一個(gè)原則能用數(shù)值表示的不用視覺呈現(xiàn)能用向量解決的不用圖像渲染。智能體需要的不是“看起來像游戲”而是“信息完整且動(dòng)作有效”。1.2 模塊拆分讓環(huán)境可維護(hù)、可擴(kuò)展、可調(diào)試ARPG0.1的世界被拆成五個(gè)獨(dú)立模塊這也是我強(qiáng)烈建議的架構(gòu)方式地圖模塊管理地形數(shù)據(jù)、出生點(diǎn)、障礙物碰撞、可破壞物刷新。實(shí)體模塊管理玩家角色、敵方AI、投射物、掉落物負(fù)責(zé)生命周期和屬性狀態(tài)。戰(zhàn)斗模塊處理攻擊判定、傷害計(jì)算、技能冷卻、狀態(tài)效果比如眩暈、減速。觀測模塊把游戲狀態(tài)翻譯成智能體的輸入張量包括向量觀測和可選的視覺觀測。獎(jiǎng)勵(lì)模塊根據(jù)游戲事件計(jì)算即時(shí)獎(jiǎng)勵(lì)并維護(hù)累計(jì)回報(bào)統(tǒng)計(jì)。每個(gè)模塊之間有明確的調(diào)用關(guān)系但不互相依賴實(shí)現(xiàn)細(xì)節(jié)。地圖模塊不關(guān)心戰(zhàn)斗模塊怎么算傷害戰(zhàn)斗模塊也不關(guān)心觀測模塊最終輸出什么格式。這樣做的最大好處是你可以單獨(dú)替換掉獎(jiǎng)勵(lì)模塊或者把地圖從矩形改成圓形其他模塊基本不用動(dòng)。ARPG0.1初期版本我沒有引入復(fù)雜的場景管理框架就是一組Python類加一個(gè)環(huán)境狀態(tài)字典。游戲循環(huán)用固定步長模擬每步0.05秒20幀邏輯幀刷新一次世界。這個(gè)幀率對訓(xùn)練來說完全夠了而且遠(yuǎn)快于真實(shí)時(shí)間——智能體在一小時(shí)內(nèi)可以經(jīng)歷幾十萬步交互這是強(qiáng)化學(xué)習(xí)數(shù)據(jù)效率的基礎(chǔ)保障。2. ARPG0.1世界核心細(xì)節(jié)解析2.1 地圖構(gòu)造與碰撞處理規(guī)則網(wǎng)格比物理引擎更香ARPG0.1的地圖設(shè)計(jì)采用規(guī)則網(wǎng)格柵格化方案而非連續(xù)物理碰撞。整個(gè)地圖是30×30的網(wǎng)格每個(gè)網(wǎng)格單元對應(yīng)1米×1米墻體和障礙物直接標(biāo)記為不可通行。玩家和敵人的位置用浮點(diǎn)數(shù)坐標(biāo)表示但碰撞判定時(shí)做網(wǎng)格映射。為什么不用物理引擎我之前踩過坑引入物理引擎后碰撞體形狀調(diào)試、摩擦系數(shù)、彈力系數(shù)這些東西會(huì)消耗大量時(shí)間而且物理引擎的微小抖動(dòng)會(huì)讓觀測數(shù)據(jù)產(chǎn)生噪聲。深度強(qiáng)化學(xué)習(xí)對輸入噪聲非常敏感哪怕位置觀測上出現(xiàn)0.01米的抖動(dòng)策略網(wǎng)絡(luò)都可能學(xué)到奇怪的行為。網(wǎng)格碰撞的好處是確定性高。同樣一個(gè)動(dòng)作序列環(huán)境永遠(yuǎn)給出同樣的結(jié)果。這對強(qiáng)化學(xué)習(xí)尤其重要因?yàn)樗惴ㄒu估“這個(gè)狀態(tài)下執(zhí)行這個(gè)動(dòng)作的價(jià)值”如果環(huán)境帶隨機(jī)抖動(dòng)價(jià)值估計(jì)的方差會(huì)變大訓(xùn)練周期直接拉長。碰撞處理的具體實(shí)現(xiàn)是每次移動(dòng)前先計(jì)算目標(biāo)位置然后檢查目標(biāo)位置占據(jù)的四個(gè)角點(diǎn)所在的網(wǎng)格是否可通行。如果可通行就移動(dòng)否則就卡在碰撞邊界。function can_move(current_pos, target_pos, grid_map): corners get_four_corners(target_pos, character_radius) for corner in corners: grid_x floor(corner.x / grid_size) grid_y floor(corner.y / grid_size) if grid_map[grid_x][grid_y] BLOCKED: return False return True這個(gè)方案看似簡單但有一個(gè)重要細(xì)節(jié)角色不能看成質(zhì)點(diǎn)。如果只用中心點(diǎn)判斷碰撞角色會(huì)“擠”進(jìn)墻體里。所以ARPG0.1里判斷四個(gè)角點(diǎn)相當(dāng)于給角色加了一圈碰撞盒。這個(gè)改動(dòng)雖然小但直接決定了智能體能不能學(xué)會(huì)貼墻走位而不是穿模。2.2 戰(zhàn)斗系統(tǒng)攻擊判定窗口決定游戲手感ARPG戰(zhàn)斗系統(tǒng)的核心不是傷害數(shù)值而是攻擊判定窗口。什么叫判定窗口就是從按下攻擊鍵到傷害實(shí)際生效的時(shí)間段。ARPG0.1里普通攻擊的判定窗口設(shè)為0.15秒也就是攻擊前搖0.15秒前三幀播放攻擊動(dòng)作第四幀產(chǎn)生傷害判定。這個(gè)設(shè)計(jì)是為了讓智能體必須學(xué)會(huì)“預(yù)判”。如果按下攻擊鍵立刻造成傷害那智能體只需要學(xué)會(huì)“看見敵人就按攻擊”毫無策略可言。有了前搖時(shí)間智能體就要學(xué)會(huì)在敵人靠近之前提前按下攻擊還要學(xué)會(huì)在攻擊落空時(shí)承擔(dān)冷卻代價(jià)。冷卻機(jī)制也是關(guān)鍵。普通攻擊冷卻0.5秒翻滾技能冷卻1.5秒遠(yuǎn)程飛彈技能冷卻2.8秒。這些冷卻時(shí)間設(shè)計(jì)為彼此不整除目的是避免智能體學(xué)到“固定節(jié)奏循環(huán)”這種投機(jī)策略——如果所有技能冷卻都是1秒智能體可能學(xué)到“攻擊-攻擊-攻擊”的循環(huán)根本不需要感知敵人位置。而不整除的冷卻時(shí)間迫使智能體必須實(shí)時(shí)判斷當(dāng)前態(tài)勢選擇最合適的技能。傷害計(jì)算采用簡單公式物理傷害 攻擊力 - 防御力但最低傷害保底為1點(diǎn)。法術(shù)傷害 技能基礎(chǔ)傷害 法術(shù)強(qiáng)度×系數(shù)。敵人AI分三種類型近戰(zhàn)沖鋒型、遠(yuǎn)程風(fēng)箏型、爆炸自爆型。每類AI的行為參數(shù)攻擊距離、追逐速度、攻擊頻率都暴露在環(huán)境配置中方便做課程學(xué)習(xí)。2.3 觀測空間設(shè)計(jì)不是所有信息都要塞給智能體ARPG0.1的觀測空間分為向量觀測和可選視覺觀測。向量觀測是智能體的主要感知通道總共包含三個(gè)部分自身狀態(tài)當(dāng)前生命值、生命值百分比、攻擊力、防御力、移動(dòng)速度、當(dāng)前技能冷卻進(jìn)度3個(gè)技能、面向方向角的正弦余弦值。敵人感知最近敵人的相對位置、距離、相對速度、敵人類型編號、敵人當(dāng)前生命值百分比。環(huán)境感知距離最近的障礙物方向、距離最近的可破壞物方向。總共17個(gè)數(shù)值。每個(gè)數(shù)值在輸入網(wǎng)絡(luò)之前做歸一化處理不能直接塞原始值。比如生命值用當(dāng)前值除以最大值距離除以地圖對角線長度。如果不歸一化網(wǎng)絡(luò)很難收斂——攻擊力可能是幾百而方向角的正弦值只有-1到1梯度更新時(shí)量綱差異會(huì)把訓(xùn)練帶偏。視覺觀測我預(yù)留了接口但沒有在0.1版本啟用。如果啟用做法是渲染俯視圖的網(wǎng)格編碼把30×30的柵格轉(zhuǎn)成一個(gè)30×30×3的張量三個(gè)通道分別為可行走標(biāo)記、敵人位置標(biāo)記、玩家位置標(biāo)記。這比渲染RGB圖像高效得多因?yàn)镽GB需要編碼材質(zhì)、光照、陰影這些對決策毫無用處反而增加網(wǎng)絡(luò)負(fù)擔(dān)。注意觀測空間的設(shè)計(jì)原則是“完整但不冗余”。信息缺失會(huì)讓智能體變成盲人信息冗余則會(huì)顯著拖慢訓(xùn)練速度。ARPG0.1的原則是凡是決策需要的信息必須存在凡是與決策無關(guān)的信息一律剔除。3. 實(shí)操過程搭建ARPG0.1環(huán)境與訓(xùn)練接口3.1 核心技術(shù)選型與原因ARPG0.1的環(huán)境主體用Python編寫狀態(tài)管理采用純函數(shù)式字典結(jié)構(gòu)不引入面向?qū)ο蟮膹?fù)雜繼承。每個(gè)游戲?qū)ο缶褪且粋€(gè)字典player { id: player_0, pos: [15.0, 15.0], hp: 100, max_hp: 100, attack: 12.0, defense: 3.0, speed: 2.0, skills_cd: {basic: 0.0, dash: 0.0, fireball: 0.0}, facing: 0.0 }為什么用字典而不是類因?yàn)閺?qiáng)化學(xué)習(xí)環(huán)境每走一步就要復(fù)制或更新大量狀態(tài)數(shù)據(jù)字典的序列化效率高調(diào)試時(shí)直接打印dict內(nèi)容也很直觀。等環(huán)境架構(gòu)穩(wěn)定后可以再優(yōu)化成有slot的類或用numpy結(jié)構(gòu)體數(shù)組但0.1版本不需要那么復(fù)雜。訓(xùn)練接口遵循常見的環(huán)境交互協(xié)議每個(gè)step接收動(dòng)作返回觀測、獎(jiǎng)勵(lì)、是否終止、是否截?cái)嗨膫€(gè)值。這個(gè)協(xié)議的好處是兼容主流強(qiáng)化學(xué)習(xí)框架無論是用策略梯度、PPO還是DQN都不用改環(huán)境代碼。環(huán)境內(nèi)部邏輯幀是0.05秒一步但訓(xùn)練step可以配置為n步邏輯幀聚合一次推薦4幀聚合一次也就是訓(xùn)練決策周期0.2秒。因?yàn)锳RPG這種決策速度0.2秒一次決策足夠聚合幀還減少了環(huán)境交互次數(shù)訓(xùn)練速度能提升不少。3.2 動(dòng)作空間定義連續(xù)動(dòng)作加離散技能ARPG0.1的動(dòng)作空間是混合型這也是ARPG和很多棋類游戲環(huán)境的本質(zhì)區(qū)別。連續(xù)部分二維向量表示移動(dòng)方向第一個(gè)分量是左右方向-1到1第二個(gè)分量是前后方向-1到1。第三個(gè)連續(xù)量是面向角度用于控制角色朝向。移動(dòng)速度由環(huán)境內(nèi)部歸一化為固定最大速度乘方向向量。離散部分一個(gè)整數(shù)取值0到3分別表示不釋放技能、普通攻擊、翻滾閃避、釋放飛彈?；旌蟿?dòng)作空間在深度強(qiáng)化學(xué)習(xí)里是個(gè)需要處理的細(xì)節(jié)。我采用的方案是把動(dòng)作扁平化成一個(gè)長度為3的連續(xù)向量加一個(gè)離散索引的元組然后在策略網(wǎng)絡(luò)輸出層分別計(jì)算連續(xù)動(dòng)作的均值方差和離散動(dòng)作的概率分布。訓(xùn)練時(shí)使用Beta分布采樣連續(xù)動(dòng)作而不用高斯分布因?yàn)锽eta分布天然限制在0到1區(qū)間不會(huì)出現(xiàn)越界值。這一點(diǎn)在實(shí)戰(zhàn)中很重要——如果用高斯分布采樣偶爾采出超過[-1,1]的數(shù)值環(huán)境里再夾取就會(huì)產(chǎn)生大量“撞墻”行為干擾策略學(xué)習(xí)。dataclass class Action: move_dir: np.ndarray # shape (2,), range [-1, 1] face_angle: float # range [-pi, pi] skill_id: int # 0: none, 1: basic, 2: dash, 3: fireball動(dòng)作時(shí)序上還有一個(gè)小設(shè)計(jì)翻滾及飛彈技能允許在移動(dòng)中釋放而普通攻擊釋放時(shí)會(huì)短暫減速為原速度的60%。這個(gè)減速設(shè)定給智能體造成了“攻擊代價(jià)”避免它養(yǎng)成一邊移動(dòng)一邊無限普攻的習(xí)慣。3.3 獎(jiǎng)勵(lì)設(shè)計(jì)從稀疏到稠密的漸進(jìn)式調(diào)整獎(jiǎng)勵(lì)設(shè)計(jì)是我最想分享的部分。ARPG0.1初版獎(jiǎng)勵(lì)非常稀疏只有擊敗敵人給10自己死亡給-10其余時(shí)間零獎(jiǎng)勵(lì)。結(jié)果訓(xùn)練了半天智能體的策略毫無進(jìn)展獎(jiǎng)勵(lì)曲線跟心電圖一樣平。后來我改成漸進(jìn)式獎(jiǎng)勵(lì)設(shè)計(jì)分三層底層事件獎(jiǎng)勵(lì)每次普通攻擊命中敵人給0.3飛彈技能命中給0.8被敵人擊中給-0.5成功翻滾閃避一次攻擊給0.5。這個(gè)層級的目的是讓智能體盡早建立“攻擊能命中”和“躲開能避免受傷”的基本認(rèn)知。戰(zhàn)斗進(jìn)程獎(jiǎng)勵(lì)敵人生命值每降低20%給0.5獎(jiǎng)勵(lì)擊殺敵人給5.0額外獎(jiǎng)勵(lì)。這個(gè)層級的目的是引導(dǎo)智能體去推進(jìn)戰(zhàn)斗而不是只做無意義的攻擊動(dòng)作。策略獎(jiǎng)勵(lì)根據(jù)智能體與敵人的距離變化給一個(gè)-0.1到0.1之間的密集獎(jiǎng)勵(lì)。如果距離在緩慢逼近到攻擊范圍給正獎(jiǎng)勵(lì)如果被拉開太遠(yuǎn)或貼到死角給負(fù)獎(jiǎng)勵(lì)。這個(gè)獎(jiǎng)勵(lì)分量是很多人忽略的但它對解決“智能體不敢靠近敵人”這個(gè)問題至關(guān)重要。獎(jiǎng)勵(lì)的絕對值大小需要統(tǒng)一量綱我經(jīng)驗(yàn)上把所有獎(jiǎng)勵(lì)控制在單個(gè)step內(nèi)總獎(jiǎng)勵(lì)絕對值不超過1.0避免獎(jiǎng)勵(lì)爆炸。數(shù)值跨度太大的訓(xùn)練策略網(wǎng)絡(luò)更新幅度會(huì)反復(fù)橫跳很難收斂。提醒一句獎(jiǎng)勵(lì)設(shè)計(jì)不要一步到位。我建議先跑一個(gè)完全密集獎(jiǎng)勵(lì)版本看智能體能不能學(xué)會(huì)基本操作然后逐步削減獎(jiǎng)勵(lì)密度讓智能體在更稀疏的信號下學(xué)會(huì)泛化。這種由密到疏的調(diào)法遠(yuǎn)比一開始設(shè)定稀疏獎(jiǎng)勵(lì)然后干等有效。3.4 訓(xùn)練流程與日志監(jiān)控ARPG0.1的訓(xùn)練流程是這樣的環(huán)境初始化重置到隨機(jī)出生點(diǎn)玩家出生在地圖左半?yún)^(qū)隨機(jī)生成1到3個(gè)敵人分布在地圖右半?yún)^(qū)。一個(gè)episode最長持續(xù)1200步邏輯幀超時(shí)自動(dòng)截?cái)喾祷夭华?jiǎng)勵(lì)也不懲罰。訓(xùn)練中使用PPO算法主要超參數(shù)如下學(xué)習(xí)率3e-4線性衰減到1e-5GAE gamma0.99lambda0.95每次更新使用batch size 2048訓(xùn)練4個(gè)epochclip epsilon0.2熵系數(shù)0.01防止策略過快確定性運(yùn)行中每100步記錄一次環(huán)境交互日志包括累計(jì)獎(jiǎng)勵(lì)、episode長度、命中率、每秒邏輯幀數(shù)。我特意在環(huán)境里加了命中率統(tǒng)計(jì)因?yàn)檫@是判斷獎(jiǎng)勵(lì)設(shè)計(jì)是否合理的探測器——如果命中率極低說明觀測空間缺了關(guān)鍵信息或者獎(jiǎng)勵(lì)信號引導(dǎo)方向有問題。訓(xùn)練到第3萬個(gè)episode左右能看到比較明顯的行為涌現(xiàn)智能體學(xué)會(huì)繞開障礙物接近敵人在攻擊前搖時(shí)保持移動(dòng)被敵人追擊時(shí)用翻滾拉開距離。到第8萬個(gè)episode智能體已經(jīng)能穩(wěn)定擊殺2個(gè)敵人面對3個(gè)敵人時(shí)會(huì)優(yōu)先解決血量低的這個(gè)策略行為屬于模型自己學(xué)出來的并沒有在獎(jiǎng)勵(lì)里顯式編碼。4. 常見問題與排查技巧實(shí)錄4.1 撞墻與原地轉(zhuǎn)圈獎(jiǎng)勵(lì)設(shè)計(jì)失衡的典型表現(xiàn)訓(xùn)練中最常見的問題是智能體在原地轉(zhuǎn)圈。那陣子獎(jiǎng)勵(lì)曲線不降也不升智能體仿佛在游泳。我用日志一查發(fā)現(xiàn)它的動(dòng)作輸出一直在一個(gè)方向附近反復(fù)橫跳。排查結(jié)果有兩種可能。第一種是智能體已經(jīng)陷入局部最優(yōu)原地轉(zhuǎn)圈不會(huì)受傷因?yàn)閿橙俗凡簧纤膊粫?huì)被懲罰同時(shí)探索到某些狀態(tài)時(shí)剛好卡在攻擊判定的邊界偶爾命中敵人拿到正獎(jiǎng)勵(lì)。這波操作非?！捌垺钡_實(shí)是強(qiáng)化學(xué)習(xí)典型的局部優(yōu)解。第二種可能是動(dòng)作采樣太隨機(jī)熵系數(shù)過高導(dǎo)致策略還沒成型。解決辦法是雙管齊下降低熵系數(shù)從0.01到0.003同時(shí)給長時(shí)間不移動(dòng)的行為施加一個(gè)微小懲罰碼比如每50步如果位置偏移小于0.2米就扣0.02分。這樣可以從源頭上抑制“站樁發(fā)呆”的行為模式。4.2 訓(xùn)練太慢網(wǎng)格碰撞和對象復(fù)制是主要瓶頸ARPG0.1跑起來發(fā)現(xiàn)每秒只有100個(gè)邏輯幀訓(xùn)練速度慢得讓人急躁。做了profiling后發(fā)現(xiàn)瓶頸不在算法而在環(huán)境本身每步循環(huán)內(nèi)部創(chuàng)建了大量臨時(shí)對象碰撞判斷調(diào)用了地形坐標(biāo)轉(zhuǎn)換函數(shù)每次還附帶多個(gè)屬性字典拷貝。做了兩個(gè)改動(dòng)一是把網(wǎng)格地圖預(yù)計(jì)算為布爾型二維數(shù)組碰撞檢測改為直接下標(biāo)索引不每次做floor運(yùn)算二是把觀測構(gòu)建提取到獨(dú)立的函數(shù)里每步只更新增量狀態(tài)而不是重建整個(gè)字典。改完以后邏輯幀速率直接翻了三倍多訓(xùn)練時(shí)間明顯縮短。還有一個(gè)小技巧如果你的訓(xùn)練框架支持向量化環(huán)境盡量開8個(gè)并行環(huán)境。ARPG0.1的狀態(tài)沖突很少多開幾個(gè)環(huán)境并行跑采集經(jīng)驗(yàn)的速度要快得多采樣效率的提升對訓(xùn)練收斂幫助巨大。4.3 觀測差異過大不歸一化導(dǎo)致策略振蕩有一次訓(xùn)練時(shí)策略網(wǎng)絡(luò)損失函數(shù)在訓(xùn)練中期突然出現(xiàn)周期性尖峰。排查了很久最后定位到是敵人數(shù)量觀測的問題——敵人數(shù)量是0到3的整數(shù)而其他觀測值是0到1的浮點(diǎn)數(shù)量綱差異讓網(wǎng)絡(luò)底層特征的梯度更新方向出現(xiàn)沖突。解決方式是全觀測統(tǒng)一變換到0到1區(qū)間。包括坐標(biāo)位置除以地圖尺寸30.0攻擊力除以最大可能攻擊力30.0冷卻時(shí)間除以最大值3.0。這個(gè)歸一化改造做完訓(xùn)練過程平穩(wěn)很多損失曲線的尖峰也基本消失。如果你在訓(xùn)練自己的環(huán)境時(shí)也遇到“損失下降后又突然暴漲”優(yōu)先檢查觀測空間有沒有量綱不統(tǒng)一的地方這是最容易忽略的原因。4.4 常見問題速查表現(xiàn)象可能原因排查思路與解決建議智能體原地轉(zhuǎn)圈局部最優(yōu)或熵系數(shù)過高降低熵系數(shù)增加靜止懲罰檢查獎(jiǎng)勵(lì)密度訓(xùn)練速度過慢碰撞檢測瓶頸、對象復(fù)制過多用網(wǎng)格索引替代浮點(diǎn)碰撞優(yōu)化觀測構(gòu)建邏輯獎(jiǎng)勵(lì)曲線劇烈波動(dòng)獎(jiǎng)勵(lì)量綱不統(tǒng)一或觀測未歸一化檢查觀測數(shù)值范圍統(tǒng)一獎(jiǎng)勵(lì)尺度至[-1,1]區(qū)間學(xué)到反復(fù)釋放技能冷卻時(shí)長存在整除關(guān)系調(diào)整冷卻時(shí)間使其互不整除或增加技能觸發(fā)代價(jià)不敢主動(dòng)接近敵人獎(jiǎng)勵(lì)過于懲罰受傷忽視進(jìn)攻收益增加命中獎(jiǎng)勵(lì)占整個(gè)獎(jiǎng)勵(lì)結(jié)構(gòu)的比重讓進(jìn)攻有正向激勵(lì)環(huán)境狀態(tài)重置出錯(cuò)隨機(jī)生成邏輯產(chǎn)生重疊出生點(diǎn)增加出生點(diǎn)生成邏輯中的碰撞檢測與有效位置校驗(yàn)5. 經(jīng)驗(yàn)總結(jié)與進(jìn)階建議做ARPG0.1這段時(shí)間體驗(yàn)最深刻的是環(huán)境設(shè)計(jì)的優(yōu)先級遠(yuǎn)高于調(diào)參。很多強(qiáng)化學(xué)習(xí)教程反復(fù)強(qiáng)調(diào)算法細(xì)節(jié)但我發(fā)現(xiàn)只要環(huán)境有邏輯漏洞或獎(jiǎng)勵(lì)信號設(shè)計(jì)得不夠合理再好的算法也跑不出效果。反過來只要環(huán)境穩(wěn)定、觀測完整、獎(jiǎng)勵(lì)有漸進(jìn)性哪怕用最基礎(chǔ)的PPO也能學(xué)到很驚艷的策略。如果再迭代0.2版本我會(huì)優(yōu)先做三件事一是加入多玩家協(xié)作場景讓智能體學(xué)習(xí)配合行為二是加入可破壞的障礙物增加策略維度三是引入隨機(jī)掉落物品迫使智能體學(xué)會(huì)探索地圖和選擇拾取時(shí)機(jī)。這些擴(kuò)展在ARPG0.1這個(gè)架構(gòu)上都能比較平滑地加進(jìn)去因?yàn)槟K的邊界已經(jīng)劃清楚了。最后給你一個(gè)實(shí)際的建議如果你也在搭類似的強(qiáng)化學(xué)習(xí)游戲環(huán)境一定不要把全部精力放在游戲可玩性上。花大力氣做出漂亮的畫面和酷炫的技能對強(qiáng)化學(xué)習(xí)訓(xùn)練幾乎沒有幫助。把時(shí)間花在獎(jiǎng)勵(lì)塑形、觀測設(shè)計(jì)、碰撞引擎確定性和訓(xùn)練數(shù)據(jù)采集效率這四個(gè)方面回報(bào)率高得多。模型能不能學(xué)會(huì)一項(xiàng)能力七成以上由環(huán)境決定而不是由算法決定。ARPG0.1最大的價(jià)值其實(shí)不是“做了一個(gè)游戲”而是驗(yàn)證了一套“如何構(gòu)造一個(gè)適合強(qiáng)化學(xué)習(xí)的游戲世界”的方法。這套方法通用不限于ARPG。不管你做的是MOBA、格斗游戲還是自走棋核心的邏輯模型都一樣界面定義可觀測信息接口定義可執(zhí)行動(dòng)作獎(jiǎng)勵(lì)函數(shù)定義學(xué)習(xí)方向剩下的就是等智能體在反復(fù)試錯(cuò)中找到自己的策略了。