拿到這篇論文的時(shí)候我先把摘要翻來(lái)覆去讀了三遍。電力市場(chǎng)投標(biāo)策略 多智能體 深度強(qiáng)化學(xué)習(xí)這套組合在業(yè)內(nèi)不算冷門(mén)但真正動(dòng)手復(fù)現(xiàn)過(guò)的人都知道最大的坎從來(lái)不是把 DDPG 跑起來(lái)而是怎么把市場(chǎng)規(guī)則、出清機(jī)制、博弈對(duì)手建模成一個(gè)既貼近真實(shí)、又不會(huì)讓算法一上來(lái)就崩潰的 Python 環(huán)境。我這次復(fù)現(xiàn)的目標(biāo)是基于 Agent 的電力市場(chǎng)決策梯度算法建?！獦?biāo)題里的“深度決策梯度”就是 Deep Deterministic Policy Gradient業(yè)內(nèi)一般直接叫 DDPG深度確定性策略梯度。核心邏輯是讓每個(gè)發(fā)電商作為一個(gè)獨(dú)立智能體在日前市場(chǎng)環(huán)境中學(xué)習(xí)報(bào)價(jià)策略動(dòng)作是次日各時(shí)段的報(bào)價(jià)系數(shù)獎(jiǎng)勵(lì)是該時(shí)段的凈利潤(rùn)環(huán)境則是按統(tǒng)一出清規(guī)則搭建的市場(chǎng)引擎。整套代碼用 Python 和 PyTorch 實(shí)現(xiàn)從市場(chǎng)環(huán)境搭建到訓(xùn)練閉環(huán)共計(jì)兩千行左右。這篇博文我會(huì)把復(fù)現(xiàn)過(guò)程中真正有價(jià)值的東西捋出來(lái)為什么選 DDPG 而不是別的算法、市場(chǎng)環(huán)境怎么抽象才不會(huì)丟失核心機(jī)制、狀態(tài)動(dòng)作獎(jiǎng)勵(lì)空間怎么設(shè)計(jì)、多 Agent 訓(xùn)練時(shí)最隱蔽的非平穩(wěn)問(wèn)題在哪、以及我在調(diào)試時(shí)踩過(guò)的那些坑。如果你想復(fù)現(xiàn)一篇 Trans 級(jí)別的電力市場(chǎng)強(qiáng)化學(xué)習(xí)論文或者只是想把多智能體強(qiáng)化學(xué)習(xí)用在帶經(jīng)濟(jì)機(jī)制的仿真環(huán)境里這篇文章應(yīng)該能幫你省下不少試錯(cuò)時(shí)間。1. 為什么電力市場(chǎng)要引入多智能體強(qiáng)化學(xué)習(xí)1.1 電力市場(chǎng)競(jìng)爭(zhēng)決策的難點(diǎn)電力市場(chǎng)和普通商品市場(chǎng)最大的區(qū)別在于電力本身難以大規(guī)模儲(chǔ)存供需需要實(shí)時(shí)平衡所以日前市場(chǎng)的報(bào)價(jià)決策本質(zhì)上是面向未來(lái) 24 小時(shí)或 96 個(gè)時(shí)段的序貫決策。發(fā)電商要在不知道競(jìng)爭(zhēng)對(duì)手報(bào)價(jià)的情況下決定自己每個(gè)時(shí)段的申報(bào)價(jià)格和申報(bào)電量。報(bào)高了可能被擠出市場(chǎng)機(jī)組在高峰時(shí)段空轉(zhuǎn)報(bào)低了雖然能保證出清但利潤(rùn)空間被嚴(yán)重壓縮甚至可能在低谷時(shí)段虧本發(fā)電。如果只是單時(shí)段決策這個(gè)問(wèn)題可以用一階最優(yōu)條件求解。但放到多時(shí)段、多機(jī)組、帶爬坡約束和啟停成本的場(chǎng)景里策略空間立刻變得極其復(fù)雜。更麻煩的是競(jìng)爭(zhēng)對(duì)手的策略會(huì)隨著市場(chǎng)環(huán)境變化而調(diào)整需求曲線(xiàn)受到天氣、節(jié)假日、新能源出力等多種因素影響這使得環(huán)境本身是非平穩(wěn)的。傳統(tǒng)做法里發(fā)電商報(bào)價(jià)主要依賴(lài)三種思路一是簡(jiǎn)單的邊際成本加成比如在短期邊際成本基礎(chǔ)上固定加價(jià) 3%、5%二是基于歷史數(shù)據(jù)統(tǒng)計(jì)出對(duì)手報(bào)價(jià)分布然后做一個(gè)概率意義上的最優(yōu)響應(yīng)三是用博弈論算供給函數(shù)均衡SFE作為理論參考。這三種思路各有硬傷固定加價(jià)太機(jī)械市場(chǎng)條件一變就失效歷史統(tǒng)計(jì)法假設(shè)對(duì)手策略分布是穩(wěn)定的但現(xiàn)實(shí)中對(duì)手也在學(xué)習(xí)SFE 理論上很漂亮但對(duì)市場(chǎng)結(jié)構(gòu)、成本函數(shù)和需求彈性有很強(qiáng)的假設(shè)實(shí)際報(bào)價(jià)很難直接套用。深度強(qiáng)化學(xué)習(xí)恰好補(bǔ)上了這個(gè)空缺。它不依賴(lài)顯式的市場(chǎng)模型而是讓智能體通過(guò)與環(huán)境的反復(fù)交互自己發(fā)現(xiàn)報(bào)價(jià)規(guī)律。這一點(diǎn)對(duì)高維度、連續(xù)動(dòng)作、多主體博弈的電力市場(chǎng)來(lái)說(shuō)幾乎是量身定做的。1.2 為什么選 DDPG 而不是 DQN 或 PPO確定了用強(qiáng)化學(xué)習(xí)之后下一個(gè)問(wèn)題是選哪個(gè)算法。DQN 是很多人的第一反應(yīng)但它處理不了連續(xù)動(dòng)作。電力市場(chǎng)的報(bào)價(jià)動(dòng)作如果用離散檔位表示動(dòng)作空間會(huì)爆炸24 個(gè)時(shí)段乘以每個(gè)時(shí)段 5 到 10 個(gè)檔位再乘以多個(gè)發(fā)電商枚舉組合的數(shù)量級(jí)根本不是經(jīng)驗(yàn)回放能扛住的。如果強(qiáng)行做離散化還會(huì)丟失報(bào)價(jià)精度——多報(bào) 1% 和 2% 之間的利潤(rùn)差在市場(chǎng)出清價(jià)附近可能就被完全抹掉了。PPO 能處理連續(xù)動(dòng)作也有不少人用但我復(fù)現(xiàn)時(shí)沒(méi)有優(yōu)先選它。DDPG 的核心優(yōu)勢(shì)在于確定性策略可以直接輸出一個(gè)連續(xù)動(dòng)作向量一次前向傳播就能得到全天 24 個(gè)時(shí)段的報(bào)價(jià)系數(shù)訓(xùn)練效率高超參也不像 PPO 那樣敏感。SAC 雖然更穩(wěn)定但它引入熵系數(shù)和雙重 Q 網(wǎng)絡(luò)需要調(diào)的參數(shù)更多。在論文復(fù)現(xiàn)的情境下先選擇一個(gè)實(shí)現(xiàn)簡(jiǎn)單、算法原理清晰的基線(xiàn)把電力市場(chǎng)環(huán)境本身的問(wèn)題debug干凈遠(yuǎn)比一上來(lái)就用復(fù)雜算法更靠譜。所以我最后把方案鎖定在 DDPG 上整個(gè)訓(xùn)練鏈路是Actor 網(wǎng)絡(luò)輸出報(bào)價(jià)系數(shù)環(huán)境按報(bào)價(jià)出清計(jì)算利潤(rùn)作為獎(jiǎng)勵(lì)Critic 網(wǎng)絡(luò)評(píng)估狀態(tài)動(dòng)作價(jià)值然后用策略梯度更新 Actor。1.3 這篇論文復(fù)現(xiàn)的定位這篇論文嚴(yán)格來(lái)說(shuō)不是發(fā)明新算法而是把電力市場(chǎng)的運(yùn)行機(jī)制和 DRL 的建?？蚣茏隽艘粋€(gè)系統(tǒng)的映射。它的價(jià)值在于告訴你狀態(tài)向量里該放什么、獎(jiǎng)勵(lì)函數(shù)怎么設(shè)計(jì)才能避免智能體鉆空子、出清機(jī)制如何抽象成可微或可采樣的計(jì)算模塊、多 Agent 環(huán)境下訓(xùn)練穩(wěn)定性怎么保證。這些設(shè)計(jì)決策在算法論文里往往一筆帶過(guò)但恰恰是復(fù)現(xiàn)時(shí)最花時(shí)間的部分。我的定位很明確不追求在算法層面做創(chuàng)新而是把這個(gè)框架完整跑通理解每個(gè)組件為什么這么設(shè)計(jì)然后把這個(gè)過(guò)程變成一套可復(fù)用的代碼。2. 把市場(chǎng)規(guī)則寫(xiě)成環(huán)境報(bào)價(jià)、出清與狀態(tài)獎(jiǎng)勵(lì)設(shè)計(jì)2.1 市場(chǎng)機(jī)制與參與主體抽象我復(fù)現(xiàn)時(shí)采用的日前市場(chǎng)模型時(shí)間粒度是 24 個(gè)時(shí)段也就是每小時(shí)一個(gè)決策點(diǎn)參與主體是 3 個(gè)發(fā)電商 Agent加上一個(gè)負(fù)責(zé)出清的市場(chǎng)運(yùn)營(yíng)方。每個(gè)發(fā)電商擁有不同的二次成本函數(shù)形式是 C_i(q) a_i * q^2 b_i * q c_i其中 a_i 和 b_i 決定了邊際成本曲線(xiàn)的斜率與截距。由于機(jī)組類(lèi)型不同——有的偏基荷、有的偏峰荷——成本參數(shù)差異很大這樣市場(chǎng)才有真實(shí)感。每個(gè) Agent 在日前階段需要提交次日每個(gè)時(shí)段的報(bào)價(jià)曲線(xiàn)。論文里常見(jiàn)的做法不是直接報(bào)絕對(duì)價(jià)格而是報(bào)一個(gè)“報(bào)價(jià)乘子”bid multiplier也就是把邊際成本乘以一個(gè)系數(shù)。Agent 輸出的動(dòng)作向量經(jīng)過(guò)映射后落在 [0.2, 2.0] 區(qū)間1.0 代表按真實(shí)邊際成本報(bào)價(jià)大于 1.0 代表加價(jià)小于 1.0 代表低價(jià)搶量。為什么不直接讓網(wǎng)絡(luò)輸出絕對(duì)價(jià)格我試過(guò)效果非常差。絕對(duì)價(jià)格的范圍可能從幾十到幾百數(shù)值尺度差異大神經(jīng)網(wǎng)絡(luò)在這么大的區(qū)間里探索效率極低而報(bào)價(jià)系數(shù)的范圍小、語(yǔ)義明確智能體很容易理解“我要比成本高一點(diǎn)還是低一點(diǎn)”這件事收斂速度快很多。這也是做強(qiáng)化學(xué)習(xí)環(huán)境設(shè)計(jì)時(shí)一個(gè)非常重要的原則動(dòng)作空間的定義方式?jīng)Q定了智能體學(xué)習(xí)這個(gè)任務(wù)的難度。2.2 出清機(jī)制簡(jiǎn)化與實(shí)現(xiàn)出清機(jī)制是市場(chǎng)環(huán)境的心臟。完整的日前市場(chǎng)出清需要求解一個(gè)帶系統(tǒng)平衡約束、網(wǎng)絡(luò)安全約束、機(jī)組啟停狀態(tài)的混合整數(shù)規(guī)劃問(wèn)題計(jì)算復(fù)雜且每次需要幾十秒。論文復(fù)現(xiàn)中如果直接把真實(shí)出清模型搬進(jìn)訓(xùn)練循環(huán)時(shí)間和內(nèi)存都吃不消智能體跑一天也交互不了幾個(gè)回合。我采用的做法是分層抽象先實(shí)現(xiàn)一個(gè)基于“按報(bào)價(jià)從低到高排序、依次中標(biāo)直至負(fù)荷滿(mǎn)足”的簡(jiǎn)化出清引擎用于驗(yàn)證整個(gè)訓(xùn)練閉環(huán)再在它的接口上擴(kuò)展成線(xiàn)性規(guī)劃版本用于最終實(shí)驗(yàn)對(duì)比。簡(jiǎn)化版出清的核心邏輯只有十幾行代碼def market_clearing(bids, load): bids: list of (price, capacity) 每個(gè)發(fā)電商的報(bào)價(jià)與最大可出力 load: 當(dāng)前時(shí)段的負(fù)荷需求 返回: 總出清電量、邊際出清價(jià)、成交記錄 sorted_bids sorted(bids, keylambda x: x[0]) total_q 0.0 cleared_price 0.0 accepted [] for price, cap in sorted_bids: if total_q load: break q min(cap, load - total_q) accepted.append((price, q)) total_q q cleared_price price return total_q, cleared_price, accepted如果追求論文級(jí)精度可以用線(xiàn)性規(guī)劃求解購(gòu)電成本最小化或社會(huì)福利最大化問(wèn)題。把每個(gè)發(fā)電商的報(bào)價(jià)曲線(xiàn)線(xiàn)性化后目標(biāo)函數(shù)是購(gòu)電成本之和最小約束是各時(shí)段功率平衡、機(jī)組上下限、爬坡約束然后用 scipy.optimize.linprog 或開(kāi)源求解器求解。出清模塊、報(bào)價(jià)模塊、結(jié)算模塊三者的接口要提前設(shè)計(jì)好因?yàn)楹罄m(xù)一旦要改成 96 時(shí)段或者加入新能源出力隨機(jī)性只有接口穩(wěn)定代碼才能平滑擴(kuò)展。我在復(fù)現(xiàn)時(shí)一開(kāi)始就把這三個(gè)模塊分開(kāi)后面換機(jī)制幾乎沒(méi)有動(dòng)過(guò) Agent 代碼。2.3 狀態(tài)空間與獎(jiǎng)勵(lì)函數(shù)的“坑”狀態(tài)空間的設(shè)計(jì)直接決定算法能不能學(xué)到東西。我在復(fù)現(xiàn)時(shí)給每個(gè)智能體三塊信息第一塊是自身私有信息包括成本參數(shù)、最大最小出力、上一時(shí)段的出清量和收益第二塊是市場(chǎng)公共信息包括未來(lái) 24 小時(shí)的負(fù)荷預(yù)測(cè)曲線(xiàn)、歷史出清價(jià)格、自身報(bào)價(jià)被市場(chǎng)接受的比率第三塊是對(duì)手策略的估計(jì)特征比如過(guò)去 K 個(gè)時(shí)段市場(chǎng)出清價(jià)的統(tǒng)計(jì)量。這里有一個(gè)非常隱蔽的坑很多人在狀態(tài)里直接塞入“競(jìng)爭(zhēng)對(duì)手的真實(shí)報(bào)價(jià)”。這在真實(shí)市場(chǎng)里是看不到的如果訓(xùn)練環(huán)境里給了智能體學(xué)到的策略在真實(shí)部署時(shí)立刻失效這叫信息泄漏。復(fù)現(xiàn)論文時(shí)尤其要小心論文如果不是故意做完全信息假設(shè)狀態(tài)里就不要出現(xiàn)當(dāng)前回合內(nèi)其他 Agent 的動(dòng)作或真實(shí)成本。我處理的方式是只提供歷史出清結(jié)果——這是所有市場(chǎng)參與者都能公開(kāi)觀察到的信息既能反映對(duì)手行為特征又不會(huì)讓智能體開(kāi)天眼。獎(jiǎng)勵(lì)函數(shù)方面核心只有一條r_it p_t * q_it - C_i(q_it)也就是收入減成本。這個(gè)公式看著簡(jiǎn)單但獎(jiǎng)勵(lì)的數(shù)值尺度很容易坑人。如果單位電價(jià)在 50 到 100 的量級(jí)發(fā)電量在上百 MW 量級(jí)單個(gè)時(shí)段的利潤(rùn)就是幾千甚至上萬(wàn)訓(xùn)練出來(lái)的 Q 值會(huì)非常大梯度動(dòng)不動(dòng)就爆炸。我試過(guò)直接拿原始利潤(rùn)做獎(jiǎng)勵(lì)訓(xùn)練中 Q loss 一路飆到 10 的 8 次方完全不可用。最后用的是獎(jiǎng)勵(lì)縮放把每個(gè) Agent 的利潤(rùn)除以它的平均可變成本基準(zhǔn)值讓獎(jiǎng)勵(lì)落在 [-0.5, 0.5] 區(qū)間附近?？s放不改變相對(duì)優(yōu)劣關(guān)系但能讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)穩(wěn)定得多。如果環(huán)境里加入了機(jī)組啟停成本和爬坡約束還需要額外把啟停懲罰加進(jìn)獎(jiǎng)勵(lì)不然智能體會(huì)學(xué)會(huì)在低谷時(shí)段也保持開(kāi)機(jī)導(dǎo)致成本虛高。3. DDPG 算法建模從 Actor-Critic 到核心超參3.1 Actor-Critic 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)DDPG 是深度 Q 學(xué)習(xí)在連續(xù)動(dòng)作空間的自然延伸。它維護(hù)兩個(gè)網(wǎng)絡(luò)Actor 是策略網(wǎng)絡(luò)輸入狀態(tài)輸出動(dòng)作在本項(xiàng)目里就是 24 個(gè)時(shí)段的報(bào)價(jià)系數(shù)Critic 是價(jià)值網(wǎng)絡(luò)輸入狀態(tài)和動(dòng)作拼接后的向量輸出一個(gè) Q 值用來(lái)估計(jì)“在這個(gè)狀態(tài)下采取這個(gè)動(dòng)作有多好”。兩個(gè)網(wǎng)絡(luò)訓(xùn)練時(shí)形成一種動(dòng)態(tài)博弈Actor 努力提高動(dòng)作對(duì)應(yīng)的 Q 值Critic 努力把 Q 值估得更準(zhǔn)。網(wǎng)絡(luò)結(jié)構(gòu)上我沒(méi)有做太復(fù)雜的特殊設(shè)計(jì)就是基礎(chǔ)的全連接網(wǎng)絡(luò)加兩層 256 個(gè)神經(jīng)元的隱藏層。外層用 Sigmoid 把輸出映射到 [0,1]再乘以 2.0 得到 [0,2.0] 的報(bào)價(jià)系數(shù)區(qū)間。這里有個(gè)經(jīng)驗(yàn)隱藏層寬度從 128 開(kāi)始往往不夠報(bào)價(jià)系數(shù)是 24 維連續(xù)向量維度之間還有時(shí)序相關(guān)性網(wǎng)絡(luò)容量太小時(shí) Actor 只是機(jī)械地學(xué)習(xí)每個(gè)時(shí)段的獨(dú)立映射學(xué)不到“晚高峰應(yīng)該報(bào)高、低谷應(yīng)該報(bào)低”這類(lèi)跨時(shí)段規(guī)律。我最后調(diào)到 256 才穩(wěn)定。激活函數(shù)用 ReLU 就夠了不需要更花哨的東西因?yàn)檫@個(gè)問(wèn)題本身沒(méi)有復(fù)雜的梯度路徑。Actor 和 Critic 的代碼可以用很干凈的方式實(shí)現(xiàn)import torch import torch.nn as nn class Actor(nn.Module): def __init__(self, state_dim, action_dim, hidden256): super().__init__() self.fc1 nn.Linear(state_dim, hidden) self.fc2 nn.Linear(hidden, hidden) self.out nn.Linear(hidden, action_dim) self.sigmoid nn.Sigmoid() def forward(self, state): x torch.relu(self.fc1(state)) x torch.relu(self.fc2(x)) return 2.0 * self.sigmoid(self.out(x)) class Critic(nn.Module): def __init__(self, state_dim, action_dim, hidden256): super().__init__() self.fc1 nn.Linear(state_dim action_dim, hidden) self.fc2 nn.Linear(hidden, hidden) self.out nn.Linear(hidden, 1) def forward(self, state, action): x torch.cat([state, action], dim-1) x torch.relu(self.fc1(x)) x torch.relu(self.fc2(x)) return self.out(x)3.2 目標(biāo)網(wǎng)絡(luò)與軟更新機(jī)制DDPG 里有一個(gè)人盡皆知但新手經(jīng)常踩坑的機(jī)制目標(biāo)網(wǎng)絡(luò)。Q 學(xué)習(xí)的更新目標(biāo)里包含 Q(s, a) 的估計(jì)如果用同一個(gè)網(wǎng)絡(luò)同時(shí)生成估計(jì)值和目標(biāo)值那就有個(gè)正反饋噪聲問(wèn)題——網(wǎng)絡(luò)每次更新都會(huì)把誤差傳播到目標(biāo)里訓(xùn)練不穩(wěn)定。DDPG 的解決方案是復(fù)制一套 Actor 和 Critic 作為目標(biāo)網(wǎng)絡(luò)它們不參與梯度更新只用來(lái)計(jì)算 TD 目標(biāo)。目標(biāo)網(wǎng)絡(luò)和在線(xiàn)網(wǎng)絡(luò)之間也不是周期性硬拷貝而是軟更新每次迭代都朝著在線(xiàn)網(wǎng)絡(luò)的方向挪一小步。軟更新的公式是 θ_target τ * θ_current (1 - τ) * θ_targetτ 取 0.005 是我復(fù)現(xiàn)時(shí)試出來(lái)最穩(wěn)的參數(shù)。τ 太大會(huì)導(dǎo)致目標(biāo)網(wǎng)絡(luò)抖動(dòng)目標(biāo)是模型崩潰τ 太小又會(huì)讓目標(biāo)網(wǎng)絡(luò)更新太慢早期學(xué)習(xí)效率低。我建議第一次跑的時(shí)候不要調(diào) τ固定 0.005把精力放在環(huán)境設(shè)計(jì)和獎(jiǎng)勵(lì)縮放上。所有讓訓(xùn)練不穩(wěn)定的鍋至少在我復(fù)現(xiàn)的過(guò)程中有一半以上其實(shí)不在 τ 上。3.3 探索策略與動(dòng)作噪聲DDPG 的 Actor 輸出的是確定性策略這意味著如果不加噪聲智能體一旦學(xué)會(huì)一個(gè)動(dòng)作就永遠(yuǎn)做同一個(gè)動(dòng)作完全沒(méi)有探索能力。標(biāo)準(zhǔn)做法是在動(dòng)作上疊加隨機(jī)噪聲。論文里很多用 OU 噪聲也就是奧恩斯坦-烏倫貝克過(guò)程它能產(chǎn)生時(shí)序相關(guān)的探索信號(hào)適合連續(xù)控制問(wèn)題。但我實(shí)際復(fù)現(xiàn)時(shí)發(fā)現(xiàn)高斯噪聲配合線(xiàn)性退火也能達(dá)到同樣效果而且調(diào)參簡(jiǎn)單得多。我的具體做法是訓(xùn)練前 500 個(gè) episode 使用高斯噪聲標(biāo)準(zhǔn)差 0.1之后每 1000 個(gè) episode 線(xiàn)性衰減到 0.02最終保底 0.02 的固定噪聲保證持續(xù)探索。衰減速度非常關(guān)鍵。衰減太快智能體容易被鎖死在早期發(fā)現(xiàn)的局部策略里比如一直低價(jià)搶量跑好幾千個(gè) episode 也找不到高價(jià)策略衰減太慢訓(xùn)練后期動(dòng)作噪聲太大策略在小范圍里反復(fù)震蕩收益曲線(xiàn)看起來(lái)像心電圖。如果你想復(fù)現(xiàn)論文里那條平滑的收益上升曲線(xiàn)噪聲調(diào)度至少要像學(xué)習(xí)率一樣用心去調(diào)。4. 多 Agent 訓(xùn)練架構(gòu)集中訓(xùn)練與分散執(zhí)行的落地4.1 從單 Agent 擴(kuò)展到多 Agent 的核心矛盾單個(gè) Agent 學(xué)習(xí)報(bào)價(jià)策略環(huán)境是靜態(tài)的訓(xùn)練相對(duì)簡(jiǎn)單。但電力市場(chǎng)里所有發(fā)電商同時(shí)在學(xué)問(wèn)題性質(zhì)就變了。我作為發(fā)電商報(bào)價(jià)高了可能會(huì)被擠出市場(chǎng)但如果其他發(fā)電商也跟著報(bào)價(jià)提高市場(chǎng)價(jià)格整體上漲我的高價(jià)策略反而更賺錢(qián)。市場(chǎng)環(huán)境因?yàn)槠渌悄荏w的策略變化而不斷改變對(duì)單個(gè)智能體來(lái)說(shuō)環(huán)境是非平穩(wěn)的。這是電力市場(chǎng) DRL 復(fù)現(xiàn)中最難解決的一個(gè)點(diǎn)比 DDPG 本身的訓(xùn)練難得多。如果 N 個(gè) Agent 各自獨(dú)立訓(xùn)練每個(gè)都有自己的 Actor、Critic 和回放池樣本之間的時(shí)序關(guān)聯(lián)會(huì)帶來(lái)額外的震蕩。A 智能體上一回合的對(duì)手策略分布和這一回合的已經(jīng)完全不同回放池里的舊樣本就變成了錯(cuò)誤的地圖用它更新當(dāng)前策略可能適得其反。我剛開(kāi)始就是這么寫(xiě)的結(jié)果三個(gè) Agent 的收益曲線(xiàn)像麻花一樣糾纏沒(méi)有一個(gè)收斂。4.2 以 CTDE 為基礎(chǔ)的多 Agent DDPG 實(shí)現(xiàn)我的解決方案是業(yè)界標(biāo)準(zhǔn)的集中訓(xùn)練、分散執(zhí)行CTDECentralized Training with Decentralized Execution。思想很簡(jiǎn)單每個(gè) Agent 在執(zhí)行時(shí)只能看到自己的局部觀測(cè)所以 Actor 網(wǎng)絡(luò)只輸入自己的狀態(tài)但訓(xùn)練時(shí) Critic 可以看全局信息——所有 Agent 的狀態(tài)拼起來(lái)所有 Agent 的動(dòng)作也拼起來(lái)這樣 Critic 在評(píng)估當(dāng)前動(dòng)作價(jià)值時(shí)擁有全局視角能夠理解對(duì)手動(dòng)作帶來(lái)的影響。執(zhí)行階段不需要全局信息網(wǎng)絡(luò)架構(gòu)天然符合真實(shí)電力市場(chǎng)“發(fā)電商只能看到自己的私有信息市場(chǎng)公開(kāi)信息”的信息約束。工程實(shí)現(xiàn)上每個(gè) Agent 擁有自己獨(dú)立的 Actor、Critic 和回放池但 Critic 網(wǎng)絡(luò)中加了一個(gè)“全局信息融合”分支。更新時(shí)統(tǒng)一從所有回放池中按相同種子采樣保證訓(xùn)練批次里各個(gè) Agent 的經(jīng)驗(yàn)在時(shí)間上是對(duì)齊的然后各自計(jì)算 Critic loss 和 Actor loss。這種同步更新的方式比異步更新穩(wěn)定得多因?yàn)樗?Agent 共享同一步訓(xùn)練進(jìn)度不會(huì)出現(xiàn)一個(gè)人已經(jīng)學(xué)會(huì)抬價(jià)、另一個(gè)人還在低價(jià)搶量的極端失衡狀態(tài)。4.3 訓(xùn)練過(guò)程中的博弈動(dòng)態(tài)觀察我把訓(xùn)練過(guò)程完整跑下來(lái)之后觀察到幾個(gè)非常明顯的階段。前期探索階段所有 Agent 報(bào)出來(lái)的動(dòng)作都很隨機(jī)市場(chǎng)出清價(jià)被壓得很低利潤(rùn)普遍為負(fù)。中期競(jìng)爭(zhēng)階段有 Agent 先學(xué)會(huì)了“壓低報(bào)價(jià)多拿電量”這時(shí)候它的利潤(rùn)上升很快市場(chǎng)均價(jià)維持低位。后期策略分化階段一些 Agent 發(fā)現(xiàn)簡(jiǎn)單的低價(jià)策略收益上不去了開(kāi)始嘗試在部分時(shí)段提升報(bào)價(jià)如果其他 Agent 沒(méi)有同步提價(jià)這個(gè) Agent 就會(huì)被擠出市場(chǎng)收益立刻下降但如果多個(gè) Agent 默契地同步提價(jià)市場(chǎng)出清價(jià)整體上移大家利潤(rùn)都漲。這個(gè)動(dòng)態(tài)過(guò)程特別像真實(shí)市場(chǎng)里的價(jià)格同盟只不過(guò)在算法層面是純自發(fā)涌現(xiàn)的。復(fù)現(xiàn)論文時(shí)觀察這個(gè)演化過(guò)程比盯著最終收益曲線(xiàn)有意思得多也更能理解論文里描述的“市場(chǎng)力”現(xiàn)象是怎么在算法層面浮出水面的。5. Python 代碼實(shí)現(xiàn)核心模塊與訓(xùn)練閉環(huán)拆解5.1 工程目錄與整體流程代碼結(jié)構(gòu)是我在復(fù)現(xiàn)過(guò)程中反復(fù)調(diào)整后定下來(lái)的。一開(kāi)始我把環(huán)境、Agent、訓(xùn)練循環(huán)全部寫(xiě)在一個(gè)文件里結(jié)果改一個(gè)出清參數(shù)要全局搜索調(diào)試效率極低。后來(lái)拆成模塊化結(jié)構(gòu)整個(gè)項(xiàng)目變得清爽很多power_market_ddpg/ ├── envs/ │ ├── market_env.py # 電力市場(chǎng)環(huán)境主類(lèi) │ └── clearing.py # 出清引擎簡(jiǎn)化版 LP版 ├── agents/ │ ├── ddpg.py # DDPG智能體 │ └── networks.py # Actor / Critic 網(wǎng)絡(luò)定義 ├── utils/ │ ├── replay_buffer.py # 經(jīng)驗(yàn)回放池 │ └── logger.py # 日志與指標(biāo)記錄 ├── config.py # 全局超參數(shù) └── train.py # 訓(xùn)練主循環(huán)模塊拆分的收益在后期實(shí)驗(yàn)對(duì)比時(shí)特別明顯。我要換出清規(guī)則只需要改 clearing.py要換網(wǎng)絡(luò)結(jié)構(gòu)只動(dòng) networks.py要調(diào)探索噪聲調(diào)度直接改 config.py 里的參數(shù)。實(shí)驗(yàn)跑多了以后每次實(shí)驗(yàn)的輸出都按時(shí)間戳存進(jìn)獨(dú)立目錄包含完整超參快照和指標(biāo) CSV這樣后來(lái)想復(fù)現(xiàn)某次結(jié)果時(shí)不用靠腦子回憶當(dāng)時(shí)改了什么東西。5.2 環(huán)境與出清模塊實(shí)現(xiàn)環(huán)境類(lèi)負(fù)責(zé)維護(hù)市場(chǎng)狀態(tài)、調(diào)用出清引擎、計(jì)算獎(jiǎng)勵(lì)。核心接口是 reset 和 step跟 Gym 風(fēng)格保持一致這樣后續(xù)如果想接入其他強(qiáng)化學(xué)習(xí)框架會(huì)很方便。step 的輸入是 actions 數(shù)組形狀是 (num_agents, n_periods)里面是每個(gè) Agent 在 24 個(gè)時(shí)段上的報(bào)價(jià)系數(shù)。環(huán)境內(nèi)部根據(jù)報(bào)價(jià)系數(shù)結(jié)合成本參數(shù)生成具體報(bào)價(jià)單送進(jìn)出清引擎得到每個(gè)時(shí)段的出清價(jià)和各 Agent 的出清量再根據(jù)成本函數(shù)計(jì)算獎(jiǎng)勵(lì)。報(bào)價(jià)單生成有個(gè)細(xì)節(jié)值得說(shuō)一下報(bào)價(jià)系數(shù)不能直接當(dāng)作邊際成本用它是作用在成本函數(shù)的一次項(xiàng)系數(shù) b 上的也就是 bid_price b_i * multiplier。二次項(xiàng) a 不參與報(bào)價(jià)因?yàn)楝F(xiàn)實(shí)中發(fā)電商不太可能把自己的非線(xiàn)性成本結(jié)構(gòu)完全暴露給市場(chǎng)運(yùn)營(yíng)方。這個(gè)細(xì)節(jié)如果忽略把整個(gè)邊際成本曲線(xiàn)都乘以乘子出清結(jié)果會(huì)失真。代碼里我用了一個(gè)單獨(dú)的方法來(lái)生成報(bào)價(jià)單這樣后續(xù)要改成線(xiàn)性報(bào)價(jià)曲線(xiàn)或者分段報(bào)價(jià)曲線(xiàn)都能在不破壞環(huán)境主體的前提下擴(kuò)展。class PowerMarketEnv: def __init__(self, num_agents3, n_periods24, load_profileNone): self.num_agents num_agents self.n_periods n_periods self.load_profile load_profile self.cost_coeffs [ {a: 0.002, b: 0.4}, {a: 0.005, b: 0.3}, {a: 0.003, b: 0.5}, ] def reset(self): # 加隨機(jī)擾動(dòng)模擬需求不確定性 noise 1 0.05 * np.random.randn(self.n_periods) self.load self.load_profile * noise return self._get_state() def step(self, actions): bid_curves self._build_bid_curves(actions) prices, quantities [], [] for t in range(self.n_periods): bids_t [(bid_curves[i][t], self._get_capacity(i)) for i in range(self.num_agents)] p, q clearing.market_clearing(bids_t, self.load[t]) prices.append(p) quantities.append(q) rewards self._compute_rewards(quantities, prices) return self._get_state(), rewards def _build_bid_curves(self, actions): bid np.zeros((self.num_agents, self.n_periods)) for i in range(self.num_agents): b self.cost_coeffs[i][b] bid[i] b * actions[i] return bid5.3 DDPG 智能體與回放池實(shí)現(xiàn)DDPG 智能體的核心方法就兩個(gè)select_action 負(fù)責(zé)根據(jù)當(dāng)前狀態(tài)輸出探索擾動(dòng)后的動(dòng)作update 負(fù)責(zé)從回放池采樣并更新網(wǎng)絡(luò)。select_action 里注意必須把 PyTorch Tensor 轉(zhuǎn)成 numpy 數(shù)組再返回否則后面環(huán)境計(jì)算和記錄都會(huì)帶著自動(dòng)求導(dǎo)的圖內(nèi)存越積越多跑幾百個(gè) episode 就會(huì) OOM。update 里分三步走更新 Critic、更新 Actor、軟更新目標(biāo)網(wǎng)絡(luò)。Critic 的 loss 是預(yù)測(cè) Q 值和目標(biāo) Q 值的均方誤差A(yù)ctor 的 loss 是負(fù)的 Q 值均值——本質(zhì)上就是在最大化 Critic 對(duì)當(dāng)前動(dòng)作的打分。經(jīng)驗(yàn)回放池我用的標(biāo)準(zhǔn)固定容量 deque容量設(shè) 20000。這里有個(gè)權(quán)衡容量太小導(dǎo)致樣本相關(guān)性高訓(xùn)練震蕩容量太大會(huì)讓回放池里的數(shù)據(jù)太舊尤其在多 Agent 場(chǎng)景下舊數(shù)據(jù)對(duì)應(yīng)的對(duì)手策略分布已經(jīng)變化更新反而拖慢學(xué)習(xí)。20000 在 3 Agent 的環(huán)境里夠用。每次隨機(jī)采樣 batch size 是 128用 numpy 的隨機(jī)索引實(shí)現(xiàn)不需要額外復(fù)雜設(shè)計(jì)。class DDPGAgent: def __init__(self, state_dim, action_dim, lr1e-4, gamma0.99, tau0.005): self.actor Actor(state_dim, action_dim) self.critic Critic(state_dim, action_dim) self.target_actor Actor(state_dim, action_dim) self.target_critic Critic(state_dim, action_dim) self.target_actor.load_state_dict(self.actor.state_dict()) self.target_critic.load_state_dict(self.critic.state_dict()) self.actor_opt torch.optim.Adam(self.actor.parameters(), lrlr) self.critic_opt torch.optim.Adam(self.critic.parameters(), lrlr) self.gamma gamma self.tau tau def select_action(self, state, noise_std0.1): state torch.FloatTensor(state).unsqueeze(0) action self.actor(state).detach().numpy().squeeze() action np.random.normal(0, noise_std, sizeaction.shape) return np.clip(action, 0.2, 2.0) def update(self, states, actions, rewards, next_states, dones, global_allies): # 計(jì)算目標(biāo)Q值 next_actions self.target_actor(next_states) target_q self.target_critic(next_states, next_actions) y rewards self.gamma * target_q * (1 - dones) current_q self.critic(states, actions) critic_loss nn.MSELoss()(current_q, y.detach()) self.critic_opt.zero_grad() critic_loss.backward() self.critic_opt.step() # 更新Actor actor_loss -self.critic(states, self.actor(states)).mean() self.actor_opt.zero_grad() actor_loss.backward() self.actor_opt.step() # 軟更新目標(biāo)網(wǎng)絡(luò) for target_param, param in zip(self.target_actor.parameters(), self.actor.parameters()): target_param.data.copy_(self.tau * param.data (1 - self.tau) * target_param.data) for target_param, param in zip(self.target_critic.parameters(), self.critic.parameters()): target_param.data.copy_(self.tau * param.data (1 - self.tau) * target_param.data)5.4 訓(xùn)練主循環(huán)與日志記錄訓(xùn)練主循環(huán)的邏輯不復(fù)雜每個(gè) episode 開(kāi)始時(shí)環(huán)境重置每個(gè) episode 內(nèi)讓所有 Agent 各自選動(dòng)作、環(huán)境 step、把經(jīng)驗(yàn)存進(jìn)各自回放池、結(jié)束后統(tǒng)一更新一次。如果追求細(xì)粒度可以做多步更新但我復(fù)現(xiàn)時(shí)發(fā)現(xiàn)一個(gè) episode 結(jié)束后更新一次已經(jīng)足夠因?yàn)殡娏κ袌?chǎng)運(yùn)行的天然單位就是一天。日志記錄這件事千萬(wàn)別偷懶。我記錄了每個(gè) episode 的平均出清價(jià)、每個(gè) Agent 的累計(jì)利潤(rùn)、報(bào)價(jià)均值與方差、市場(chǎng)集中度指標(biāo)HHI全部落到 CSV 文件。事后分析訓(xùn)練過(guò)程時(shí)這些市場(chǎng)層面的統(tǒng)計(jì)量比單個(gè) Agent 的收益曲線(xiàn)更有診斷價(jià)值如果平均出清價(jià)長(zhǎng)期低于所有 Agent 的成本中位數(shù)說(shuō)明訓(xùn)練卡在了低價(jià)策略如果某個(gè) Agent 報(bào)價(jià)方差突然變大說(shuō)明它的探索噪聲沒(méi)退火到位。這些指標(biāo)能幫你快速定位問(wèn)題省下大量盲調(diào)時(shí)間。6. 復(fù)現(xiàn)結(jié)果分析收斂性、對(duì)比實(shí)驗(yàn)與參數(shù)敏感性6.1 收斂曲線(xiàn)觀察到的現(xiàn)象我用 3 個(gè) Agent 跑了 3000 個(gè) episode。前 500 個(gè) episode市場(chǎng)出清價(jià)震蕩劇烈所有 Agent 的利潤(rùn)在零附近波動(dòng)這是探索噪聲主導(dǎo)的階段。500 到 1500 個(gè) episode個(gè)別 Agent 開(kāi)始穩(wěn)定地壓低報(bào)價(jià)搶量它的利潤(rùn)曲線(xiàn)率先抬頭但市場(chǎng)價(jià)格整體仍在低位。1500 到 2500 個(gè) episode多個(gè) Agent 進(jìn)入策略分化期利潤(rùn)曲線(xiàn)開(kāi)始出現(xiàn)明顯的非同步波動(dòng)——一個(gè) Agent 漲價(jià)導(dǎo)致被擠出市場(chǎng)利潤(rùn)下滑然后它再降價(jià)利潤(rùn)回升。真正穩(wěn)定的局面在 2500 個(gè) episode 之后才出現(xiàn)此時(shí)市場(chǎng)均價(jià)穩(wěn)定在完全競(jìng)爭(zhēng)均衡價(jià)格之上的某個(gè)位置三個(gè) Agent 的利潤(rùn)曲線(xiàn)不再互相糾纏各自保持在穩(wěn)定的水平線(xiàn)上。作為對(duì)比單 Agent 環(huán)境下 800 個(gè) episode 左右就能收斂這個(gè)差距提醒我多 Agent 博弈的收斂不能用單 Agent 的經(jīng)驗(yàn)去預(yù)估要給它足夠的耐心。6.2 與基準(zhǔn)方法的對(duì)比復(fù)現(xiàn)論文總要有一個(gè)基準(zhǔn)對(duì)照才能看出算法的真實(shí)價(jià)值。我做了三組對(duì)比第一組是所有發(fā)電商嚴(yán)格按照邊際成本報(bào)價(jià)這是完全競(jìng)爭(zhēng)市場(chǎng)的理論基準(zhǔn)第二組是在邊際成本基礎(chǔ)上固定加價(jià) 5%這是很多電力市場(chǎng)經(jīng)典報(bào)價(jià)策略的代表第三組是用 DQN 做離散報(bào)價(jià)每個(gè)時(shí)段從三檔報(bào)價(jià)系數(shù) {0.8, 1.0, 1.2} 里選作為對(duì)比 DDPG 連續(xù)動(dòng)作優(yōu)勢(shì)的參照。結(jié)果是DDPG 訓(xùn)練的 Agent 在最終 500 個(gè) episode 的平均利潤(rùn)比固定加價(jià)策略高出約 18%比邊際成本報(bào)價(jià)高出一倍多DQN 也能學(xué)到策略但因?yàn)閯?dòng)作離散化丟失了大量精細(xì)調(diào)整能力利潤(rùn)只有 DDPG 的六成左右。這些數(shù)值具體是多少不重要重要的是復(fù)現(xiàn)論文時(shí)要建立這樣的對(duì)比序列才能證明“用強(qiáng)化學(xué)習(xí)學(xué)出來(lái)的策略?xún)?yōu)于傳統(tǒng)啟發(fā)式策略”這個(gè)結(jié)論在你的環(huán)境里是成立的。6.3 參數(shù)敏感性分析與經(jīng)驗(yàn)值我在復(fù)現(xiàn)過(guò)程中調(diào)過(guò)一批超參把最有價(jià)值的經(jīng)驗(yàn)寫(xiě)下來(lái)供參考。學(xué)習(xí)率方面Critic 和 Actor 不要設(shè)成同一個(gè)值Critic 用 1e-3、Actor 用 1e-4效果明顯優(yōu)于兩者相同。原因是 Q 網(wǎng)絡(luò)的誤差面比策略網(wǎng)絡(luò)平滑可以承受更大的學(xué)習(xí)率而 Actor 如果學(xué)習(xí)率太高策略更新步子太大會(huì)導(dǎo)致 Q 值反饋跟不上訓(xùn)練容易震蕩。獎(jiǎng)勵(lì)縮放方面把利潤(rùn)除以平均可變成本基準(zhǔn)值讓獎(jiǎng)勵(lì)落在正負(fù) 0.5 附近Q 值收斂速度有數(shù)量級(jí)的改善。目標(biāo)網(wǎng)絡(luò)軟更新系數(shù) τ 固定在 0.005 不要?jiǎng)印Ｌ剿髟肼曀p率設(shè)成每 1000 個(gè) episode 衰減 30%太快的后果是策略鎖死在低質(zhì)量區(qū)域太慢的后果是訓(xùn)練后期收益曲線(xiàn)像鋸齒一樣抖動(dòng)。還有一個(gè)容易被忽視的參數(shù)是網(wǎng)絡(luò)初始化的隨機(jī)種子。多 Agent 博弈的收斂結(jié)果是路徑依賴(lài)的換一個(gè)隨機(jī)種子可能收斂到完全另一組策略組合。論文里如果只報(bào)告一次結(jié)果很可能是挑了運(yùn)氣最好的那一次。我復(fù)現(xiàn)時(shí)固定了三個(gè)隨機(jī)種子各跑一遍三次都收斂到利潤(rùn)水平相近的區(qū)間才敢說(shuō)算法本身是穩(wěn)的。隨機(jī)種子之間的差異如果過(guò)大說(shuō)明多 Agent 博弈的均衡多樣性太強(qiáng)這時(shí)候應(yīng)該優(yōu)先調(diào)整探索噪聲調(diào)度而不是網(wǎng)絡(luò)結(jié)構(gòu)。7. 復(fù)現(xiàn)過(guò)程中的坑與解決方案7.1 常見(jiàn)問(wèn)題速查表我把復(fù)現(xiàn)過(guò)程中遇到的最典型的幾個(gè)問(wèn)題整理成了速查表每個(gè)都是真實(shí)踩過(guò)的坑問(wèn)題現(xiàn)象可能原因解決辦法訓(xùn)練前期所有 Agent 利潤(rùn)長(zhǎng)期為負(fù)探索噪聲太大報(bào)價(jià)普遍低于成本降低初始噪聲、提高報(bào)價(jià)系數(shù)下限收益曲線(xiàn)震蕩幾百個(gè) episode 不收斂多 Agent 環(huán)境非平穩(wěn)同步更新、降低學(xué)習(xí)率、引入 CTDE市場(chǎng)出清價(jià)長(zhǎng)期低于成本中位數(shù)所有 Agent 陷在低價(jià)搶量局部最優(yōu)加快噪聲退火、提高報(bào)價(jià)下限Q 值發(fā)散到 10 的 8 次方獎(jiǎng)勵(lì)未做縮放除以基準(zhǔn)值做獎(jiǎng)勵(lì)歸一化Actor 輸出恒在動(dòng)作邊界網(wǎng)絡(luò)容量不足或 Sigmoid 飽和增加隱藏層寬度、檢查動(dòng)作映射范圍單 Agent 正常、多 Agent 后性能驟降CTDE 信息融合沒(méi)實(shí)現(xiàn)或時(shí)序不同步檢查所有 Agent 的狀態(tài)與動(dòng)作是否對(duì)齊7.2 多 Agent 訓(xùn)練的四個(gè)核心建議第一固定隨機(jī)種子至少跑三次。多 Agent 博弈的收斂結(jié)果不是唯一的一次實(shí)驗(yàn)的成功可能是運(yùn)氣三次實(shí)驗(yàn)的統(tǒng)計(jì)均值才是算法的真實(shí)水平。第二先單 Agent 跑通再擴(kuò)展多 Agent。單 Agent 環(huán)境里把 DDPG、出清、獎(jiǎng)勵(lì)縮放全部調(diào)通只要不到半小時(shí)多 Agent 里遇到不穩(wěn)定問(wèn)題調(diào)試復(fù)雜度翻好幾倍。第三多記錄市場(chǎng)層面的統(tǒng)計(jì)量比如平均出清價(jià)、市場(chǎng)集中度、各 Agent 報(bào)價(jià)方差這些指標(biāo)能告訴你訓(xùn)練卡在哪個(gè)階段。第四改進(jìn)獎(jiǎng)勵(lì)一定要保守不要輕易加入復(fù)雜的分量比如“鼓勵(lì)某個(gè)特定報(bào)價(jià)區(qū)間”這類(lèi)人造獎(jiǎng)勵(lì)很容易讓智能體鉆空子學(xué)出一個(gè)表面好看的報(bào)價(jià)策略實(shí)際卻不適應(yīng)市場(chǎng)變化。7.3 從復(fù)現(xiàn)到擴(kuò)展的一點(diǎn)想法這套環(huán)境搭好之后后續(xù)可以做的事情非常多。動(dòng)作空間可以擴(kuò)展到帶爬坡約束的機(jī)組組合決策出清模型可以換成帶網(wǎng)絡(luò)約束的節(jié)點(diǎn)邊際電價(jià)模型算法可以從 DDPG 換到 MADDPG、MAPPO 或者 SAC。更重要的是這套環(huán)境可以用于研究市場(chǎng)機(jī)制設(shè)計(jì)本身比如改變報(bào)價(jià)紀(jì)律、改變信息披露規(guī)則、引入新能源參與者的隨機(jī)報(bào)價(jià)觀察不同機(jī)制下市場(chǎng)價(jià)格水平和社會(huì)福利的變化。這些都建立在環(huán)境模塊足夠干凈、Agent 架構(gòu)足夠靈活的基礎(chǔ)上這也是我一開(kāi)始堅(jiān)持模塊化拆分的根本原因。最后分享一點(diǎn)個(gè)人體會(huì)。復(fù)現(xiàn)這類(lèi)論文最難的部分不是算法公式而是你必須在“貼近真實(shí)市場(chǎng)”和“算法可訓(xùn)練”之間找到一個(gè)平衡點(diǎn)。太真實(shí)的環(huán)境智能體學(xué)不動(dòng)太簡(jiǎn)化的環(huán)境復(fù)現(xiàn)出來(lái)的結(jié)論又站不住腳。我前兩版代碼基本都廢在環(huán)境設(shè)計(jì)上后來(lái)才悟出來(lái)先做一個(gè)能訓(xùn)練出合理結(jié)果的最簡(jiǎn)環(huán)境再逐步往里面加復(fù)雜度。每一步加完重新確認(rèn)策略還能收斂再走下一步。這種做法看起來(lái)慢實(shí)際是快——比一次堆一個(gè)巨型環(huán)境然后從頭調(diào)三周要快得多。希望這篇拆解能讓你少走一點(diǎn)彎路。