1. 為什么能源調(diào)度需要深度強(qiáng)化學(xué)習(xí)傳統(tǒng)方法的邊界先聊聊我這幾年的切身感受。做能源系統(tǒng)調(diào)度的人應(yīng)該都有一個(gè)共識(shí)現(xiàn)在的調(diào)度問(wèn)題越來(lái)越不像一個(gè)經(jīng)典的優(yōu)化問(wèn)題。分布式光伏、儲(chǔ)能、可調(diào)負(fù)荷、電動(dòng)車(chē)充電樁五花八門(mén)的設(shè)備都接進(jìn)來(lái)了電價(jià)還在實(shí)時(shí)波動(dòng)新能源出力又受天氣影響負(fù)荷預(yù)測(cè)也做不到精準(zhǔn)。前幾年我參與某園區(qū)微網(wǎng)調(diào)度項(xiàng)目的改造時(shí)甲方給的訴求很直接現(xiàn)有的調(diào)度策略只能跟著計(jì)劃走一遇到天氣突變、電價(jià)波動(dòng)就抓瞎能不能做一個(gè)能實(shí)時(shí)應(yīng)對(duì)的調(diào)度系統(tǒng)這個(gè)訴求背后就是傳統(tǒng)方法解決不了的痛點(diǎn)。1.1 能源調(diào)度問(wèn)題的本質(zhì)難點(diǎn)能源調(diào)度本質(zhì)上是一個(gè)帶約束的在線(xiàn)決策問(wèn)題。說(shuō)它難主要體現(xiàn)在四個(gè)層面高維度。一個(gè)中等規(guī)模的園區(qū)微網(wǎng)可能有幾十臺(tái)設(shè)備、多類(lèi)儲(chǔ)能單元、幾十個(gè)可調(diào)負(fù)荷節(jié)點(diǎn)每個(gè)節(jié)點(diǎn)都有各自的運(yùn)行約束和狀態(tài)變量。把所有狀態(tài)拼起來(lái)動(dòng)輒上百維再加上時(shí)間維度上的耦合決策空間的規(guī)模非常龐大。強(qiáng)隨機(jī)性。光伏出力受云層遮擋影響分鐘級(jí)波動(dòng)很常見(jiàn)負(fù)荷曲線(xiàn)受生產(chǎn)計(jì)劃、天氣、節(jié)假日影響現(xiàn)貨市場(chǎng)的電價(jià)更是分鐘級(jí)變化。這些外部因素都無(wú)法精確預(yù)知調(diào)度策略必須在不確定性中做決策。強(qiáng)耦合性。儲(chǔ)能電池的SOC荷電狀態(tài)把過(guò)去、現(xiàn)在和未來(lái)的決策串在一起——今天多充一度電明天可能就少充一度可調(diào)負(fù)荷的調(diào)節(jié)空間又取決于當(dāng)前生產(chǎn)狀態(tài)變壓器的容量約束同時(shí)限制著所有設(shè)備的功率總和。這是典型的時(shí)序耦合和功率耦合疊加的問(wèn)題。多時(shí)間尺度。設(shè)備啟停是分鐘級(jí)到小時(shí)級(jí)決策儲(chǔ)能充放電是秒級(jí)到分鐘級(jí)決策需求響應(yīng)是小時(shí)級(jí)到日前級(jí)決策。調(diào)度系統(tǒng)必須同時(shí)處理不同時(shí)間尺度的協(xié)調(diào)。傳統(tǒng)做法不是沒(méi)有嘗試過(guò)?；旌险麛?shù)線(xiàn)性規(guī)劃M(mǎn)ILP能把大部分約束建進(jìn)去但求解速度在大規(guī)模場(chǎng)景下堪憂(yōu)模型預(yù)測(cè)控制MPC擅長(zhǎng)滾動(dòng)優(yōu)化但性能過(guò)度依賴(lài)預(yù)測(cè)精度和模型保真度模型稍有偏差優(yōu)化結(jié)果就跟著跑偏。我在實(shí)際項(xiàng)目中見(jiàn)過(guò)不止一次這樣的場(chǎng)景預(yù)測(cè)模型說(shuō)下午三點(diǎn)光伏出力800kW實(shí)際云層一擋直接掉到200kWMPC給出的充放電計(jì)劃立刻失效調(diào)度員只能手動(dòng)干預(yù)。1.2 從建模求解到學(xué)習(xí)決策的范式轉(zhuǎn)變深度強(qiáng)化學(xué)習(xí)DRL給能源調(diào)度帶來(lái)了一個(gè)完全不同的思路不去精確建模所有隨機(jī)過(guò)程而是把調(diào)度問(wèn)題建模為馬爾可夫決策過(guò)程MDP讓智能體在與環(huán)境的交互中學(xué)習(xí)一套從狀態(tài)到動(dòng)作的映射策略。具體來(lái)說(shuō)MDP的要素是這樣對(duì)應(yīng)的狀態(tài)當(dāng)前時(shí)刻的系統(tǒng)運(yùn)行狀態(tài)包括各設(shè)備實(shí)時(shí)功率、儲(chǔ)能SOC、電價(jià)信號(hào)、天氣預(yù)報(bào)、負(fù)荷水平等動(dòng)作調(diào)度指令比如儲(chǔ)能充放電功率、可調(diào)負(fù)荷的調(diào)節(jié)量、機(jī)組出力設(shè)定值獎(jiǎng)勵(lì)每步?jīng)Q策后的反饋通常綜合了運(yùn)行成本、約束滿(mǎn)足情況、設(shè)備損耗等多項(xiàng)目標(biāo)狀態(tài)轉(zhuǎn)移當(dāng)前狀態(tài)和動(dòng)作共同作用產(chǎn)生下一個(gè)狀態(tài)這個(gè)轉(zhuǎn)移由物理系統(tǒng)本身決定。訓(xùn)練完成后DRL智能體的決策過(guò)程就是一次神經(jīng)網(wǎng)絡(luò)前向推理毫秒級(jí)就能給出動(dòng)作。這跟MPC每步都要重新求解一個(gè)優(yōu)化問(wèn)題完全不同。我在實(shí)戰(zhàn)中測(cè)試過(guò)相同規(guī)模的調(diào)度場(chǎng)景下DRL單步?jīng)Q策時(shí)延約在10~30msMPC單步求解則在幾百毫秒到幾秒之間浮動(dòng)而且求解時(shí)間還隨問(wèn)題規(guī)模增長(zhǎng)。當(dāng)然這不是說(shuō)DRL要完全取代傳統(tǒng)優(yōu)化。更準(zhǔn)確的說(shuō)法是DRL把在線(xiàn)反復(fù)求解優(yōu)化問(wèn)題變成了離線(xiàn)學(xué)習(xí)、在線(xiàn)查表把計(jì)算壓力從運(yùn)行階段轉(zhuǎn)移到了訓(xùn)練階段。這是它適合做實(shí)時(shí)調(diào)度的根本原因。2. 框架的模塊化架構(gòu)與數(shù)據(jù)流設(shè)計(jì)聊完動(dòng)機(jī)進(jìn)入正題。這個(gè)深度強(qiáng)化學(xué)習(xí)調(diào)度框架的設(shè)計(jì)目標(biāo)很明確既能用于離線(xiàn)訓(xùn)練算法、評(píng)估策略又能連接真實(shí)系統(tǒng)做在線(xiàn)調(diào)度。因此架構(gòu)上天然分成了多層每層職責(zé)清晰、可獨(dú)立替換。2.1 分層架構(gòu)總覽整個(gè)框架從下往上分成五層我用一張表把每層的職責(zé)和關(guān)鍵模塊列出來(lái)層級(jí)職責(zé)核心組成數(shù)據(jù)接入層對(duì)接歷史數(shù)據(jù)庫(kù)、實(shí)時(shí)數(shù)據(jù)平臺(tái)、預(yù)測(cè)服務(wù)數(shù)據(jù)管道、清洗校驗(yàn)、特征對(duì)齊環(huán)境模擬層構(gòu)建可交互的調(diào)度環(huán)境支持仿真與回放設(shè)備模型、負(fù)荷/新能源模型、電價(jià)生成器智能體層訓(xùn)練和推理調(diào)度策略算法庫(kù)、網(wǎng)絡(luò)結(jié)構(gòu)、經(jīng)驗(yàn)回放、策略評(píng)估調(diào)度決策層把智能體輸出轉(zhuǎn)換為可執(zhí)行調(diào)度指令動(dòng)作映射、安全約束校驗(yàn)、指令格式化應(yīng)用交互層提供可視化和人工接口監(jiān)控面板、人工接管、日志審計(jì)各層之間通過(guò)統(tǒng)一的數(shù)據(jù)契約通信。比如說(shuō)環(huán)境層輸出的是標(biāo)準(zhǔn)化觀測(cè)向量智能體層輸出的是標(biāo)準(zhǔn)化動(dòng)作向量調(diào)度決策層負(fù)責(zé)把標(biāo)準(zhǔn)化動(dòng)作翻譯成具體設(shè)備的物理指令。這樣分層的好處是算法研究員只關(guān)心智能體層不用管設(shè)備通信系統(tǒng)集成人員只關(guān)心數(shù)據(jù)接入和指令下發(fā)不用碰算法細(xì)節(jié)。我見(jiàn)過(guò)很多失敗的調(diào)度項(xiàng)目問(wèn)題都出在層與層之間職責(zé)不清。有的團(tuán)隊(duì)把業(yè)務(wù)規(guī)則寫(xiě)死在訓(xùn)練代碼里換場(chǎng)景就得改算法有的團(tuán)隊(duì)把設(shè)備通信協(xié)議寫(xiě)在獎(jiǎng)勵(lì)函數(shù)里仿真環(huán)境換個(gè)接口就崩。這個(gè)框架的模塊化設(shè)計(jì)就是為了避免這種牽一發(fā)動(dòng)全身的尷尬。2.2 數(shù)據(jù)契約與狀態(tài)-動(dòng)作-獎(jiǎng)勵(lì)三要素狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)是DRL框架的數(shù)據(jù)契約也是整個(gè)框架的骨架。在設(shè)計(jì)之初就要把這三樣定死后續(xù)所有模塊都圍繞它們展開(kāi)。狀態(tài)空間定義系統(tǒng)看到什么。通常包括儲(chǔ)能SOC、各設(shè)備功率、實(shí)時(shí)電價(jià)、日前預(yù)測(cè)曲線(xiàn)、溫度/輻照度等外部因素、時(shí)間特征小時(shí)、星期、節(jié)假日標(biāo)志。動(dòng)作空間定義系統(tǒng)能做什么。在能源調(diào)度里動(dòng)作往往是混合型的儲(chǔ)能充放電功率是連續(xù)變量設(shè)備啟停是離散變量可調(diào)負(fù)荷是連續(xù)或離散的檔位調(diào)節(jié)。獎(jiǎng)勵(lì)函數(shù)定義系統(tǒng)追求什么?；颈P(pán)是運(yùn)行成本的負(fù)值再加上約束滿(mǎn)足的懲罰項(xiàng)?？蚣軐?duì)此的設(shè)計(jì)是狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)分別定義成獨(dú)立的類(lèi)每個(gè)類(lèi)有自己的schema格式規(guī)范并有對(duì)應(yīng)的序列化方法。所有算法模塊看到的都是同一份schema無(wú)論底層跑的是哪種算法數(shù)據(jù)格式完全一致。這個(gè)約束非常重要后面講算法庫(kù)選型時(shí)會(huì)看到它帶來(lái)的實(shí)際好處。2.3 數(shù)據(jù)流從離線(xiàn)到在線(xiàn)的一條完整鏈路調(diào)度框架的數(shù)據(jù)流可以用一條鏈路概括清楚歷史數(shù)據(jù) → 離線(xiàn)訓(xùn)練環(huán)境 → 策略網(wǎng)絡(luò) → 仿真評(píng)估 → 策略上線(xiàn) → 在線(xiàn)調(diào)度 → 運(yùn)行數(shù)據(jù)回流 → 持續(xù)迭代訓(xùn)練這條鏈路里最關(guān)鍵的設(shè)計(jì)是離線(xiàn)訓(xùn)練環(huán)境與在線(xiàn)調(diào)度的銜接。離線(xiàn)訓(xùn)練時(shí)環(huán)境模擬器基于歷史數(shù)據(jù)構(gòu)建場(chǎng)景某一周的電價(jià)曲線(xiàn)、某一天的光照數(shù)據(jù)、某幾條負(fù)荷曲線(xiàn)把它們拼接成訓(xùn)練片段。智能體在這些歷史場(chǎng)景里反復(fù)試錯(cuò)學(xué)習(xí)應(yīng)對(duì)不同工況的策略。訓(xùn)練結(jié)束、策略評(píng)估通過(guò)后模型部署到在線(xiàn)調(diào)度模塊。在線(xiàn)運(yùn)行時(shí)環(huán)境被真實(shí)系統(tǒng)替代真實(shí)狀態(tài)進(jìn)來(lái)策略網(wǎng)絡(luò)前向推理輸出動(dòng)作經(jīng)過(guò)安全校驗(yàn)后下發(fā)給設(shè)備執(zhí)行。每執(zhí)行一步真實(shí)反饋數(shù)據(jù)又會(huì)被記錄下來(lái)進(jìn)入經(jīng)驗(yàn)池作為下一次增量訓(xùn)練的原料。我在實(shí)際項(xiàng)目里踩過(guò)一個(gè)教訓(xùn)如果離線(xiàn)訓(xùn)練環(huán)境和在線(xiàn)系統(tǒng)之間的狀態(tài)定義不一致哪怕只是某個(gè)特征值的歸一化方式不同部署后策略性能也會(huì)明顯下滑。所以框架設(shè)計(jì)時(shí)我強(qiáng)烈建議把狀態(tài)/動(dòng)作的編碼解碼函數(shù)做成同一套代碼離線(xiàn)和在線(xiàn)都調(diào)用它而不是各寫(xiě)一套。3. 核心功能模塊解析現(xiàn)在深入到框架內(nèi)部把幾個(gè)核心功能模塊逐一拆開(kāi)。這些模塊是整個(gè)調(diào)度系統(tǒng)的發(fā)動(dòng)機(jī)也是對(duì)項(xiàng)目成敗影響最大的部分。3.1 狀態(tài)編碼與特征工程狀態(tài)編碼這件事看起來(lái)簡(jiǎn)單做起來(lái)到處都是細(xì)節(jié)。能源調(diào)度場(chǎng)景里的狀態(tài)特征大致分幾類(lèi)連續(xù)數(shù)值型功率、SOC、電價(jià)、周期時(shí)序型小時(shí)、星期、外部條件型溫度、輻照、事件型節(jié)假日、檢修標(biāo)志。不同類(lèi)型的特征處理方式差異很大。數(shù)值型特征必須做歸一化。儲(chǔ)能SOC范圍是0~1功率可能從-500kW到500kW電價(jià)的區(qū)間更不穩(wěn)定直接拼在一起喂給神經(jīng)網(wǎng)絡(luò)數(shù)值大的特征會(huì)主導(dǎo)梯度更新。實(shí)際使用的方案是對(duì)每個(gè)特征記錄其正常運(yùn)行區(qū)間的上下限用min-max歸一化映射到[-1, 1]區(qū)間。對(duì)電價(jià)這種可能突變的量還要做clip處理防止個(gè)別極端值把歸一化結(jié)果壓扁。時(shí)序型特征不能直接用原始值。比如小時(shí)這個(gè)特征直接編碼成0~23的整數(shù)會(huì)讓模型誤以為1點(diǎn)和23點(diǎn)差距很大。我通常用正弦余弦編碼import numpy as np def encode_hour(hour): hour hour / 24.0 return [np.sin(2 * np.pi * hour), np.cos(2 * np.pi * hour)]這樣1點(diǎn)和23點(diǎn)在特征空間里是相鄰的符合時(shí)間的自然語(yǔ)義。預(yù)測(cè)信息怎么進(jìn)狀態(tài)是個(gè)值得細(xì)想的點(diǎn)。如果直接把未來(lái)24h的光伏預(yù)測(cè)曲線(xiàn)拼進(jìn)狀態(tài)狀態(tài)維度會(huì)膨脹訓(xùn)練難度增加。更穩(wěn)妥的做法是取幾個(gè)關(guān)鍵統(tǒng)計(jì)量未來(lái)1h均值、未來(lái)4h均值、未來(lái)24h均值或者把預(yù)測(cè)曲線(xiàn)做降維嵌入。我做過(guò)對(duì)比實(shí)驗(yàn)在容量約束緊張的場(chǎng)景下加入未來(lái)4h的累計(jì)預(yù)測(cè)信息約能降低3%~5%的調(diào)度成本但再往上加更長(zhǎng)時(shí)間的預(yù)測(cè)收益就很有限了。3.2 動(dòng)作空間的連續(xù)化設(shè)計(jì)與約束映射能源調(diào)度設(shè)備的物理特性決定了動(dòng)作空間必須處理邊界和擋位問(wèn)題。儲(chǔ)能充放電功率是一個(gè)連續(xù)區(qū)間啟停信號(hào)是離散的可調(diào)負(fù)荷可能有多個(gè)檔位?？蚣芾飳?duì)動(dòng)作空間的統(tǒng)一處理方式是所有動(dòng)作在智能體內(nèi)部表示為連續(xù)值通過(guò)約束映射層翻譯為物理量。具體做法是智能體的輸出層使用tanh激活函數(shù)輸出范圍[-1, 1]然后由映射層把它變換到設(shè)備允許的物理范圍。比如儲(chǔ)能額定功率500kW動(dòng)作值0.6就映射為300kW充電功率。這樣神經(jīng)網(wǎng)絡(luò)永遠(yuǎn)不需要學(xué)習(xí)輸出合法范圍內(nèi)的值——它只需要輸出一個(gè)原始信號(hào)合法性由外層保證。對(duì)啟停這類(lèi)離散動(dòng)作使用Gumbel-Softmax或簡(jiǎn)單的argmax采樣。訓(xùn)練時(shí)用Gumbel-Softmax保持梯度可傳導(dǎo)推理時(shí)直接argmax。這在小規(guī)模離散動(dòng)作場(chǎng)景下效果穩(wěn)定實(shí)現(xiàn)也簡(jiǎn)單。框架還要處理設(shè)備之間聯(lián)合動(dòng)作的約束關(guān)系最典型的是變壓器容量約束儲(chǔ)能功率 光伏出力 - 負(fù)荷功率 ≤ 變壓器容量這類(lèi)約束的常用處理方式有二一是把約束轉(zhuǎn)換成動(dòng)作修正由調(diào)度決策層在指令下發(fā)前做裁剪二是把約束違反量放進(jìn)獎(jiǎng)勵(lì)函數(shù)做軟懲罰。我傾向于兩招一起用后面第四節(jié)會(huì)專(zhuān)門(mén)展開(kāi)講。3.3 獎(jiǎng)勵(lì)塑形與安全懲罰獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)是整個(gè)DRL調(diào)度框架里最關(guān)鍵、也最考驗(yàn)經(jīng)驗(yàn)的部分。一個(gè)合理的獎(jiǎng)勵(lì)函數(shù)要同時(shí)讓智能體學(xué)會(huì)省錢(qián)和守規(guī)矩?；惊?jiǎng)勵(lì)項(xiàng)是運(yùn)行成本的負(fù)值r_cost -(購(gòu)電成本 售電收益 設(shè)備運(yùn)行維護(hù)成本)其中購(gòu)電成本按當(dāng)前電價(jià)和從電網(wǎng)取電的功率計(jì)算售電收益是本地光伏多發(fā)時(shí)向電網(wǎng)賣(mài)電的收入。這里有個(gè)細(xì)節(jié)電價(jià)信號(hào)可能只在整點(diǎn)更新但調(diào)度決策是分鐘級(jí)的獎(jiǎng)勵(lì)計(jì)算要用當(dāng)前生效的電價(jià)不能想當(dāng)然地認(rèn)為每個(gè)時(shí)間步都有新的電價(jià)。安全懲罰項(xiàng)包括SOC越界、功率越限、變壓器過(guò)載、啟停次數(shù)過(guò)多等。以SOC為例def soc_penalty(soc, soc_min, soc_max): penalty 0.0 if soc soc_min: penalty (soc_min - soc) ** 2 * 10.0 elif soc soc_max: penalty (soc - soc_max) ** 2 * 10.0 return penalty懲罰系數(shù)怎么定我習(xí)慣的調(diào)法是從小到大試探系數(shù)太小時(shí)智能體會(huì)頻繁越界因?yàn)樗l(fā)現(xiàn)越界的便利大于懲罰系數(shù)太大時(shí)智能體變得過(guò)度保守比如干脆不敢讓SOC接近邊界導(dǎo)致儲(chǔ)能利用率下降。一個(gè)比較實(shí)用的經(jīng)驗(yàn)是先設(shè)定足夠大的懲罰讓策略絕對(duì)不越界再逐步降低找到成本與安全的平衡點(diǎn)。另外我強(qiáng)烈建議在獎(jiǎng)勵(lì)里加一個(gè)動(dòng)作平滑性懲罰項(xiàng)懲罰相鄰兩步動(dòng)作的變化幅值。原因很實(shí)際儲(chǔ)能設(shè)備頻繁改變充放電功率會(huì)縮短壽命調(diào)度員也不愿意看到指令忽上忽下。加上這個(gè)懲罰后策略輸出的動(dòng)作曲線(xiàn)會(huì)明顯平滑對(duì)真實(shí)設(shè)備也更友好。3.4 算法庫(kù)選型與離線(xiàn)訓(xùn)練流程框架里的算法庫(kù)不是只裝一個(gè)算法而是提供多個(gè)主流DRL算法的統(tǒng)一實(shí)現(xiàn)方便不同場(chǎng)景下選擇和對(duì)比。我常備的幾個(gè)算法及其適用場(chǎng)景算法動(dòng)作類(lèi)型優(yōu)勢(shì)注意事項(xiàng)DDPG連續(xù)實(shí)現(xiàn)簡(jiǎn)單適合純連續(xù)動(dòng)作對(duì)超參數(shù)敏感易不穩(wěn)定TD3連續(xù)DDPG改進(jìn)版更穩(wěn)定兩套Critic顯存占用稍高SAC連續(xù)探索性強(qiáng)樣本效率高溫度系數(shù)需調(diào)節(jié)PPO連續(xù)/離散穩(wěn)定、通用性最好對(duì)獎(jiǎng)勵(lì)尺度敏感混合動(dòng)作方案連續(xù)離散貼近實(shí)際業(yè)務(wù)需求實(shí)現(xiàn)復(fù)雜需定制網(wǎng)絡(luò)結(jié)構(gòu)選型建議如果動(dòng)作空間是純連續(xù)且規(guī)模不大從TD3或SAC起步如果動(dòng)作空間是混合型優(yōu)先考慮PPO或?qū)W(wǎng)絡(luò)輸出做離散分支連續(xù)分支拆分后再用TD3。我們框架里的通用策略網(wǎng)絡(luò)就支持這種拆分class ActorNet(nn.Module): def __init__(self): super().__init__() self.feature nn.Sequential( nn.Linear(state_dim, 256), nn.ReLU(), nn.Linear(256, 256), nn.ReLU(), ) self.continuous_head nn.Linear(256, num_continuous_actions) self.discrete_head nn.Linear(256, num_discrete_options) ...離線(xiàn)訓(xùn)練流程大致是初始化環(huán)境與智能體 → 收集隨機(jī)探索數(shù)據(jù) → 進(jìn)入train/eval循環(huán) → 定期保存策略并做評(píng)估 → 訓(xùn)練結(jié)束后在完整測(cè)試集上跑評(píng)估報(bào)告。訓(xùn)練時(shí)我習(xí)慣保留多個(gè)checkpoint不僅保存最優(yōu)模型也保存訓(xùn)練后期表現(xiàn)尚可的模型因?yàn)樵诰€(xiàn)部署時(shí)你往往寧可用一個(gè)穩(wěn)定性更好的模型而不是某個(gè)測(cè)試集上分?jǐn)?shù)最高但對(duì)異常數(shù)據(jù)敏感的模型。4. 工程落地中繞不開(kāi)的坑模型訓(xùn)練是一回事真正把系統(tǒng)裝進(jìn)真實(shí)的能源項(xiàng)目里是另一回事。這一節(jié)我想專(zhuān)門(mén)講講框架從實(shí)驗(yàn)室走向生產(chǎn)環(huán)境時(shí)我反復(fù)踩過(guò)的那些坑。4.1 訓(xùn)練階段的不穩(wěn)定問(wèn)題DRL訓(xùn)練不穩(wěn)定是行業(yè)公認(rèn)的痛在能源調(diào)度場(chǎng)景里表現(xiàn)得更突出。最典型的癥狀是訓(xùn)練曲線(xiàn)上下劇烈震蕩明明loss在下降評(píng)估時(shí)性能卻突然崩掉。我排查過(guò)的最常見(jiàn)原因有三個(gè)。第一獎(jiǎng)勵(lì)尺度不一致。購(gòu)電成本動(dòng)輒幾千元SOC懲罰可能只有個(gè)位數(shù)兩個(gè)數(shù)值加在一起小項(xiàng)完全被大項(xiàng)淹沒(méi)智能體根本學(xué)不到避免越界的信號(hào)。解決方法是把獎(jiǎng)勵(lì)各項(xiàng)做歸一化或加權(quán)平衡。我通常把總獎(jiǎng)勵(lì)期望scale到0附近例如除以一個(gè)基準(zhǔn)成本值讓獎(jiǎng)勵(lì)的絕對(duì)值量級(jí)控制在個(gè)位數(shù)。第二隨機(jī)種子敏感。同一個(gè)超參數(shù)配置換一個(gè)隨機(jī)種子可能從很好變成完全學(xué)不到。這既有網(wǎng)絡(luò)初始化的問(wèn)題也有環(huán)境采樣隨機(jī)性的問(wèn)題。我不能接受碰運(yùn)氣所以訓(xùn)練腳本強(qiáng)制要求跑多個(gè)種子報(bào)告里必須給均值和方差不允許只貼一條最好的曲線(xiàn)。第三replay buffer采樣不均。能源場(chǎng)景里面有大量相似的平滑工況如果buffer里全是晴天中午的樣本遇到極端天氣就會(huì)表現(xiàn)得很差?？蚣芾镒隽藘?yōu)先經(jīng)驗(yàn)回放對(duì)獎(jiǎng)勵(lì)絕對(duì)值大或TD誤差大的樣本提高采樣權(quán)重效果立竿見(jiàn)影。另外梯度裁剪是標(biāo)配。不加上這個(gè)遇到電價(jià)突變或SOC跳躍的大誤差樣本一次更新就可能讓策略網(wǎng)絡(luò)參數(shù)崩掉整個(gè)訓(xùn)練前功盡棄。4.2 部署階段的實(shí)時(shí)性與回退機(jī)制在線(xiàn)調(diào)度對(duì)時(shí)延的要求是硬指標(biāo)。調(diào)度指令通常要求秒級(jí)輸出但一次完整的決策鏈路包括數(shù)據(jù)讀取、狀態(tài)拼接、模型推理、指令轉(zhuǎn)換每一步都可能產(chǎn)生延遲?？蚣懿渴饡r(shí)做過(guò)一次性能檔案分析得出的大致耗時(shí)分布環(huán)節(jié)耗時(shí)數(shù)據(jù)讀取與清洗20~50ms狀態(tài)編碼5~15ms模型推理10~30ms指令轉(zhuǎn)換與日志10~20ms合計(jì)45~115ms這個(gè)量級(jí)對(duì)分鐘級(jí)調(diào)度完全夠用。如果將來(lái)要支撐秒級(jí)甚至更快的控制可以用ONNX或TensorRT做模型加速推理耗時(shí)壓到5ms以?xún)?nèi)沒(méi)有問(wèn)題。但我更想強(qiáng)調(diào)的是回退機(jī)制。DRL策略本質(zhì)上是數(shù)據(jù)驅(qū)動(dòng)的模型訓(xùn)練數(shù)據(jù)再豐富也覆蓋不了所有真實(shí)世界的邊界情況?？蚣茉谠O(shè)計(jì)時(shí)加入了安全校驗(yàn)層策略輸出動(dòng)作后先做硬約束檢查比如功率是否超設(shè)備極限、變壓器是否過(guò)載、SOC是否在安全區(qū)間內(nèi)。如果校驗(yàn)不過(guò)該動(dòng)作會(huì)被攔截系統(tǒng)自動(dòng)切換到預(yù)設(shè)的規(guī)則策略比如SOC過(guò)低時(shí)禁止放電。這個(gè)回退機(jī)制在多次真實(shí)項(xiàng)目里救了場(chǎng)。有一次智能體在極端天氣場(chǎng)景輸出了異常動(dòng)作安全校驗(yàn)層直接攔截并切換到保守策略避免了設(shè)備過(guò)載。事后分析發(fā)現(xiàn)是訓(xùn)練數(shù)據(jù)里缺乏類(lèi)似的極端樣本。所以我的建議是上線(xiàn)初期一定要保留規(guī)則兜底等策略在真實(shí)工況上跑穩(wěn)了再逐步放開(kāi)控制權(quán)限。4.3 安全約束與可解釋性調(diào)度系統(tǒng)的用戶(hù)是調(diào)度員和運(yùn)維人員他們天然信任看得懂的決策。神經(jīng)網(wǎng)絡(luò)給出的動(dòng)作即使最優(yōu)如果沒(méi)有解釋也很難說(shuō)服人。這是很多DRL項(xiàng)目試點(diǎn)失敗的原因——不是技術(shù)不行是業(yè)務(wù)側(cè)不買(mǎi)賬。我們的做法分兩層。第一層在框架里預(yù)置規(guī)則校驗(yàn)邏輯調(diào)度決策層能輸出動(dòng)作通過(guò)/被攔截/被修正的狀態(tài)標(biāo)記第二層要做影子對(duì)比。具體操作是策略模型上線(xiàn)后先不直接控制設(shè)備而是與現(xiàn)有規(guī)則策略并列運(yùn)行一段時(shí)間。策略給出建議動(dòng)作規(guī)則策略執(zhí)行實(shí)際動(dòng)作系統(tǒng)記錄兩者的差異和預(yù)期收益。這樣調(diào)度員可以直觀地看到如果用了DRL建議今天能省多少錢(qián)信任感就是這么一點(diǎn)一點(diǎn)建立起來(lái)的。此外框架還配置了人工接管入口。調(diào)度員可以一鍵切換為手動(dòng)模式也可以對(duì)某一條指令打回修改。這個(gè)功能看似簡(jiǎn)單但對(duì)項(xiàng)目推進(jìn)的價(jià)值極大——它讓業(yè)務(wù)側(cè)覺(jué)得系統(tǒng)是可控的、可干預(yù)的而不是一個(gè)黑盒說(shuō)了算。5. 指標(biāo)評(píng)估與調(diào)優(yōu)實(shí)踐訓(xùn)練完模型、部署上系統(tǒng)還遠(yuǎn)沒(méi)有結(jié)束。怎么科學(xué)地評(píng)估調(diào)度策略的優(yōu)劣怎么持續(xù)調(diào)優(yōu)是框架能否長(zhǎng)期運(yùn)行的關(guān)鍵。5.1 關(guān)鍵指標(biāo)體系評(píng)價(jià)一個(gè)能源調(diào)度策略不能只看一個(gè)成本數(shù)字。我用的指標(biāo)體系分成四類(lèi)經(jīng)濟(jì)性指標(biāo)調(diào)度周期內(nèi)的總運(yùn)行成本、購(gòu)電量、售電量、單位電量成本。這是最核心的指標(biāo)也是業(yè)務(wù)方最關(guān)心的。安全性指標(biāo)約束違反率、越界次數(shù)、設(shè)備過(guò)載時(shí)長(zhǎng)。安全性指標(biāo)必須為0或無(wú)限接近0任何一項(xiàng)非零都意味著策略還沒(méi)有資格上線(xiàn)。響應(yīng)性能指標(biāo)單次決策時(shí)延、數(shù)據(jù)鏈路完整率、故障切換時(shí)間。這些指標(biāo)衡量系統(tǒng)本身是否可靠可用。運(yùn)行質(zhì)量指標(biāo)儲(chǔ)能SOC分布合理性、動(dòng)作平滑度、啟停次數(shù)。這些指標(biāo)影響設(shè)備壽命和長(zhǎng)期運(yùn)行穩(wěn)定性。建議每個(gè)指標(biāo)都做成周期報(bào)告至少每周評(píng)估一次。不要只在訓(xùn)練結(jié)束時(shí)看一眼因?yàn)檎鎸?shí)運(yùn)行數(shù)據(jù)會(huì)持續(xù)累積策略性能可能隨時(shí)間漂移。5.2 從仿真到線(xiàn)下的驗(yàn)證流程模型從訓(xùn)練完成到真正接管調(diào)度中間必須經(jīng)過(guò)多層驗(yàn)證。我們框架里的標(biāo)準(zhǔn)流程是第一步離線(xiàn)回放評(píng)估。用歷史數(shù)據(jù)運(yùn)行策略對(duì)比策略動(dòng)作與歷史實(shí)際動(dòng)作計(jì)算如果采用策略動(dòng)作事后復(fù)盤(pán)成本能降低多少。這一步能快速發(fā)現(xiàn)明顯問(wèn)題。第二步多場(chǎng)景壓力測(cè)試。統(tǒng)計(jì)歷史數(shù)據(jù)里的極端場(chǎng)景連續(xù)高溫、寒潮、暴雨、電價(jià)尖峰單獨(dú)切出來(lái)測(cè)試策略表現(xiàn)。如果策略在這些場(chǎng)景下出現(xiàn)頻繁越界說(shuō)明訓(xùn)練數(shù)據(jù)覆蓋不足需要針對(duì)性補(bǔ)充或做數(shù)據(jù)增強(qiáng)。第三步影子模式試點(diǎn)。如前面所說(shuō)與現(xiàn)網(wǎng)規(guī)則策略并列運(yùn)行收集實(shí)際對(duì)比數(shù)據(jù)。建議至少跑2到4周覆蓋不同的天氣和負(fù)荷模式。第四步有限權(quán)限接管。先讓策略控制一小部分設(shè)備比如只控制儲(chǔ)能其他設(shè)備仍走原規(guī)則。逐步驗(yàn)證沒(méi)問(wèn)題后再放開(kāi)可調(diào)負(fù)荷、機(jī)組等更多控制對(duì)象。這套流程雖然走得慢但每一步都有數(shù)據(jù)和業(yè)務(wù)側(cè)的確認(rèn)最終上線(xiàn)時(shí)基本不會(huì)出大問(wèn)題。反過(guò)來(lái)說(shuō)我見(jiàn)過(guò)一些項(xiàng)目跳過(guò)了影子模式直接從仿真上線(xiàn)結(jié)果第一個(gè)月就遭遇極端天氣策略頻繁被回退邏輯接管業(yè)務(wù)側(cè)對(duì)DRL的印象一落千丈。5.3 參數(shù)調(diào)優(yōu)的經(jīng)驗(yàn)DRL調(diào)度系統(tǒng)的調(diào)參我的建議是按順序來(lái)不要一上來(lái)就去調(diào)學(xué)習(xí)率。第一步確認(rèn)環(huán)境邏輯正確。包括設(shè)備模型、約束判斷、獎(jiǎng)勵(lì)計(jì)算是否和物理規(guī)則一致。環(huán)境錯(cuò)了后面全是無(wú)用功。第二步確認(rèn)獎(jiǎng)勵(lì)函數(shù)合理。把各項(xiàng)獎(jiǎng)勵(lì)單獨(dú)打印出來(lái)看看每個(gè)時(shí)間步的構(gòu)成是什么有沒(méi)有某一項(xiàng)長(zhǎng)期為0或長(zhǎng)期占據(jù)主導(dǎo)。我還見(jiàn)過(guò)獎(jiǎng)勵(lì)寫(xiě)錯(cuò)符號(hào)的情況——把成本和收益加反了策略反而學(xué)會(huì)了最大化購(gòu)電成本這種錯(cuò)誤在純看訓(xùn)練曲線(xiàn)時(shí)很難發(fā)現(xiàn)。第三步才是算法超參數(shù)。常用區(qū)間我整理了一份參考超參數(shù)常用區(qū)間備注學(xué)習(xí)率1e-4 ~ 3e-4Adam優(yōu)化器下常用batch size128 ~ 512過(guò)大容易不穩(wěn)定replay buffer1e5 ~ 1e6按采樣頻率調(diào)整折扣因子γ0.95 ~ 0.99調(diào)度周期越長(zhǎng)γ越接近1目標(biāo)網(wǎng)絡(luò)軟更新系數(shù)τ0.005 ~ 0.01過(guò)大會(huì)抖動(dòng)還需要注意調(diào)度問(wèn)題的時(shí)間尺度會(huì)影響γ的選擇。如果是分鐘級(jí)調(diào)度、關(guān)注全天成本γ就應(yīng)接近1讓智能體學(xué)會(huì)為長(zhǎng)遠(yuǎn)利益做規(guī)劃如果只需應(yīng)對(duì)未來(lái)1小時(shí)γ可以適當(dāng)降低減少梯度傳播步數(shù)訓(xùn)練更穩(wěn)定。6. 框架設(shè)計(jì)之外我積累的實(shí)操體會(huì)最后聊點(diǎn)框架文檔里不會(huì)寫(xiě)的東西。第一個(gè)體會(huì)是環(huán)境模擬器的保真度決定了整個(gè)項(xiàng)目的天花板。我在前幾個(gè)項(xiàng)目里犯過(guò)同樣的錯(cuò)誤——花大量精力調(diào)算法卻忽視了環(huán)境模型的細(xì)節(jié)。結(jié)果是在仿真里表現(xiàn)優(yōu)異的策略到了真實(shí)系統(tǒng)上因?yàn)楦鞣N沒(méi)建模的物理約束表現(xiàn)平平。后來(lái)我把一半以上的時(shí)間投入到環(huán)境細(xì)節(jié)上電池的充放電效率曲線(xiàn)、溫度對(duì)出力影響、通信延遲帶來(lái)的指令滯后這些才是在真實(shí)系統(tǒng)里拉開(kāi)差距的地方。第二個(gè)體會(huì)獎(jiǎng)勵(lì)函數(shù)要花最多的時(shí)間去打磨而且一定要讓業(yè)務(wù)方參與設(shè)計(jì)。業(yè)務(wù)方對(duì)什么行為是好行為的直覺(jué)往往比算法工程師自己琢磨更準(zhǔn)確。比如他們可能會(huì)告訴你儲(chǔ)能SOC盡量別低于30%雖然理論上10%也能用但真到10%我們心里發(fā)慌。這類(lèi)需求不寫(xiě)進(jìn)獎(jiǎng)勵(lì)函數(shù)策略永遠(yuǎn)不會(huì)自己學(xué)會(huì)。第三個(gè)體會(huì)永遠(yuǎn)保留人工接管和規(guī)則兜底的能力。這不是對(duì)DRL沒(méi)信心而是工程系統(tǒng)的基本素養(yǎng)。再好的模型也有盲區(qū)再聰明的智能體也有可能遇到?jīng)]見(jiàn)過(guò)的場(chǎng)景。規(guī)則兜底不是失敗而是系統(tǒng)設(shè)計(jì)的一部分。把它做得好、做得流暢這個(gè)項(xiàng)目的壽命才夠長(zhǎng)。第四個(gè)體會(huì)從規(guī)則出發(fā)做漸進(jìn)式替換是DRL調(diào)度項(xiàng)目落地的最優(yōu)路徑。最開(kāi)始時(shí)用規(guī)則策略控制一切DRL只做影子建議積累足夠數(shù)據(jù)后讓DRL先控制單一設(shè)備穩(wěn)定后再擴(kuò)大范圍。這樣的節(jié)奏對(duì)技術(shù)、對(duì)團(tuán)隊(duì)信心、對(duì)業(yè)務(wù)接受度都更友好。我之前帶過(guò)的項(xiàng)目里采用漸進(jìn)路徑的反而比一步到位的更早實(shí)現(xiàn)了全自動(dòng)化調(diào)度。面向能源系統(tǒng)的深度強(qiáng)化學(xué)習(xí)調(diào)度框架本質(zhì)上是一套把數(shù)據(jù)—環(huán)境—算法—工程串起來(lái)的系統(tǒng)方法。它的價(jià)值不在于用了多先進(jìn)的算法而在于能不能把每個(gè)環(huán)節(jié)做扎實(shí)讓策略在真實(shí)世界里穩(wěn)定地省錢(qián)、守規(guī)矩、可解釋。如果你的項(xiàng)目正在從傳統(tǒng)優(yōu)化往智能決策轉(zhuǎn)型建議從一個(gè)小場(chǎng)景、一個(gè)單設(shè)備控制開(kāi)始跑通上述鏈路再逐步擴(kuò)大邊界。這條路走通之后你會(huì)看到DRL在能源調(diào)度場(chǎng)景里真正可落地的力量。