從事光伏功率預(yù)測(cè)這行的朋友應(yīng)該都有同感模型跑通不難難的是讓預(yù)測(cè)結(jié)果真正經(jīng)得起實(shí)際天氣的考驗(yàn)。很多入門(mén)者直接把歷史功率數(shù)據(jù)丟進(jìn)LSTM訓(xùn)練出來(lái)效果看著還行一遇到多云突變天氣就全線崩潰誤差大到電網(wǎng)考核直接扣錢(qián)。這個(gè)“改進(jìn)LSTM的光伏發(fā)電功率預(yù)測(cè)”項(xiàng)目做的就是解決這件事——用多特征注意力機(jī)制和誤差補(bǔ)償思路改造標(biāo)準(zhǔn)LSTM讓模型在陰晴轉(zhuǎn)換、輻照劇烈波動(dòng)時(shí)依然保持穩(wěn)定的預(yù)測(cè)精度。先說(shuō)項(xiàng)目本身包含什么完整可復(fù)現(xiàn)的源碼、配套的萬(wàn)字分析報(bào)告以及講解演示用的材料支持資料和圖片參考也支持針對(duì)特定電站數(shù)據(jù)做定制。如果你正準(zhǔn)備做光伏預(yù)測(cè)相關(guān)的畢業(yè)設(shè)計(jì)、論文實(shí)驗(yàn)或者工程落地這篇文章會(huì)把整個(gè)項(xiàng)目的技術(shù)拆解、實(shí)現(xiàn)細(xì)節(jié)、報(bào)告寫(xiě)作套路和調(diào)試經(jīng)驗(yàn)全部講透按圖索驥就能白嫖到一套完整的方法論。1. 光伏發(fā)電功率預(yù)測(cè)的核心難點(diǎn)與任務(wù)定義1.1 預(yù)測(cè)結(jié)果到底給誰(shuí)用為什么不能隨便糊弄光伏功率預(yù)測(cè)不是一個(gè)單純算著玩的算法題它直接連著真金白銀。電網(wǎng)調(diào)度需要提前知道電站未來(lái)幾小時(shí)能發(fā)多少電從而安排火電、水電、儲(chǔ)能等其它電源的出力計(jì)劃。光伏出力一旦劇烈波動(dòng)電網(wǎng)頻率和電壓都會(huì)受到?jīng)_擊所以很多省份對(duì)光伏電站都有功率預(yù)測(cè)準(zhǔn)確率考核預(yù)測(cè)偏差超過(guò)一定閾值會(huì)面臨罰款或者影響發(fā)電優(yōu)先級(jí)。實(shí)際場(chǎng)景里預(yù)測(cè)對(duì)象通常是一座具體的光伏電站數(shù)據(jù)來(lái)自電站的SCADA系統(tǒng)和氣象站。預(yù)測(cè)的時(shí)間尺度分為超短期未來(lái)0-4小時(shí)、短期未來(lái)1-3天和中長(zhǎng)期月度、季度。工程里最常做、也最體現(xiàn)算法水平的是超短期預(yù)測(cè)因?yàn)闀r(shí)間窗口越短突變的天氣影響越明顯模型的即時(shí)響應(yīng)能力越關(guān)鍵。1.2 光伏出力數(shù)據(jù)的四個(gè)典型特征光伏功率數(shù)據(jù)有四個(gè)繞不開(kāi)的特征直接決定了模型設(shè)計(jì)的方向第一強(qiáng)周期性。每天太陽(yáng)東升西落功率曲線呈典型的鐘形分布中午高、早晚低、夜間幾乎為0。這個(gè)周期讓模型可以依賴(lài)時(shí)間規(guī)律做基本推斷。第二強(qiáng)隨機(jī)性。云層遮擋、陰雨天氣、沙塵、霧霾都會(huì)讓輻照度斷崖式下降功率輸出可能在幾分鐘內(nèi)從80%跌到20%這是純時(shí)間序列模型最難處理的部分。第三非平穩(wěn)性。冬天和夏天的出力模式完全不同不同季節(jié)的日出日落時(shí)刻也在變模型必須能感知季節(jié)位置和日期信息。第四非線性耦合。功率并不只是輻照度的簡(jiǎn)單線性函數(shù)溫度升高反而會(huì)降低光伏板發(fā)電效率風(fēng)速對(duì)組件散熱有影響因此特征之間是相互耦合的非線性關(guān)系不是簡(jiǎn)單加權(quán)就能解決。行業(yè)里大多數(shù)預(yù)測(cè)方法都逃不開(kāi)這四點(diǎn)。傳統(tǒng)的時(shí)間序列方法ARIMA、灰色模型對(duì)隨機(jī)性和非線性處理能力弱。普通的機(jī)器學(xué)習(xí)方法SVR、隨機(jī)森林、XGBoost能把特征非線性映射做到不錯(cuò)但缺乏對(duì)時(shí)序依賴(lài)的建模。LSTM這類(lèi)循環(huán)神經(jīng)網(wǎng)絡(luò)天然適合時(shí)間序列但對(duì)突變的天氣變化響應(yīng)慢且對(duì)多特征重要性的區(qū)分不足——這就是改進(jìn)LSTM這個(gè)方向成立的根本原因。1.3 形式化的預(yù)測(cè)任務(wù)建模做模型之前先把任務(wù)定義清楚。以某電站15分鐘一個(gè)采樣點(diǎn)為例假設(shè)我們要預(yù)測(cè)未來(lái)4小時(shí)也就是16個(gè)點(diǎn)?？梢远x輸入為過(guò)去96個(gè)時(shí)間步對(duì)應(yīng)1整天的多維特征向量每個(gè)時(shí)間步包含歷史功率、輻照度、溫度、濕度、風(fēng)速、風(fēng)向等特征外加時(shí)間編碼特征。X [x_{t-95}, x_{t-94}, ..., x_t]每個(gè)x_i是一個(gè)多維特征向量輸出為未來(lái)16個(gè)時(shí)間步的功率值Y [p_{t1}, p_{t2}, ..., p_{t16}]這就是一個(gè)典型的多變量輸入、多步預(yù)測(cè)的監(jiān)督學(xué)習(xí)問(wèn)題。數(shù)據(jù)組織成滑動(dòng)窗口的方式每滑動(dòng)一個(gè)時(shí)間步生成一個(gè)樣本。但要注意樣本之間不能打亂順序隨機(jī)切分訓(xùn)練集和測(cè)試集否則會(huì)引入未來(lái)信息泄漏我們后面詳細(xì)講。2. 數(shù)據(jù)工程預(yù)測(cè)模型的地基2.1 原始數(shù)據(jù)有哪些怎么整理特征數(shù)據(jù)工程占整個(gè)項(xiàng)目工作量的一半以上這句話我每次都會(huì)強(qiáng)調(diào)。拿到一堆積的電站數(shù)據(jù)通常包括以下字段時(shí)間戳通常精確到分鐘或15分鐘光伏功率電站并網(wǎng)點(diǎn)有功功率單位kW或MW這是目標(biāo)變量水平輻照度GHI核心預(yù)測(cè)特征組件溫度和環(huán)境溫度影響發(fā)電效率濕度、風(fēng)速、風(fēng)向影響散熱和灰塵沉積對(duì)功率有間接影響還有一些電站會(huì)記錄直流側(cè)電流電壓、逆變器狀態(tài)等做深度分析時(shí)可以用但做預(yù)測(cè)模型時(shí)一般用聚合后的有功功率就好。數(shù)據(jù)整理的第一步是對(duì)齊時(shí)間軸。不同設(shè)備記錄的間隔可能不同SCADA的功率數(shù)據(jù)是15分鐘上報(bào)一次氣象站的數(shù)據(jù)可能是10分鐘或者5分鐘一次需要統(tǒng)一重采樣到同一個(gè)時(shí)間間隔。我習(xí)慣用15分鐘作為基準(zhǔn)間隔向上取整或線性插值對(duì)齊避免出現(xiàn)時(shí)間錯(cuò)位導(dǎo)致特征和標(biāo)簽對(duì)不上。2.2 缺失值、異常值和夜間數(shù)據(jù)的處理技巧光伏數(shù)據(jù)臟是常態(tài)。常見(jiàn)問(wèn)題包括通訊中斷導(dǎo)致的整段缺失、逆變器停機(jī)導(dǎo)致的功率突變、輻照儀被遮擋導(dǎo)致的異常偏低值。處理時(shí)不能簡(jiǎn)單粗暴地用全部數(shù)據(jù)的均值填充因?yàn)楣夥鼣?shù)據(jù)強(qiáng)烈的晝夜周期性會(huì)讓均值填充結(jié)果嚴(yán)重失真。我的處理順序是第一步把輻照度小于閾值但功率大于0的數(shù)據(jù)篩查出來(lái)。輻照度接近0意味著夜間或陰天陰影遮擋此時(shí)功率理論上應(yīng)該很低如果功率很高大概率是輻照儀故障或者組件其他原因這類(lèi)異常點(diǎn)直接剔除或置為缺失。第二步對(duì)缺失值做線性插值。短時(shí)間缺失1-2個(gè)點(diǎn)用前后時(shí)間的線性插值足夠穩(wěn)定長(zhǎng)時(shí)間缺失超過(guò)一個(gè)小時(shí)則要用前一天同時(shí)刻的數(shù)據(jù)作為參考來(lái)填補(bǔ)因?yàn)楣夥€的日內(nèi)相似性比線性假設(shè)更符合物理規(guī)律。第三步對(duì)功率值本身做異常檢測(cè)。如果功率超出當(dāng)日輻照度上限對(duì)應(yīng)的理論最大功率太多就要懷疑數(shù)據(jù)記錄錯(cuò)誤。這里有一個(gè)細(xì)節(jié)值得新手注意夜間功率為0是正常值不要把0值當(dāng)成缺失來(lái)處理更不能把夜間樣本刪掉之后再納入模型訓(xùn)練否則模型沒(méi)見(jiàn)過(guò)零出力模式預(yù)測(cè)夜間功率時(shí)會(huì)輸出一個(gè)奇怪的中間值。2.3 歸一化的關(guān)鍵細(xì)節(jié)防止數(shù)據(jù)泄漏做過(guò)幾輪實(shí)驗(yàn)后你會(huì)深刻體會(huì)到歸一化步驟看似簡(jiǎn)單卻是最容易犯錯(cuò)的坑。最常見(jiàn)的錯(cuò)誤是對(duì)全部數(shù)據(jù)一起做歸一化包括測(cè)試集數(shù)據(jù)然后才劃分訓(xùn)練集和測(cè)試集。這屬于典型的技術(shù)數(shù)據(jù)泄漏實(shí)際部署時(shí)看不到未來(lái)數(shù)據(jù)模型卻已經(jīng)在訓(xùn)練時(shí)通過(guò)min/max信息偷看了未來(lái)數(shù)據(jù)的分布范圍測(cè)試分?jǐn)?shù)虛高一到在線預(yù)測(cè)就原形畢露。正確的做法是先用訓(xùn)練集擬合歸一化器的參數(shù)例如MinMaxScaler的min和max然后再用訓(xùn)練集擬合好的scaler分別去transform訓(xùn)練集、驗(yàn)證集和測(cè)試集。如果后期有新數(shù)據(jù)進(jìn)來(lái)也要復(fù)用同一個(gè)scaler而不是重新擬合。光伏數(shù)據(jù)的歸一化還要考慮特征的量綱差異。輻照度通常是0-1000W/m2量級(jí)溫度可能是-10到50度功率可能是0到幾兆瓦。不同量級(jí)直接輸入LSTM會(huì)讓梯度被數(shù)值大的特征主導(dǎo)所有特征都建議歸一化到0-1區(qū)間對(duì)于時(shí)間編碼特征如cos/sin編碼后的值本身就在-1到1可以保持原值或統(tǒng)一歸一化具體看模型的輸入設(shè)計(jì)。2.4 滑動(dòng)窗口構(gòu)造與特征增強(qiáng)監(jiān)督學(xué)習(xí)的樣本通過(guò)滑動(dòng)窗口構(gòu)造。設(shè)定window_size96一天96個(gè)15分鐘點(diǎn)和horizon16預(yù)測(cè)未來(lái)4小時(shí)每滑動(dòng)一步生成一個(gè)樣本X和對(duì)應(yīng)的Y?；瑒?dòng)步長(zhǎng)可以設(shè)置為1這樣樣本數(shù)量足夠大也可以設(shè)置為4或8來(lái)降低樣本重疊度加快訓(xùn)練速度減少過(guò)擬合。除了原始物理量我強(qiáng)烈建議增加時(shí)間特征。用年積日和一天內(nèi)時(shí)刻做周期編碼比如hour_feature 2 * π * (hour / 24)hour_cos cos(hour_feature)hour_sin sin(hour_feature)day_cos cos(2 * π * (day_of_year / 365))day_sin sin(2 * π * (day_of_year / 365))這樣把時(shí)間中的周期信息映射到連續(xù)空間模型能學(xué)到冬天中午輻照不如夏天高深夜一定沒(méi)有功率這類(lèi)規(guī)律。而且這些特征未來(lái)時(shí)刻的值是已知的因?yàn)闀r(shí)間規(guī)律是確定的這就給了模型一個(gè)重要的錨點(diǎn)。3. 從基線LSTM到多特征注意力改進(jìn)模型3.1 基線LSTM的痛點(diǎn)改進(jìn)的出發(fā)點(diǎn)標(biāo)準(zhǔn)LSTM作為循環(huán)神經(jīng)網(wǎng)絡(luò)每個(gè)時(shí)間步接收當(dāng)前輸入和上一時(shí)間步的隱狀態(tài)通過(guò)輸入門(mén)、遺忘門(mén)、輸出門(mén)控制信息流動(dòng)。理論上有能力記住長(zhǎng)期依賴(lài)但實(shí)際訓(xùn)練中面對(duì)96步的輸入序列模型對(duì)早期時(shí)間步的記憶會(huì)逐漸被稀釋注意力機(jī)制缺失導(dǎo)致它無(wú)法鎖定某個(gè)關(guān)鍵歷史時(shí)刻比如昨天上午10點(diǎn)的一次云層遮擋對(duì)今天10點(diǎn)預(yù)測(cè)的影響。除了長(zhǎng)依賴(lài)問(wèn)題標(biāo)準(zhǔn)LSTM把所有輸入特征一視同仁地塞進(jìn)同一個(gè)門(mén)控單元但實(shí)際情況下輻照度突變比溫度變化重要得多歷史功率的趨勢(shì)比風(fēng)速重要得多。模型需要一種機(jī)制去區(qū)分不同特征、不同時(shí)間步的重要性這正是注意力機(jī)制要補(bǔ)的位置。另一個(gè)問(wèn)題是預(yù)測(cè)的滯后性直接讓LSTM端到端輸出未來(lái)16個(gè)點(diǎn)往往預(yù)測(cè)曲線相對(duì)真實(shí)曲線有輕微的時(shí)間滯后通俗講就是慢半拍需要從結(jié)構(gòu)和損失函數(shù)兩個(gè)層面去修正。3.2 三個(gè)改進(jìn)方向多特征、注意力與誤差補(bǔ)償我采用的改進(jìn)方案可以拆成三條線每一條都對(duì)應(yīng)基線LSTM的一個(gè)明確缺陷。第一多分支并行輸入。把特征分成兩類(lèi)一類(lèi)是時(shí)序過(guò)程特征包括歷史功率、輻照度、溫度等隨采樣時(shí)刻變化的物理量另一類(lèi)是外生靜態(tài)或慢變特征包括時(shí)間編碼、當(dāng)天的氣象預(yù)報(bào)值、季節(jié)編碼等。兩條分支各自先用獨(dú)立的特征提取層處理再融合輸入LSTM。這樣做的結(jié)果是模型對(duì)不同類(lèi)型的特征有了不同的“感知通道”不會(huì)把強(qiáng)時(shí)序特征和弱時(shí)序特征混在一起處理。第二注意力機(jī)制。在時(shí)間維度上給每個(gè)歷史時(shí)間步分配一個(gè)權(quán)重讓模型動(dòng)態(tài)決定回頭看多遠(yuǎn)的哪個(gè)時(shí)段。晴天時(shí)注意力會(huì)集中在近期半小時(shí)內(nèi)有強(qiáng)相關(guān)的時(shí)間步遇到輻照突變時(shí)注意力會(huì)被引導(dǎo)到同類(lèi)型天氣的歷史片段上。注意力權(quán)重的計(jì)算可以放在LSTM的輸出層之后也可以放在輸入層對(duì)時(shí)間步加權(quán)兩種位置各有側(cè)重后面會(huì)仔細(xì)講。第三誤差補(bǔ)償分支。在LSTM頂層預(yù)測(cè)輸出之后疊加上一個(gè)獨(dú)立的回歸補(bǔ)償項(xiàng)。這個(gè)補(bǔ)償項(xiàng)用當(dāng)前時(shí)刻的天氣突變指標(biāo)比如輻照度的變化率、最近幾個(gè)點(diǎn)輻照度的方差和預(yù)測(cè)殘差的映射把第一版預(yù)測(cè)中系統(tǒng)性偏低的誤差補(bǔ)回來(lái)。這個(gè)思路很像殘差學(xué)習(xí)幫助模型主動(dòng)修正對(duì)突變響應(yīng)慢的通病。注意這三個(gè)方向不是必須全部疊加項(xiàng)目實(shí)驗(yàn)里我測(cè)過(guò)單加注意力的版本效果能提升5%-8%的RMSE疊加誤差補(bǔ)償后再提升3%左右。實(shí)際做定制時(shí)可以根據(jù)數(shù)據(jù)量評(píng)估數(shù)據(jù)量不大時(shí)優(yōu)先加注意力數(shù)據(jù)充足時(shí)三個(gè)一起上。3.3 多特征注意力改進(jìn)LSTM的完整網(wǎng)絡(luò)結(jié)構(gòu)下面給出我在項(xiàng)目里最終使用的網(wǎng)絡(luò)結(jié)構(gòu)你可以直接按照這個(gè)結(jié)構(gòu)搭模型。整體流程分為四段。第一段是輸入分支處理分支A歷史時(shí)序特征96個(gè)時(shí)間步的功率、輻照度、溫度、濕度、風(fēng)速輸入一維卷積層。Conv1D的卷積核數(shù)量設(shè)為32卷積核大小為3步長(zhǎng)為1對(duì)序列做局部特征提取相當(dāng)于在時(shí)間維度上做濾波平滑短時(shí)噪聲強(qiáng)化局部趨勢(shì)。卷積輸出再經(jīng)過(guò)一個(gè)時(shí)序注意力層計(jì)算每個(gè)時(shí)間步的注意力得分α_i對(duì)卷積特征做加權(quán)求和得到上下文向量c。分支B外生特征時(shí)刻cos/sin、年積日cos/sin、未來(lái)時(shí)刻天氣預(yù)報(bào)輻照度等輸入全連接層映射到32維特征向量。第二段是融合和時(shí)序建模。將上下文向量c和分支B的32維向量拼接作為L(zhǎng)STM每個(gè)時(shí)間步的輸入。LSTM層設(shè)置兩個(gè)堆疊的LSTM單元隱藏單元數(shù)各為64dropout設(shè)為0.2。如果是雙向LSTM可以再接一個(gè)BiLSTM層來(lái)捕捉前向和后向的上下文但實(shí)際訓(xùn)練速度會(huì)翻倍不建議入門(mén)階段一上來(lái)就用。第三段是輸出和殘差補(bǔ)償。LSTM最后一個(gè)時(shí)間步的隱狀態(tài)通過(guò)全連接層輸出16維的未來(lái)功率預(yù)測(cè)。與此同時(shí)把最近幾個(gè)時(shí)間步的輻照度變化率和輻照度方差拼接成突變特征向量通過(guò)另一個(gè)全連接分支輸出16維補(bǔ)償值。最終的預(yù)測(cè)結(jié)果是第一版預(yù)測(cè)與補(bǔ)償值的和。這個(gè)結(jié)構(gòu)的好處在于每個(gè)分支的職責(zé)單一網(wǎng)絡(luò)能學(xué)習(xí)到什么時(shí)候該走歷史趨勢(shì)、什么時(shí)候該靠突變修正的切換邏輯。訓(xùn)練時(shí)補(bǔ)償分支的梯度只影響它自己的參數(shù)不會(huì)干擾LSTM主體學(xué)習(xí)穩(wěn)定的周期模式。4. 訓(xùn)練策略、損失函數(shù)與評(píng)估體系4.1 損失函數(shù)不是只有MSE一種選項(xiàng)光伏預(yù)測(cè)任務(wù)的損失函數(shù)選擇和普通回歸任務(wù)不太一樣。MSE對(duì)大的預(yù)測(cè)誤差非常敏感這本來(lái)是好事因?yàn)殡娋W(wǎng)考核確實(shí)看重極端誤差。但光伏數(shù)據(jù)夜間長(zhǎng)時(shí)間為0值如果全序列都用MSE模型會(huì)把大量梯度用在把夜間預(yù)測(cè)壓到接近0上白天的關(guān)鍵誤差反而沒(méi)有被充分優(yōu)化。因此我最終采用的是分段加權(quán)的Huber損失。Huber損失的公式是如果 |y_true - y_pred| ≤ δ 時(shí)loss為0.5 * (y_true - y_pred)2否則為 δ * (|y_true - y_pred| - 0.5 * δ)。也就是說(shuō)小誤差時(shí)用平方項(xiàng)加速收斂大誤差時(shí)退化為線性項(xiàng)降低異常值的梯度沖擊。然后對(duì)白天時(shí)段例如上午6點(diǎn)到下午18點(diǎn)的樣本額外乘以1.2倍的權(quán)重對(duì)夜間時(shí)段乘以0.6倍的權(quán)重把優(yōu)化焦點(diǎn)引向白天出力波動(dòng)最大的時(shí)間段。如果你用的是MSE作為基線可以這樣對(duì)比MSE會(huì)把一次陰天突變的大誤差平方放大梯度爆發(fā)導(dǎo)致訓(xùn)練震蕩Huber在δ1.0時(shí)對(duì)這類(lèi)異常值更穩(wěn)訓(xùn)練收斂快且最終RMSE通常更低。4.2 優(yōu)化器、學(xué)習(xí)率調(diào)度與早停優(yōu)化器用Adam比較省心初始學(xué)習(xí)率設(shè)置在1e-3附近。我調(diào)試多次后發(fā)現(xiàn)光伏預(yù)測(cè)這種數(shù)據(jù)量不大幾萬(wàn)到十幾萬(wàn)樣本的場(chǎng)景Adam配合余弦退火學(xué)習(xí)率調(diào)度效果不錯(cuò)。前半程用較高的學(xué)習(xí)率快速收斂后半程學(xué)習(xí)率逐步降低讓模型在最優(yōu)解附近精細(xì)調(diào)整。訓(xùn)練期間監(jiān)控驗(yàn)證集RMSE連續(xù)15個(gè)epoch不下降就提前停止并恢復(fù)最佳模型權(quán)重。一個(gè)實(shí)戰(zhàn)心得可以嘗試對(duì)LSTM層和全連接層使用不同的學(xué)習(xí)率。LSTM層因?yàn)樘荻嚷窂介L(zhǎng)適合稍小的學(xué)習(xí)率比如0.5倍主學(xué)習(xí)率全連接輸出層因?yàn)樘荻韧范炭梢员３种鲗W(xué)習(xí)率。這樣能緩解LSTM訓(xùn)練后期收斂慢的問(wèn)題。不用特別復(fù)雜的分層學(xué)習(xí)率庫(kù)只需要在優(yōu)化器里給不同參數(shù)組設(shè)置不同的lr值即可。4.3 評(píng)價(jià)指標(biāo)的選擇與光伏場(chǎng)景特化通用回歸任務(wù)常用RMSE、MAE、MAPE和R2但光伏預(yù)測(cè)在計(jì)算MAPE時(shí)要特別注意。功率為0的夜間樣本會(huì)讓MAPE變成無(wú)窮大所以必須限定只計(jì)算白天功率大于某個(gè)閾值例如大于電站額定功率的5%的樣本。否則你報(bào)告上的MAPE會(huì)是一個(gè)被0值主宰的異常數(shù)字看起來(lái)很高其實(shí)并不能反映模型真實(shí)水平。我建議至少報(bào)告四類(lèi)指標(biāo)整體RMSEkW、白天時(shí)段RMSEkW、白天時(shí)段MAEkW、白天時(shí)段R2。再加上按天氣類(lèi)型拆分的誤差統(tǒng)計(jì)——晴天、多云、陰雨三類(lèi)分別統(tǒng)計(jì)RMSE這樣能更精細(xì)地判斷模型的短板在哪里。下面是一個(gè)典型的實(shí)驗(yàn)結(jié)果表格模板不同電站的數(shù)值會(huì)有差異但對(duì)比的相對(duì)關(guān)系通常是一樣的。模型整體RMSE(kW)白天空MAE(kW)擬合R2晴天RMSE突變天氣RMSE標(biāo)準(zhǔn)LSTM126.595.30.91238.6184.2LSTM注意力112.482.70.93134.2152.7改進(jìn)LSTM(本項(xiàng)目)98.671.30.94830.4128.94.4 訓(xùn)練中的兩個(gè)重要開(kāi)關(guān)第一個(gè)開(kāi)關(guān)是梯度裁剪。LSTM展開(kāi)96個(gè)時(shí)間步之后反向傳播的梯度范數(shù)可能高達(dá)數(shù)百尤其是輸序列里有異常尖峰時(shí)很容易梯度爆炸導(dǎo)致loss變成NaN。我設(shè)置max_grad_norm1.0問(wèn)題基本不再出現(xiàn)。第二個(gè)開(kāi)關(guān)是隨機(jī)種子固定。數(shù)據(jù)劃分、模型初始化和訓(xùn)練過(guò)程都需要固定隨機(jī)種子否則每次實(shí)驗(yàn)的結(jié)果會(huì)有幾個(gè)點(diǎn)的浮動(dòng)你很難判斷改進(jìn)到底來(lái)自算法還是運(yùn)氣。5. 實(shí)驗(yàn)對(duì)比與天氣場(chǎng)景深度分析5.1 整體誤差下降的構(gòu)成拆解從上一節(jié)的表格可以看到改進(jìn)模型相對(duì)標(biāo)準(zhǔn)LSTM的整體RMSE下降了約22%但更好奇的是這22%從哪來(lái)。我拆解每一類(lèi)樣本的誤差分布后發(fā)現(xiàn)改進(jìn)最大的不是晴天平穩(wěn)時(shí)段而是輻照度變化率高的時(shí)間段。換句話說(shuō)注意力機(jī)制和補(bǔ)償分支真正解決的是突變天氣下的響應(yīng)速度而不是平穩(wěn)時(shí)段的擬合精度。這一點(diǎn)非常重要因?yàn)樗f(shuō)明了改進(jìn)工作是有針對(duì)性的而不是模型復(fù)雜度提升帶來(lái)的萬(wàn)能效果。如果你的預(yù)測(cè)對(duì)象本身天氣很穩(wěn)定比如常年晴天的某個(gè)地區(qū)標(biāo)準(zhǔn)LSTM已經(jīng)夠用加注意力機(jī)制的收益會(huì)很有限。反過(guò)來(lái)如果你的對(duì)象是多云多雨地區(qū)注意力機(jī)制的改進(jìn)效果會(huì)非常明顯。5.2 晴天、多云、陰雨三類(lèi)天氣的表現(xiàn)差異晴天場(chǎng)景下功率曲線平滑主要誤差來(lái)自中午組件溫度升高導(dǎo)致的效率下降。模型在晴天的誤差大幅低于其它場(chǎng)景RMSE通常在30kW量級(jí)。標(biāo)準(zhǔn)LSTM在晴天表現(xiàn)也不錯(cuò)因?yàn)闅v史數(shù)據(jù)的可參考性很強(qiáng)這驗(yàn)證了周期性信息的重要性。多云場(chǎng)景是最考驗(yàn)?zāi)Ｐ偷膱?chǎng)景輻照度受碎云影響頻繁跳動(dòng)功率曲線像鋸齒一樣。改進(jìn)后的模型因?yàn)橛卸喾种л斎牒妥⒁饬訖?quán)能對(duì)輻照度的突變做出更快的跟隨雖然后期補(bǔ)償分支對(duì)誤差的修正幅度有限但整體的RMSE提升非常顯著。這種情況下如果只用標(biāo)準(zhǔn)的LSTM預(yù)測(cè)曲線會(huì)明顯削峰填谷把劇烈的波動(dòng)平滑成一條遲鈍的曲線。陰雨場(chǎng)景相對(duì)多云反而好預(yù)測(cè)一些因?yàn)檩椪斩日w低且變化相對(duì)平緩。但要注意低輻照度下組件的小幅波動(dòng)可能被傳感器噪聲淹沒(méi)此時(shí)模型容易輕微高估實(shí)際功率誤差以系統(tǒng)偏差為主。針對(duì)這個(gè)特點(diǎn)可以在訓(xùn)練集里對(duì)低輻照度樣本單獨(dú)加權(quán)讓模型減少在陰天的系統(tǒng)性偏差。5.3 不同預(yù)測(cè)時(shí)長(zhǎng)下的表現(xiàn)退化超短期預(yù)測(cè)中往往預(yù)測(cè)時(shí)間越久遠(yuǎn)誤差越大。實(shí)測(cè)下來(lái)前4個(gè)點(diǎn)未來(lái)1小時(shí)的RMSE最低中間4個(gè)點(diǎn)未來(lái)1-2小時(shí)誤差開(kāi)始增加最后8個(gè)點(diǎn)未來(lái)2-4小時(shí)誤差明顯偏高。原因很直觀預(yù)測(cè)越靠后依賴(lài)的輸入信息越陳舊而天氣的不確定性隨時(shí)間累積放大。如果你需要做更長(zhǎng)時(shí)間尺度的預(yù)測(cè)改進(jìn)策略要考慮兩步走一是把輸出改為直接預(yù)測(cè)16個(gè)點(diǎn)而不是滾動(dòng)預(yù)測(cè)避免滾動(dòng)中誤差累積二是在外生特征里加入未來(lái)時(shí)刻的天氣預(yù)報(bào)輻照度讓模型在超過(guò)4小時(shí)的時(shí)間尺度上有外部信息可用。大部分人的失敗經(jīng)驗(yàn)是拿純歷史數(shù)據(jù)硬預(yù)測(cè)未來(lái)4小時(shí)以上效果不好不是模型的錯(cuò)而是信息本身就不夠。6. 萬(wàn)字報(bào)告與講解材料的組織和寫(xiě)作6.1 報(bào)告結(jié)構(gòu)從摘要到結(jié)論的完整骨架項(xiàng)目配套的萬(wàn)字報(bào)告不是簡(jiǎn)單的代碼說(shuō)明文檔它需要呈現(xiàn)一個(gè)完整的科研敘事。我的報(bào)告結(jié)構(gòu)參考了高校學(xué)位論文的經(jīng)典框架但做了精簡(jiǎn)適合本科畢業(yè)設(shè)計(jì)和工程匯報(bào)。目錄大致如下摘要與關(guān)鍵詞第一章研究背景與意義光伏發(fā)電的現(xiàn)狀與預(yù)測(cè)必要性第二章國(guó)內(nèi)外研究現(xiàn)狀傳統(tǒng)預(yù)測(cè)方法、統(tǒng)計(jì)方法、機(jī)器學(xué)習(xí)方法、深度學(xué)習(xí)方法分別的優(yōu)勢(shì)劣勢(shì)第三章理論基礎(chǔ)LSTM的結(jié)構(gòu)原理、注意力機(jī)制的原理、Conv1D的原理這些內(nèi)容可以從經(jīng)典文獻(xiàn)里提煉第四章數(shù)據(jù)處理與特征工程細(xì)節(jié)第五章改進(jìn)LSTM模型的結(jié)構(gòu)設(shè)計(jì)、設(shè)計(jì)動(dòng)機(jī)和具體參數(shù)第六章實(shí)驗(yàn)配置與結(jié)果分析包括數(shù)據(jù)描述、對(duì)比實(shí)驗(yàn)、消融實(shí)驗(yàn)、典型天氣案例分析第七章總結(jié)與展望。寫(xiě)作時(shí)有一個(gè)關(guān)鍵技巧報(bào)告的重點(diǎn)應(yīng)該放在第五章和第六章這兩章占報(bào)告總篇幅的40%以上因?yàn)樵u(píng)審關(guān)注的是你的改進(jìn)點(diǎn)在哪里、證據(jù)是什么。前面的基礎(chǔ)理論部分不需要太長(zhǎng)引用公式和相關(guān)文獻(xiàn)即可。6.2 圖表規(guī)范哪些圖最加分理工報(bào)告里圖表的說(shuō)服力遠(yuǎn)大于文字描述。我整理幾張項(xiàng)目必配的圖表你照著做就行。第一張?jiān)脊β是€與預(yù)測(cè)功率曲線的對(duì)比圖。選取連續(xù)一周的數(shù)據(jù)把真實(shí)值和預(yù)測(cè)值畫(huà)在同一個(gè)坐標(biāo)系下折線顏色區(qū)分圖例清晰一眼能看出模型跟真實(shí)曲線的擬合程度。第二張某一天多云突變場(chǎng)景的局部放大圖著重展示注意力機(jī)制模型的預(yù)測(cè)比基線模型更快跟隨輻照度下降。第三張誤差分布直方圖或箱線圖展示模型在白天不同時(shí)段的誤差分布直觀暴露什么時(shí)候最不準(zhǔn)。第四張消融實(shí)驗(yàn)對(duì)比柱狀圖柱子的高度代表不同配置的RMSE分別標(biāo)準(zhǔn)LSTM、加注意力、加注意力加補(bǔ)償分支柱子高度遞減非常直觀。6.3 講解演示怎么準(zhǔn)備項(xiàng)目配套講解的主要目的是把整個(gè)思路講清楚讓聽(tīng)眾理解你的工作為什么有價(jià)值。建議準(zhǔn)備15-20頁(yè)的PPT結(jié)構(gòu)第1-2頁(yè)介紹問(wèn)題和痛點(diǎn)第3-4頁(yè)介紹預(yù)測(cè)任務(wù)的定義和數(shù)據(jù)第5-7頁(yè)介紹LSTM基線及其局限第8-12頁(yè)重點(diǎn)講解改進(jìn)模型的三個(gè)模塊特別是注意力機(jī)制和誤差補(bǔ)償分支的設(shè)計(jì)動(dòng)機(jī)第13-15頁(yè)放實(shí)驗(yàn)結(jié)果和對(duì)比第16-17頁(yè)放典型場(chǎng)景分析圖最后一頁(yè)總結(jié)。講解時(shí)的表達(dá)要避免念公式堆名詞。解釋注意力機(jī)制時(shí)可以說(shuō)讓模型像人一樣看歷史曲線時(shí)重點(diǎn)關(guān)注有決策價(jià)值的時(shí)段而不是所有歷史時(shí)間一視同仁地平均利用。解釋誤差補(bǔ)償分支時(shí)可以說(shuō)相當(dāng)于預(yù)報(bào)員先做一版常規(guī)預(yù)報(bào)再根據(jù)雷達(dá)圖的突變修正一下最終預(yù)報(bào)是兩者相加。類(lèi)比講明白了公式才有意義。7. 常見(jiàn)問(wèn)題排查與調(diào)試實(shí)錄7.1 數(shù)據(jù)歸一化泄漏導(dǎo)致的假高分這是我見(jiàn)過(guò)最多人踩的坑也是我最早踩過(guò)的坑。一開(kāi)始我把整個(gè)數(shù)據(jù)集放在MinMaxScaler里擬合并轉(zhuǎn)換然后才切分訓(xùn)練集和測(cè)試集結(jié)果是測(cè)試集R2高到嚇人覺(jué)得模型簡(jiǎn)直完美。但把模型用到在線新數(shù)據(jù)后預(yù)測(cè)值經(jīng)常溢出到0或1效果一塌糊涂。排查時(shí)才發(fā)現(xiàn)是把測(cè)試集的最大最小值泄漏給了訓(xùn)練過(guò)程模型在訓(xùn)練時(shí)見(jiàn)過(guò)未來(lái)數(shù)據(jù)的邊界泛化能力差是必然的。解決辦法前面已經(jīng)說(shuō)了訓(xùn)練集擬合scaler驗(yàn)證集和測(cè)試集只transform。你可以在代碼里專(zhuān)門(mén)寫(xiě)一個(gè)數(shù)據(jù)管道類(lèi)保證任何新數(shù)據(jù)進(jìn)來(lái)走的都是同一個(gè)scaler。7.2 預(yù)測(cè)曲線滯后半拍用LSTM做時(shí)序預(yù)測(cè)輸出曲線相對(duì)真實(shí)曲線出現(xiàn)一個(gè)時(shí)間步的偏移這是反復(fù)出現(xiàn)的問(wèn)題原因是模型被訓(xùn)練成參考上一個(gè)時(shí)間步的值來(lái)預(yù)測(cè)下一個(gè)值相當(dāng)于把上一時(shí)刻的觀測(cè)值往后搬了一下而沒(méi)有真正學(xué)到底層動(dòng)態(tài)。解決辦法有兩個(gè)方向。一是在損失函數(shù)里對(duì)一階差分項(xiàng)施加懲罰讓預(yù)測(cè)序列的斜率變化和真實(shí)序列接近二是在特征里把輻照度變化率明確作為輸入增強(qiáng)模型對(duì)趨勢(shì)的感知能力。我實(shí)測(cè)下來(lái)兩個(gè)方向疊加可以明顯降低滯后。7.3 訓(xùn)練過(guò)程loss震蕩不收斂光伏數(shù)據(jù)本身噪聲大加上模型結(jié)構(gòu)里有卷積和注意力模塊訓(xùn)練初期loss震蕩是正常的。但如果震蕩幅度過(guò)大且長(zhǎng)期不下降首先檢查學(xué)習(xí)率是否偏高把初始學(xué)習(xí)率降到3e-4再試。其次是檢查輸入數(shù)據(jù)的量綱是否統(tǒng)一我遇到過(guò)輸入特征里有一個(gè)風(fēng)速特征單位是m/s數(shù)值范圍0-30與歸一化后的特征混在一起導(dǎo)致梯度被支配的問(wèn)題。最后是確認(rèn)dropout設(shè)置合理太高的dropout會(huì)收斂極慢。7.4 預(yù)測(cè)結(jié)果在夜間出現(xiàn)非零值夜間功率理論上為0但模型輸出可能會(huì)有一些漏光的小數(shù)值看起來(lái)不自然。出現(xiàn)這個(gè)現(xiàn)象說(shuō)明模型沒(méi)有把時(shí)間特征和功率的對(duì)應(yīng)關(guān)系學(xué)充分通常是因?yàn)橐归g樣本在損失函數(shù)里占的比重過(guò)高或者過(guò)低。我在前面提到的分段加權(quán)損失能有效處理這個(gè)問(wèn)題再不行就在預(yù)測(cè)后處理時(shí)加一條規(guī)則當(dāng)輻照度為0時(shí)把預(yù)測(cè)功率直接置為0。這個(gè)規(guī)則在工程上是合理的不算是作弊因?yàn)樗诿鞔_的物理?xiàng)l件。7.5 訓(xùn)練顯存占用過(guò)大LSTM展開(kāi)長(zhǎng)度較長(zhǎng)時(shí)顯存占用隨序列長(zhǎng)度線性增加。如果你在GPU上訓(xùn)練96步的序列長(zhǎng)度配64個(gè)隱藏單元batch_size設(shè)置64顯存占用通常在4G以?xún)?nèi)大部分消費(fèi)級(jí)顯卡都能勝任。如果發(fā)現(xiàn)顯存不夠優(yōu)先減小batch_size其次是減小隱藏單元數(shù)而不是強(qiáng)行縮短輸入窗口因?yàn)榇翱陂L(zhǎng)度直接影響預(yù)測(cè)效果的穩(wěn)定性。實(shí)在不行還可以用梯度累積用多個(gè)小batch的梯度疊加實(shí)現(xiàn)大batch的效果。寫(xiě)在最后這個(gè)項(xiàng)目做下來(lái)我最深刻的體會(huì)是光伏功率預(yù)測(cè)的瓶頸往往不在模型結(jié)構(gòu)本身而在數(shù)據(jù)理解的深度和實(shí)驗(yàn)設(shè)計(jì)的嚴(yán)謹(jǐn)性。改進(jìn)LSTM之所以比標(biāo)準(zhǔn)LSTM效果更好不是因?yàn)長(zhǎng)STM本身不夠好而是因?yàn)樗环诺搅烁m合它的位置——用注意力機(jī)制引導(dǎo)模型關(guān)注真正重要的歷史時(shí)刻用誤差補(bǔ)償彌補(bǔ)模型對(duì)突變過(guò)程的響應(yīng)滯后。如果你拿到自己電站的數(shù)據(jù)我建議先不急著跑模型花兩三天時(shí)間把數(shù)據(jù)梳理明白哪些特征是有效預(yù)測(cè)變量、哪些是噪聲、缺失和異常發(fā)生在什么時(shí)段。數(shù)據(jù)工作做扎實(shí)了模型的提升才是扎實(shí)的。這個(gè)項(xiàng)目的源碼和報(bào)告也完全可以復(fù)用擴(kuò)展比如把LSTM換成GRU做對(duì)比實(shí)驗(yàn)或者引入注意力變體做進(jìn)一步改版這些方向我都試過(guò)有需要再單獨(dú)寫(xiě)文章細(xì)聊。