做這個項目之前我一直覺得電價預(yù)測和普通時序預(yù)測沒什么兩樣無非是拿歷史價格套一個模型看看 RMSE 能壓到多少。直到我真正面對歐洲某典型現(xiàn)貨市場的逐小時電價數(shù)據(jù)才意識到問題比想象中難得多價格凌晨可能只有幾歐元中午光伏滿發(fā)時能跌到負(fù)數(shù)傍晚氣電頂上來又瞬間沖到上百歐元。這種“日常化”的極端波動讓 ARIMA、GARCH 甚至普通樹模型都顯得力不從心而換深度學(xué)習(xí)模型雖然能壓住誤差卻很難回答業(yè)務(wù)方那句靈魂拷問——“模型到底看到了什么才敢預(yù)測出這個價格”于是這個項目把兩條線擰在一起做一條是用深度學(xué)習(xí)做未來 24 小時電價預(yù)測另一條是用 SHAP 可解釋性分析把黑盒模型的輸出拆解成“每個特征的貢獻(xiàn)”。項目跑通之后我的體會是準(zhǔn)確率提升只是結(jié)果真正有價值的是能夠向別人說清楚“預(yù)測為什么成立”以及“模型學(xué)會了哪些市場規(guī)律”。這篇就按我實際動手的順序從方案選型、數(shù)據(jù)清洗、模型訓(xùn)練到 SHAP 解讀把完整鏈路和踩過的坑一次講透。適合正在做電力市場預(yù)測的算法工程師、對沖能源風(fēng)險的量化同學(xué)以及想給深度學(xué)習(xí)項目加上可解釋性的研究者參考。1. 項目定位與研究目標(biāo)拆解1.1 為什么選這個市場場景這個項目選擇的研究對象是歐洲最具代表性的現(xiàn)貨電力市場之一特征是新能源占比極高、市場化程度成熟、價格波動大。熟悉歐洲電力市場的讀者可能立刻想到伊比利亞半島那個“天天上頭條”的市場但為了避免掛靠具體機(jī)構(gòu)下面統(tǒng)一用“目標(biāo)市場”來稱呼。目標(biāo)市場采用典型的統(tǒng)一邊際出清機(jī)制發(fā)電資源按報價從低到高排隊系統(tǒng)負(fù)荷需求曲線與供給曲線的交點決定了全體市場成員統(tǒng)一成交的現(xiàn)貨價格。這個機(jī)制帶來一個很有意思的結(jié)果——風(fēng)電和光伏的邊際運(yùn)行成本幾乎為零只要它們出力足夠大就會把電價推向極低甚至負(fù)值而天然氣機(jī)組和儲能則成為晚高峰價格的主要支撐。所以電價預(yù)測的本質(zhì)其實是預(yù)測“發(fā)電結(jié)構(gòu)博弈”的結(jié)果而不是預(yù)測某一條獨立的時間序列。我選擇這個場景有三個理由。第一數(shù)據(jù)可得性高市場運(yùn)營方公開的透明度數(shù)據(jù)接口里有逐小時出清價、系統(tǒng)負(fù)荷、風(fēng)電光伏出力預(yù)測等核心字段天然適合做研究。第二目標(biāo)市場經(jīng)常出現(xiàn)負(fù)電價和尖峰樣本內(nèi)包含了“電價概率分布的尾部”這對檢驗深度學(xué)習(xí)模型的魯棒性很有價值。第三可再生能源占比高意味著電價受天氣和燃料成本雙重驅(qū)動特征工程可挖掘的空間很大做 SHAP 解釋時能講出的故事也足夠豐富。1.2 整體技術(shù)方案的選型邏輯先交代為什么淘汰傳統(tǒng)方案。ARIMA 類模型要求序列近似線性且平穩(wěn)而電價序列有明顯的時變方差、尖峰厚尾和多重季節(jié)周期做差分和對數(shù)變換也只能勉強(qiáng)應(yīng)付預(yù)測能力很弱。GARCH 族模型擅長描述波動率聚集但點預(yù)測效果平平而且它對“新能源出力沖擊”這種外生突變幾乎無能為力。樹模型能用特征工程做得好時效果不錯但它本質(zhì)上是按特征切分空間天然不擅長建模“未來 24 小時連續(xù)輸出的時序依賴”外推能力也弱。深度學(xué)習(xí)之所以成為主線是因為它能把“過去一周的價格形態(tài)、今日外生預(yù)測、日歷節(jié)奏”整體作為序列輸入端到端學(xué)習(xí)從窗口到未來 24 小時的映射關(guān)系。我在項目里用 ConvLSTM 混合結(jié)構(gòu)后面會細(xì)說。但深度學(xué)習(xí)換來了精度也帶來了解釋性空白。交易臺的人不會只因為 RMSE 好看就相信預(yù)測他們會追問“為什么中午這小時你預(yù)測了負(fù)價依據(jù)是光伏還是負(fù)荷”項目評審也會關(guān)心模型是否學(xué)到了合理市場邏輯而不是記住了噪聲。SHAP 正好補(bǔ)上了這一環(huán)它計算每個特征對每個預(yù)測樣本的邊際貢獻(xiàn)既能畫全局重要性排序也能拆解單條預(yù)測的形成過程。這套“高性能預(yù)測 可解釋分析”的組合是項目在技術(shù)選型上最核心的決策。最后是管線規(guī)劃。整個項目拆成五個模塊數(shù)據(jù)清洗與重采樣、特征構(gòu)造與目標(biāo)定義、模型設(shè)計與訓(xùn)練、預(yù)測評估、SHAP 解釋。每個模塊單獨驗證通過之后再串聯(lián)避免后期排查問題時無從下手。2. 數(shù)據(jù)鏈路搭建從原始序列到可訓(xùn)練樣本2.1 原始數(shù)據(jù)字段與清洗細(xì)節(jié)項目使用的原始數(shù)據(jù)主要來自市場運(yùn)營方公開的透明度接口核心字段包括逐小時現(xiàn)貨出清價、系統(tǒng)實際負(fù)荷、系統(tǒng)負(fù)荷預(yù)測、風(fēng)電出力預(yù)測、光伏出力預(yù)測、天然氣價格、碳排放配額價格以及氣溫和日歷信息。這里有一個非常重要的概念要提前明確——建模時能用的“外生變量版本”到底是什么。舉個例子預(yù)測當(dāng)天第 14 個小時的電價如果特征里用了“當(dāng)天 14 時系統(tǒng)實際負(fù)荷”那屬于嚴(yán)重的未來信息泄漏因為實際負(fù)荷要到那個小時結(jié)束后才會被統(tǒng)計發(fā)布。實際可用的應(yīng)該是前一日發(fā)布的負(fù)荷預(yù)測或者臨近時刻的更新預(yù)測。訓(xùn)練樣本可以包含很多維度但每條特征必須嚴(yán)格滿足“在預(yù)測時刻已知”的約束。清洗上我踩過三個比較典型的坑。第一是時間索引問題歐洲市場跨夏令時切換某些天只有 23 個小時或 25 個小時直接用本地時間做滯后會自動錯位。處理方式是數(shù)據(jù)處理階段全部統(tǒng)一成 UTC保留一個本地時區(qū)字段僅用于展示滯后特征一律按 UTC 時間軸構(gòu)造。第二是缺失值逐小時序列偶爾會出現(xiàn)單點缺失1~2 個缺失點用線性插值問題不大但如果連續(xù)缺失超過 6 個小時最好整段剔除否則插值會制造出虛假的平滑段模型會誤學(xué)。第三是負(fù)電價和極端尖峰很多新手第一反應(yīng)是當(dāng)成異常值刪掉這是大忌——負(fù)電價是新能源高發(fā)時段的正常市場現(xiàn)象極端尖峰也承載了供需緊張的信息刪掉它們等于把模型最需要學(xué)習(xí)的關(guān)鍵機(jī)制抹掉了。2.2 特征工程與預(yù)測目標(biāo)的定義特征工程我分成三類來設(shè)計歷史價格特征、日歷節(jié)奏特征、外生變量特征。歷史價格特征里滯后項最核心的是前 1/2/3 小時、昨日同時刻lag_24h、上周同時刻lag_168h再加一個過去 7 天同時刻均值。為什么重點保留這幾個現(xiàn)貨市場有極強(qiáng)的日內(nèi)節(jié)奏昨天下午 2 點的光伏壓價效應(yīng)大概率會在今天下午 2 點重演一周前的同小時還能捕捉周季節(jié)模式。只保留密集的逐小時滯后并不會帶來明顯提升反而會讓特征矩陣變胖、訓(xùn)練變慢SHAP 分析時還會出現(xiàn)特征共線性問題。除了原始滯后價我還構(gòu)造了滾動窗口統(tǒng)計量過去 3 小時均值、過去 3 小時標(biāo)準(zhǔn)差、過去 24 小時極差。這批特征刻畫的是市場“當(dāng)前狀態(tài)”比如過去三小時價格劇烈震蕩模型就應(yīng)該對當(dāng)前時刻的預(yù)測保留更多不確定性。日歷特征用 sin/cos 周期編碼而不是直接填整數(shù)小時。直接填 hour23 和 hour0 這兩個整數(shù)在模型看來距離是 23 個單位但真實時間上它們只差 1 小時用線性編碼會給模型制造虛假的“斷點”。hour_sin/hour_cos以及dayofweek_sin/dayofweek_cos能平滑表達(dá)這種周期性。節(jié)假日則單獨做一個二值特征歐洲市場在法定節(jié)假日期間需求結(jié)構(gòu)會發(fā)生顯著變化。外生變量特征包括負(fù)荷預(yù)測、風(fēng)電出力預(yù)測、光伏出力預(yù)測、天然氣價格、碳價、氣溫。外生變量的發(fā)布版本要統(tǒng)一用“日前預(yù)測快照”不能混用不同批次的日更數(shù)據(jù)否則模型會發(fā)現(xiàn)同一時刻的輸入口徑不一致預(yù)測結(jié)果會跟著跳。目標(biāo)變量定義為未來 24 小時逐小時電價的多步輸出即模型一次輸出 24 個值而不是迭代滾動預(yù)測。直接多步預(yù)測避免了誤差在遞歸中累積訓(xùn)練時間也更短缺點是失去遞歸修正能力但實測結(jié)果更穩(wěn)定。構(gòu)造樣本時還有一條鐵律窗口滑動方向嚴(yán)格沿時間軸推進(jìn)訓(xùn)練集和驗證集的劃分邊界要發(fā)生在生成窗口之前。如果先把整段數(shù)據(jù)切出驗證集再在全局生成滑動窗口訓(xùn)練窗口的末端會“看到”驗證集開頭的數(shù)據(jù)評估結(jié)果會虛高這在第 5 章還會展開講。3. 深度學(xué)習(xí)模型的設(shè)計與訓(xùn)練紀(jì)律3.1 模型結(jié)構(gòu)為什么要用 Conv LSTM 混合主模型結(jié)構(gòu)是一層 1D 卷積接雙層 LSTM最后接全連接層輸出 24 個價格點。先上代碼import tensorflow as tf model tf.keras.Sequential([ tf.keras.layers.Conv1D(filters32, kernel_size3, paddingsame, activationrelu), tf.keras.layers.BatchNormalization(), tf.keras.layers.LSTM(units64, return_sequencesTrue), tf.keras.layers.Dropout(0.2), tf.keras.layers.LSTM(units32, return_sequencesFalse), tf.keras.layers.Dropout(0.2), tf.keras.layers.Dense(units24) ])為什么第一層用卷積而不是直接上 LSTM電價相鄰小時之間往往有很強(qiáng)的短時慣性例如凌晨 2 點到 4 點的價格通常平穩(wěn)滑行Conv1D 的局部卷積核能快速提取這類短時模式還能壓縮序列長度。我實測過加這一層后 LSTM 層的壓力明顯減小訓(xùn)練時間縮短約三分之一測試集誤差略有改善。反過來如果只用純 LSTM模型需要自己從長序列里摸索出短時模式參數(shù)量和訓(xùn)練成本都會上去。LSTM 單元堆兩層是性能和復(fù)雜度之間的平衡點第一層 64 個單元負(fù)責(zé)學(xué)習(xí)時間模式第二層 32 個單元在更高抽象層組合這些模式超過兩層之后收益很小反而更容易在長序列上過擬合。代碼里每個 LSTM 層后面接了 Dropout(0.2)這是處理時序模型過擬合最直接的手段比正則化系數(shù)更順手。3.2 訓(xùn)練細(xì)節(jié)、歸一化與超參選擇訓(xùn)練配置里最關(guān)鍵的一步是歸一化。電價序列包含負(fù)電價和極端尖峰如果用 MinMaxScaler極端值會把大部分正常樣本壓縮到一個很窄的區(qū)間模型無形中把精度花在了區(qū)分極值上。我用的是 RobustScaler按中位數(shù)和四分位距縮放對異常值不敏感負(fù)電價落在零點兩側(cè)也很自然。from sklearn.preprocessing import RobustScaler scaler RobustScaler().fit(X_train_2d) # 只在訓(xùn)練集上擬合 X_train scaler.transform(X_train_2d) X_val scaler.transform(X_val_2d) X_test scaler.transform(X_test_2d)這里必須強(qiáng)調(diào)fit只能作用在訓(xùn)練集上驗證集和測試集只能用訓(xùn)練集的統(tǒng)計量做transform否則就屬于把未來數(shù)據(jù)的信息“捎帶”進(jìn)了訓(xùn)練流程。訓(xùn)練超參數(shù)我固定如下超參數(shù)取值選擇依據(jù)輸入窗口長度168 小時覆蓋完整 7 天周周期模型能識別周日和周一差異卷積核尺寸3捕捉相鄰 3 小時的短時慣性LSTM 單元數(shù)64 / 32兩層結(jié)構(gòu)控制參數(shù)量在合理區(qū)間Dropout0.2防止時序過擬合損失函數(shù)Huberdelta1.0兼顧 MSE 的敏感性和 MAE 的魯棒性優(yōu)化器Adam初始學(xué)習(xí)率 0.001常規(guī)穩(wěn)健搭配Batch Size256平衡梯度穩(wěn)定性與訓(xùn)練速度最大 Epoch80配合早停策略早停 Patience10驗證集 loss 連續(xù) 10 輪不降即停損失函數(shù)沒有用默認(rèn)的 MSE。電價的尖峰會讓 MSE 主導(dǎo)梯度模型為了降低二次懲罰傾向于把預(yù)測壓向“平滑的中間值”結(jié)果就是峰谷時刻全被抹平。Huber 損失在誤差較小時接近 MSE、誤差大時接近 MAE既保留了對大誤差的敏感度又不會因為個別尖峰帶偏整個訓(xùn)練方向。訓(xùn)練時配合 ReduceLROnPlateau 做學(xué)習(xí)率衰減patience 設(shè) 5、衰減系數(shù) 0.5模型保存以驗證集指標(biāo)為基準(zhǔn)早停觸發(fā)時恢復(fù)到驗證集最優(yōu)權(quán)重。所有隨機(jī)種子固定保證實驗可復(fù)現(xiàn)。3.3 評估指標(biāo)與誤差觀察口徑第一批評估指標(biāo)我用了 RMSE、MAE、R2 和 sMAPE。RMSE 對災(zāi)難性大誤差敏感適合盯“有沒有離譜預(yù)測”MAE 反映平均誤差水平R2 看模型對目標(biāo)變異的解釋比例。MAPE 在這個場景里直接失效——真實電價會出現(xiàn) 0 和負(fù)值MAPE 的分母不是 0 就是負(fù)數(shù)計算值毫無意義所以用對稱的 sMAPE 作為替代?；€選擇非常關(guān)鍵。我用了兩個基線持久性基線用昨日同小時價格作為明日預(yù)測值和線性回歸。持久性基線在電價這種強(qiáng)慣性序列里一點都不弱如果深度學(xué)習(xí)模型不能讓 RMSE 相對它下降 20% 以上那這個深度學(xué)習(xí)就不合格。項目跑出來的結(jié)果是測試集上深度學(xué)習(xí)模型的 RMSE 相對持久性基線下降約四分之一MAE 改善略小R2 在 0.92 附近。誤差不能只看整體均值按小時誤差拆開看才有意義。實測中正午 12 點到 15 點的誤差明顯偏大這正對應(yīng)光伏出力高、價格容易被打到負(fù)區(qū)間的時段。如果外生特征里的光伏預(yù)測數(shù)值偏保守模型就會在午后持續(xù)性高估價格。這個結(jié)論后來通過 SHAP 依賴圖得到了印證。預(yù)測曲線可視化時可以明顯看到早高峰和晚高峰的尖峰形狀被模型學(xué)到了但遇到風(fēng)電驟減或者氣價突漲的日子預(yù)測還是會滯后這類樣本正是后續(xù)需要單獨建子模型或引入額外特征的方向。4. SHAP 可解釋性分析把預(yù)測邏輯打開給業(yè)務(wù)看4.1 SHAP 原理與深度學(xué)習(xí)配適SHAP 的核心是 Shapley 值來自合作博弈論把每個特征看作參與游戲的一方模型輸出是全體特征合作產(chǎn)生的收益Shapley 值就是一種公平分配收益的方法——它在所有可能的特征組合里計算某個特征的邊際貢獻(xiàn)再按加權(quán)平均得到該特征對當(dāng)前預(yù)測的貢獻(xiàn)。簡單說就是模型給這個樣本預(yù)測出的價格可以拆成“基線預(yù)測值 每個特征的貢獻(xiàn)值”把所有貢獻(xiàn)加起來就還原了預(yù)測結(jié)果。用一個生活類比理解朋友聚餐后 AA但有人吃得多有人吃得少怎么算出誰該出多少才公平SHAP 的方法是讓每個人分別加入不同的人群組合看他加入前后賬單變化了多少把所有組合的變化加總求平均最后得到每個人的“公平貢獻(xiàn)”。放到模型里特征就是聚餐的人模型輸出就是賬單金額。深度學(xué)習(xí)模型配 SHAP 有幾種方式。TensorFlow 環(huán)境里可以用DeepExplainer或GradientExplainer做基于梯度的近似計算也可以用模型無關(guān)的KernelExplainer做采樣。對 LSTM 類模型我的實測體會是GradientExplainer的穩(wěn)定性和速度更均衡先從訓(xùn)練集隨機(jī)抽 200 條樣本作為背景數(shù)據(jù)集再對測試集樣本計算 SHAP 值。背景數(shù)據(jù)集必須全部來自訓(xùn)練集否則解釋過程泄漏了未來信息得到的貢獻(xiàn)值會有偏。import shap explainer shap.GradientExplainer(model, X_train_background) shap_values explainer.shap_values(X_test_explain) shap.summary_plot(shap_values[0], X_test_explain, feature_namesfeature_names)4.2 全局解釋特征重要性和影響方向SHAP 全局分析最有價值的是 summary plot。橫軸是 SHAP 值大小縱軸按特征平均絕對 SHAP 值排序樣本點的顏色代表該特征的實際取值高低。讀圖時先看排序再看顏色分布的方向關(guān)系就能知道“誰在影響預(yù)測”以及“怎么影響”。這個項目里最重要的三個發(fā)現(xiàn)如下。第一lag_24h昨日同小時價格的重要性一騎絕塵且與 SHAP 值呈正相關(guān)昨日同小時價格高模型就傾向于推高今日預(yù)測。這是市場慣性的體現(xiàn)現(xiàn)貨價格在相同時段之間有極強(qiáng)的自相關(guān)。第二光伏出力預(yù)測的重要性排在前列整體方向為負(fù)——光伏出力越高模型越傾向壓低價格。這個方向不是線性恒定午后高光伏區(qū)間尤其明顯樣本點出現(xiàn)大量左端延伸說明模型學(xué)到了“光伏過剩會把價格打到負(fù)區(qū)間”這一段非線性機(jī)制。第三天然氣價格的影響不是獨立常數(shù)它在冬夜高負(fù)荷時段的貢獻(xiàn)被明顯放大。氣價是邊際機(jī)組的成本錨模型捕捉到的是“高價燃料 高負(fù)荷 價格容易被推升”的交互效應(yīng)。再往下看依賴圖。畫dependence_plot時會發(fā)現(xiàn)光伏出力預(yù)測特征對 SHAP 貢獻(xiàn)的斜率在不同負(fù)荷顏色下并不一致高負(fù)荷日同一份光伏出力預(yù)測壓低價格的作用更強(qiáng)。這說明市場博弈中光伏對價格的邊際影響依賴系統(tǒng)需求——光伏在需求旺盛時壓低價格在需求慘淡時直接制造負(fù)電價。這類交互特征在線性模型里很難顯式構(gòu)造深度學(xué)習(xí) SHAP 能把它自動找出來是這套組合最大的競爭力。4.3 局部解釋拆解單個時段的預(yù)測全局解釋回答“模型總體靠什么”局部解釋回答“這一個小時為什么這么預(yù)測”。用 waterfall 圖看單個樣本最直觀從基線預(yù)測值出發(fā)每個特征往上加貢獻(xiàn)或往下減貢獻(xiàn)最后得到模型輸出。我挑過一個正午負(fù)電價樣本。模型預(yù)測 -12 歐元/兆瓦時拆開看光伏出力預(yù)測高貢獻(xiàn) -18 歐元昨日同小時低價貢獻(xiàn) -6 歐元系統(tǒng)負(fù)荷預(yù)測低貢獻(xiàn) -3 歐元但天然氣價格走低讓預(yù)測回拉了 5 歐元節(jié)假日效應(yīng)又貢獻(xiàn) 3 歐元幾項加總就是 -12 歐元。這種拆解給交易員看對方幾乎不需要培訓(xùn)就能理解“模型認(rèn)為光伏是打價格的主力”信任感會大幅提升。夜晚峰值樣本則是另一個圖景滯后價格正貢獻(xiàn) 40 歐元氣價正貢獻(xiàn) 22 歐元負(fù)荷預(yù)測正貢獻(xiàn) 8 歐元光伏出力近似為零。面對這兩類差別極大的樣本模型分別動用了不同特征組合做決策這不是人工規(guī)則能輕松覆蓋的。我用 SHAP 做局部解釋的另一個用途是審計如果某一天模型預(yù)測出異常高價點開 waterfall 立刻能查到是哪個輸入變量在“撐場面”而不是對著黑盒干瞪眼。5. 實測踩坑記錄與常見問題速查5.1 數(shù)據(jù)泄漏與時序錯位這個項目最大的坑也是電力預(yù)測最經(jīng)典的坑就是未來數(shù)據(jù)泄漏。我第一次建模時把“當(dāng)日全天實際負(fù)荷均值”直接作為當(dāng)天所有時點的特征結(jié)果驗證集效果極好測試集也漂亮但把特征換成“預(yù)測負(fù)荷”之后誤差立刻打回原形。原因在于實際負(fù)荷均值是次日才知道的統(tǒng)計量把它塞進(jìn)當(dāng)天輸入等于讓模型作弊。排查方法是做特征發(fā)布延遲審計對每個外生變量標(biāo)注“最早可用時間點”逐項確認(rèn)它在預(yù)測時刻確實已經(jīng)發(fā)布。窗口構(gòu)造階段的邊界泄漏同樣隱蔽。如果先隨機(jī)切驗證集再生成滑動窗口訓(xùn)練集最后一個窗口的標(biāo)簽可能落在驗證集時間范圍內(nèi)信息會跨邊界流動。解決方式是先設(shè)定好時間斷點再構(gòu)造窗口并讓訓(xùn)練集結(jié)束時間和驗證集開始時間之間至少空出一個窗口長度的冷卻間隙。這個間隙不會影響數(shù)據(jù)量但能徹底阻斷跨集合的時間依賴。夏令時錯位是最折磨人的問題。歐洲市場每年兩次切換本地時區(qū)原始數(shù)據(jù)如果用本地時間標(biāo)記shift(24)得到的“昨日同小時”在切換日會錯位一小時。強(qiáng)迫自己把所有時間列統(tǒng)一為 UTC 之后這類錯位徹底消失。為了業(yè)務(wù)展示可以保留一個本地時區(qū)轉(zhuǎn)換字段但一切滯后、滾動計算都基于 UTC。5.2 模型訓(xùn)練與 SHAP 解釋的坑訓(xùn)練階段的坑主要是損失函數(shù)和早停選擇。默認(rèn)用 MSE 會讓模型把精力花在擬合極端尖峰上預(yù)測曲線整體變得遲鈍。換 Huber 之后正常時段的精度幾乎沒有損失峰谷時段的追漲能力反而更好。早停不要盯著最后一個 epoch 的權(quán)重要顯式保存驗證集指標(biāo)最好的 epoch 權(quán)重否則訓(xùn)練后期模型已經(jīng)開始過擬合測試集誤差會被拖累。SHAP 解釋也有自身陷阱。特征共線性是最常見的一種滯后價格和滾動均值高度相關(guān)時SHAP 會在它們之間隨機(jī)分?jǐn)傌暙I(xiàn)單次計算的單個特征數(shù)值不穩(wěn)定換一次背景樣本結(jié)果可能差別不小。解決辦法是先用相關(guān)性矩陣排查特征再進(jìn)行分組 SHAP把全部滯后類特征合并成“歷史價格組”算總貢獻(xiàn)再細(xì)看組內(nèi)拆分。另外DeepExplainer對 RNN 的近似有時會波動我習(xí)慣把GradientExplainer的結(jié)果和KernelExplainer在少量樣本上的計算結(jié)果交叉驗證方向一致才采用。要記住 SHAP 表達(dá)的是“模型如何決策”不是“數(shù)據(jù)真實因果”向業(yè)務(wù)匯報時用詞要準(zhǔn)確避免說“因為光伏所以價格低”要說“模型基于光伏特征做出了壓低預(yù)測的決策”。5.3 常見問題速查表癥狀可能原因解決方案預(yù)測曲線整體比實際滯后一天滯后特征以 24 小時為主模型過度依賴昨日同小時增加 1/2/3 小時短滯后特征引入滾動統(tǒng)計量午后光伏高發(fā)時段誤差顯著偏大光伏預(yù)測特征口徑不準(zhǔn)或數(shù)據(jù)版本混用統(tǒng)一使用日前預(yù)測快照核對發(fā)布延遲驗證集指標(biāo)很好實盤效果崩塌某特征存在未來數(shù)據(jù)泄漏逐項審計特征最早可用時間點夏令時切換日預(yù)測混亂時間索引錯位導(dǎo)致滯后特征錯 1 小時時間統(tǒng)一為 UTC展示層再轉(zhuǎn)本地SHAP 單特征數(shù)值穩(wěn)定性差特征共線性導(dǎo)致貢獻(xiàn)分?jǐn)傠S機(jī)化分組計算 SHAP去除高相關(guān)冗余特征SHAP 值全部接近 0背景樣本沒有正確取自訓(xùn)練集或解釋器類型不適配重設(shè)背景樣本更換 Gradient/Kernel Explainer6. 項目復(fù)盤哪些經(jīng)驗?zāi)軓?fù)用到下一個預(yù)測項目把這個項目做完我最大的感受是預(yù)測類項目的成敗往往不在模型結(jié)構(gòu)而在數(shù)據(jù)口徑和驗證紀(jì)律。模型從 LSTM 換成 ConvLSTM、調(diào)大調(diào)小 DropoutRMSE 的變化幅度其實有限但一次夏令時錯位或者一個未來泄漏特征就能讓評估結(jié)果失真 30% 以上。所以項目推進(jìn)過程中我把“數(shù)據(jù)版本時間線”當(dāng)成和模型精度同等重要的交付物每個特征都標(biāo)注了發(fā)布時間、適用時區(qū)、預(yù)測窗口整套流程立刻變得可控。另一個值得復(fù)用的經(jīng)驗是可解釋性分析應(yīng)該前置而不是后置。很多同學(xué)先把模型調(diào)到滿意再補(bǔ)一個 SHAP 圖當(dāng)說明材料但我在這個項目里其實是靠 SHAP 早期就發(fā)現(xiàn)過錯誤特征——有個外生變量重要性很高查了發(fā)布延遲才發(fā)現(xiàn)它根本不是預(yù)測時刻已知的信息那時候模型還沒最終定型改起來成本很低。把 SHAP 當(dāng)成模型調(diào)試工具比當(dāng)成論文裝飾品實用得多。后續(xù)擴(kuò)展方向也比較明確。當(dāng)前模型輸出的是單點預(yù)測值實際交易決策需要的是概率分布可以基于同一套特征加 Quantile Loss 或 MC Dropout 做區(qū)間預(yù)測。目標(biāo)市場的氣價、碳價、新能源出力之間存在動態(tài)耦合下一步可以嘗試多市場聯(lián)合建模或引入注意力機(jī)制讓模型自動聚焦關(guān)鍵時段。如果要做成生產(chǎn)系統(tǒng)還需要加入在線增量訓(xùn)練因為市場機(jī)制會隨時間演化靜態(tài)模型的預(yù)測能力會逐漸衰減。最后說一點個人心得。做這類高波動時序預(yù)測最忌諱的是拿測試集反復(fù)試模型試到指標(biāo)好看為止——那其實已經(jīng)造成信息泄漏只是你感覺不到。我要求自己測試集只準(zhǔn)跑一次完整實驗所有調(diào)參都看驗證集SHAP 分析也單獨保留一套“審計樣本”。事實證明這個習(xí)慣幫我避免了很多后期返工。如果你準(zhǔn)備動手復(fù)現(xiàn)這個項目先把數(shù)據(jù)清洗和特征構(gòu)造框架搭扎實再碰模型結(jié)構(gòu)。模型可以隨時換數(shù)據(jù)錯位一天后面所有工作都會跟著白做。