簡(jiǎn)介一份聚焦神經(jīng)網(wǎng)絡(luò)在金融時(shí)序分析中應(yīng)用的科研論文PDF面向量化研究、金融建模及機(jī)器學(xué)習(xí)實(shí)踐者。資料系統(tǒng)梳理了數(shù)據(jù)預(yù)處理環(huán)節(jié)中的異常值檢測(cè)與缺失值填補(bǔ)流程重點(diǎn)講解了RBP神經(jīng)網(wǎng)絡(luò)補(bǔ)全缺損數(shù)據(jù)、Markowitz均值-方差組合模型優(yōu)化收益風(fēng)險(xiǎn)以及NARX非線性多步預(yù)測(cè)網(wǎng)絡(luò)構(gòu)建股指預(yù)測(cè)模型的方法同時(shí)結(jié)合Python繪制時(shí)間序列調(diào)和曲線直觀展示數(shù)據(jù)缺失情況。NARX模型采用三層結(jié)構(gòu)隱含層使用高斯激活函數(shù)依據(jù)鏈?zhǔn)狡⒎址▌t調(diào)整網(wǎng)絡(luò)參數(shù)最終給出平均誤差0.092以內(nèi)的實(shí)證結(jié)果。內(nèi)容還覆蓋了投資組合相關(guān)矩陣與協(xié)方差矩陣的評(píng)價(jià)維度以及過(guò)擬合與交叉驗(yàn)證等實(shí)操問(wèn)題從數(shù)據(jù)清洗、組合評(píng)估到模型優(yōu)化形成完整鏈路。資源為單份PDF文件共1個(gè)文件壓縮包大小1.83MB已有119人學(xué)習(xí)瀏覽。對(duì)于希望快速理解神經(jīng)網(wǎng)絡(luò)選股思路、NARX動(dòng)態(tài)建模技巧以及風(fēng)險(xiǎn)收益平衡機(jī)制的讀者這份材料能提供較清晰的算法推導(dǎo)與實(shí)驗(yàn)參考價(jià)值適合作為金融科技、數(shù)據(jù)建模方向的入門(mén)研讀或項(xiàng)目參考資料。1. 股指預(yù)測(cè)不是玄學(xué)但網(wǎng)絡(luò)選錯(cuò)、數(shù)據(jù)切錯(cuò)都會(huì)翻車(chē)量化圈每隔一段時(shí)間就有人曬出“基于神經(jīng)網(wǎng)絡(luò)的股指預(yù)測(cè)與選股”的優(yōu)美曲線點(diǎn)開(kāi)一看多半是驗(yàn)證集在漲。做過(guò)的人心里都有數(shù)這個(gè)方向真正的難點(diǎn)從來(lái)不是把模型跑起來(lái)而是讓預(yù)測(cè)嚴(yán)格落在未來(lái)信息之外讓選股信號(hào)在回測(cè)里真實(shí)可復(fù)現(xiàn)。它要解決兩件事——對(duì)指數(shù)未來(lái)漲跌給出概率判斷再把同一套方法平移到全市場(chǎng)個(gè)股上排序選出值得持倉(cāng)的組合。適合已有Python和基礎(chǔ)機(jī)器學(xué)習(xí)底子、想用深度神經(jīng)網(wǎng)絡(luò)替代經(jīng)驗(yàn)規(guī)則的從業(yè)者?？炊疚哪隳玫降氖且徽讖臄?shù)據(jù)清洗、特征構(gòu)造、LSTM訓(xùn)練到選股驗(yàn)證的落地路徑而不是一張畫(huà)餅的收益曲線。2. 把漲跌裝進(jìn)監(jiān)督學(xué)習(xí)問(wèn)題建模與網(wǎng)絡(luò)選型2.1 先定義問(wèn)題為什么預(yù)測(cè)方向比預(yù)測(cè)價(jià)格靠譜我最初的做法很幼稚把每天收盤(pán)價(jià)丟給LSTM讓它輸出明天收盤(pán)價(jià)。訓(xùn)練損失降到接近0驗(yàn)證集擬合得像印上去一樣可實(shí)盤(pán)一跑就鈍。后來(lái)才想明白價(jià)格序列是非平穩(wěn)的十年前3000點(diǎn)和現(xiàn)在3000點(diǎn)的含義完全不同。讓網(wǎng)絡(luò)去擬合絕對(duì)價(jià)格等于逼它記下一條長(zhǎng)期漂移曲線而對(duì)真正要抓的短期相對(duì)變化幾乎沒(méi)有表達(dá)力。常見(jiàn)做法是把它重構(gòu)成分類問(wèn)題給定過(guò)去N個(gè)交易日的特征序列預(yù)測(cè)未來(lái)H個(gè)交易日收益率是否大于某個(gè)閾值。數(shù)學(xué)化一點(diǎn)x_t 是過(guò)去N天的特征向量序列y 是未來(lái)H日收益率的正負(fù)號(hào)。為什么是分類而不是回歸因?yàn)榉诸悓?duì)噪聲更魯棒漲跌方向的信噪比遠(yuǎn)高于具體收益數(shù)值同時(shí)分類輸出天然能轉(zhuǎn)成概率為后面選股排序提供同一把尺子。閾值通常設(shè)在0.5%到1%之間太大會(huì)讓正樣本稀少太小則幾乎全是噪聲標(biāo)簽。另一個(gè)必須想清楚的點(diǎn)是滑窗長(zhǎng)度N。對(duì)日線數(shù)據(jù)我一般取20個(gè)交易日約一個(gè)月作為基礎(chǔ)窗口。20這個(gè)數(shù)字不是玄學(xué)它對(duì)應(yīng)A股月級(jí)別趨勢(shì)的記憶長(zhǎng)度太長(zhǎng)會(huì)把遠(yuǎn)古行情塞進(jìn)來(lái)太短則抓不住均線支撐。窗口定了之后整個(gè)數(shù)據(jù)集的樣本量由總交易日減去窗口和預(yù)測(cè)跨度決定一般能拿到兩千到三千條樣本夠一個(gè)中小規(guī)模網(wǎng)絡(luò)吃飽。2.2 網(wǎng)絡(luò)選型前饋神經(jīng)網(wǎng)絡(luò)、LSTM、一維卷積與GNN怎么挑模型選型是新手最容易翻車(chē)的地方。一上來(lái)就上幾十層Transformer結(jié)果驗(yàn)證集還不如“昨天漲今天就買(mǎi)”的樸素基線。先看前饋神經(jīng)網(wǎng)絡(luò)也就是常說(shuō)的BP神經(jīng)網(wǎng)絡(luò)它結(jié)構(gòu)最簡(jiǎn)單輸入是一個(gè)打平的特征向量經(jīng)過(guò)若干隱藏層后接輸出層靠反向傳播更新權(quán)重。它的問(wèn)題在于完全沒(méi)有時(shí)間順序概念——把第1天的數(shù)據(jù)和第19天的數(shù)據(jù)交換位置模型輸出不變這對(duì)行情序列是致命的。用它做序列預(yù)測(cè)調(diào)參再狠準(zhǔn)確率也基本在52%以下定位只能是基線對(duì)照。循環(huán)神經(jīng)網(wǎng)絡(luò)RNN在設(shè)計(jì)上天生為序列建模但經(jīng)典RNN存在梯度消失長(zhǎng)序列記憶很差。LSTM神經(jīng)網(wǎng)絡(luò)用輸入門(mén)、遺忘門(mén)和輸出門(mén)把長(zhǎng)期信息保存在單元狀態(tài)里是目前RNN最常用的替代。對(duì)股指日線這種幾百到幾千個(gè)樣本的序列兩層LSTM把小周期波動(dòng)和大周期趨勢(shì)分開(kāi)建模是最穩(wěn)的起點(diǎn)方案。卷積神經(jīng)網(wǎng)絡(luò)在序列預(yù)測(cè)里的用法比較特別一維卷積神經(jīng)網(wǎng)絡(luò)用一維卷積核掃描時(shí)間軸提取K線形態(tài)的局部模式比如“連續(xù)三根陽(yáng)線”“長(zhǎng)下影線放量”。它訓(xùn)練快、不挑數(shù)據(jù)規(guī)模但單用對(duì)全局趨勢(shì)捕捉弱常見(jiàn)做法是把1D CNN輸出再接LSTM讓CNN提特征、LSTM記時(shí)序。圖神經(jīng)網(wǎng)絡(luò)GNN是這幾年的熱點(diǎn)把個(gè)股之間的關(guān)聯(lián)、行業(yè)聯(lián)動(dòng)建模成圖結(jié)構(gòu)理論上對(duì)選股很有吸引力。但圖的構(gòu)造方式、鄰接矩陣的時(shí)效性都很難調(diào)數(shù)據(jù)量也不夠支撐入門(mén)階段不建議動(dòng)它等LSTM流水線跑通再研究不遲。我給的選型結(jié)論是三步走BP做基線LSTM作為主力模型先把預(yù)測(cè)做穩(wěn)之后用1D CNNLSTM的復(fù)合結(jié)構(gòu)去提特征換取邊際收益。架構(gòu)對(duì)比見(jiàn)表。模型時(shí)間順序訓(xùn)練成本過(guò)擬合風(fēng)險(xiǎn)在股指預(yù)測(cè)中的角色前饋/BP神經(jīng)網(wǎng)絡(luò)不支持低中基線對(duì)照RNN/LSTM支持中高主力方案一維卷積神經(jīng)網(wǎng)絡(luò)局部支持低中特征提取器CNNLSTM支持中高高進(jìn)階方案圖神經(jīng)網(wǎng)絡(luò)GNN支持高高選股擴(kuò)展2.3 輸入設(shè)計(jì)只喂收盤(pán)價(jià)等于讓模型閉眼猜我見(jiàn)過(guò)很多人復(fù)現(xiàn)代碼訓(xùn)練數(shù)據(jù)就是一個(gè)收盤(pán)價(jià)序列網(wǎng)絡(luò)怎么調(diào)都上不去。原因很簡(jiǎn)單單序列信息量太低成交量、換手率、振幅、量比、均線偏離這些特征直接關(guān)系到參與者情緒和資金行為不加等于少了一整維信息。我常用的特征集按四維組織。第一維度是價(jià)格開(kāi)高低收以及它們衍生出的漲跌幅和振幅。第二維度是量能成交量、成交額、換手率、量比當(dāng)日成交量與過(guò)去5日均量的比值。第三維度是資金指數(shù)層面可以看北向資金凈流入個(gè)股層面如果拿不到就用成交額替代。第四維度是技術(shù)形態(tài)5日和20日均線偏離度、RSI、布林帶位置。特征不是越多越好這是血淚教訓(xùn)。原始序列堆到三四十維網(wǎng)絡(luò)很快開(kāi)始背特征驗(yàn)證集幻覺(jué)式上漲。經(jīng)驗(yàn)上限是20維左右超過(guò)的部分該篩就篩。另外所有特征在進(jìn)網(wǎng)絡(luò)前要做標(biāo)準(zhǔn)化量綱不統(tǒng)一會(huì)讓LSTM的門(mén)控機(jī)制失效——比如成交額以億為單位、RSI在0到100之間直接把原始值拼進(jìn)特征向量梯度會(huì)被大數(shù)值特征帶走小數(shù)值特征等于白放。3. 從行情數(shù)據(jù)到訓(xùn)練樣本特征構(gòu)造與數(shù)據(jù)集切分3.1 數(shù)據(jù)獲取與清洗停牌、復(fù)權(quán)和跳空三件事以滬深300指數(shù)日線為例常見(jiàn)做法是用akshare這類免費(fèi)數(shù)據(jù)接口直接拿數(shù)據(jù)代碼很短import akshare as ak import pandas as pd # 拉取滬深300指數(shù)日線接口返回的列名在不同版本略有差異 raw ak.index_zh_a_hist(symbol000300, perioddaily, start_date20100101, end_date20241231) raw.columns [date, code, open, close, high, low, volume, amount, amplitude, pct_change, change, turnover] # 只保留建模要用的列并按時(shí)間升序排列 df raw[[date, open, close, high, low, volume, amount, turnover]].copy() df[date] pd.to_datetime(df[date]) df df.sort_values(date).reset_index(dropTrue) # 有缺失的交易日直接剔除不做填充 df df.dropna().reset_index(dropTrue) print(df.tail())這段代碼的邏輯是先拿全歷史日線再統(tǒng)一列名然后按時(shí)間排序最后剔除缺失值。需要說(shuō)明的是指數(shù)日線本身不存在復(fù)權(quán)問(wèn)題但如果把模型平移到個(gè)股上一定要用前復(fù)權(quán)價(jià)格否則除權(quán)日會(huì)出現(xiàn)一個(gè)與真實(shí)交易無(wú)關(guān)的假跳空模型會(huì)當(dāng)成重要信號(hào)學(xué)進(jìn)去。停牌日同樣要處理常見(jiàn)做法是刪除該日記錄而不是用前后填充值硬補(bǔ)因?yàn)檠a(bǔ)出來(lái)的價(jià)格不真實(shí)。參數(shù)上start_date選2010年而不是更早一是A股早期流動(dòng)性結(jié)構(gòu)和現(xiàn)在差異大二是數(shù)據(jù)區(qū)間越長(zhǎng)行情風(fēng)格漂移越明顯。對(duì)日線級(jí)預(yù)測(cè)10到15年數(shù)據(jù)已經(jīng)能覆蓋兩三輪牛熊再多反而讓模型去擬合早已失效的舊規(guī)則。3.2 特征構(gòu)造與標(biāo)簽生成未來(lái)5日方向怎么寫(xiě)才不泄漏特征構(gòu)造我習(xí)慣用向量化操作一次性算完寫(xiě)在一個(gè)函數(shù)里清洗和調(diào)試都方便def build_features(df): # 基礎(chǔ)漲跌幅和振幅 df[ret_1d] df[close].pct_change() df[amp] (df[high] - df[low]) / df[close] # 均線偏離度收盤(pán)價(jià)相對(duì)均線的位置 for win in [5, 10, 20]: ma df[close].rolling(win).mean() df[fma_dev_{win}] df[close] / ma - 1 # 量比當(dāng)日成交量除以5日均量反映放量縮量 df[vol_ratio] df[volume] / df[volume].rolling(5).mean() # RSI(14)常用動(dòng)量指標(biāo) diff df[close].diff() gain diff.clip(lower0).rolling(14).mean() loss (-diff.clip(upper0)).rolling(14).mean() rs gain / (loss 1e-9) df[rsi_14] 100 - 100 / (1 rs) # 標(biāo)簽未來(lái)5日收益率是否超過(guò)0.5%作為上漲正樣本 df[future_ret] df[close].shift(-5) / df[close] - 1 df[label] (df[future_ret] 0.005).astype(int) # 刪除因滾動(dòng)窗口和shift產(chǎn)生的前后缺失行 df df.dropna().reset_index(dropTrue) return df這里有一個(gè)關(guān)鍵細(xì)節(jié)標(biāo)簽的future_ret用的是close.shift(-5)意味著第t行樣本的標(biāo)簽只有到t5日收盤(pán)后才能確定。真實(shí)部署時(shí)要格外注意當(dāng)天收盤(pán)后只能做出當(dāng)天的特征和預(yù)測(cè)不能用未來(lái)數(shù)據(jù)驗(yàn)證這是很多回測(cè)失效的根源。量比、均線偏離、RSI都是無(wú)量綱或有界量進(jìn)入LSTM前不需要再做標(biāo)準(zhǔn)化成交量、成交額這類絕對(duì)量則要取對(duì)數(shù)或交給StandardScaler。不要把原始成交量直接喂進(jìn)去幾百億和幾百萬(wàn)的數(shù)值差距會(huì)把梯度推向一個(gè)方向小特征直接失效。3.3 按時(shí)間切分與標(biāo)準(zhǔn)化訓(xùn)練集、驗(yàn)證集、測(cè)試集順序不能亂切分股票數(shù)據(jù)不能像圖像分類那樣隨機(jī)打亂必須按時(shí)間順序硬切import numpy as np def split_sequences(df, feature_cols, seq_len20): data df[feature_cols].values labels df[label].values X, y [], [] for i in range(len(data) - seq_len): win_x data[i:i seq_len] win_y labels[i seq_len - 1] # 窗口內(nèi)最后一天的標(biāo)簽 X.append(win_x) y.append(win_y) X np.array(X, dtypenp.float32) y np.array(y, dtypenp.int64) # 按時(shí)間順序前70%訓(xùn)練中間15%驗(yàn)證最后15%測(cè)試 n len(X) idx_train int(n * 0.70) idx_val int(n * 0.85) X_train, y_train X[:idx_train], y[:idx_train] X_val, y_val X[idx_train:idx_val], y[idx_train:idx_val] X_test, y_test X[idx_val:], y[idx_val:] return (X_train, y_train), (X_val, y_val), (X_test, y_test)這里seq_len20代表用最近20個(gè)交易日的特征序列預(yù)測(cè)未來(lái)5日方向。特征窗口和標(biāo)簽窗口前后相接不存在重疊所以每個(gè)滑窗樣本的信息只來(lái)自窗口內(nèi)的過(guò)去20天。標(biāo)準(zhǔn)化必須在切分之后進(jìn)行且只能fit訓(xùn)練集再拿同一組參數(shù)transform驗(yàn)證集和測(cè)試集from sklearn.preprocessing import StandardScaler scaler StandardScaler() n_features X_train.shape[2] X_train_flat X_train.reshape(-1, n_features) scaler.fit(X_train_flat) # 只學(xué)訓(xùn)練集的均值和方差 X_train scaler.transform(X_train_flat).reshape(X_train.shape) X_val scaler.transform(X_val.reshape(-1, n_features)).reshape(X_val.shape) X_test scaler.transform(X_test.reshape(-1, n_features)).reshape(X_test.shape)如果把scaler.fit放在切分前或?qū)φ麄€(gè)數(shù)據(jù)集做驗(yàn)證集和測(cè)試集的信息就會(huì)泄漏進(jìn)訓(xùn)練過(guò)程這是時(shí)序預(yù)測(cè)里最隱蔽的坑也是很多模型實(shí)驗(yàn)集指標(biāo)高得離譜、實(shí)盤(pán)一塌糊涂的原因。注意標(biāo)準(zhǔn)化一定要在切分之后做。先切分、再fit、再transform這個(gè)順序錯(cuò)了后面的所有評(píng)估都失去意義。4. LSTM模型訓(xùn)練與調(diào)參先讓預(yù)測(cè)穩(wěn)定再談收益4.1 搭建一個(gè)可復(fù)現(xiàn)的兩層LSTM預(yù)測(cè)器模型結(jié)構(gòu)我固定成“LSTM層全連接層”代碼短、調(diào)試容易也方便后續(xù)把數(shù)據(jù)規(guī)模擴(kuò)大后換更復(fù)雜的結(jié)構(gòu)import torch import torch.nn as nn class LSTMPredictor(nn.Module): def __init__(self, input_size, hidden_size, num_layers, dropout0.3): super().__init__() self.lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, dropoutdropout if num_layers 1 else 0.0, ) # 二分類輸出1個(gè)logit配合BCEWithLogitsLoss使用 self.fc nn.Linear(hidden_size, 1) def forward(self, x): # x shape: (batch, seq_len, input_size) out, (h_n, c_n) self.lstm(x) # 取最后一個(gè)時(shí)間步的隱狀態(tài)作為序列表示 last out[:, -1, :] logits self.fc(last).squeeze(-1) return logits參數(shù)含義逐一說(shuō)清楚input_size是特征維度也就是第3章feature_cols的長(zhǎng)度hidden_size是LSTM隱狀態(tài)維度64是起步值再小表達(dá)能力不足再大容易過(guò)擬合num_layers2分成兩個(gè)堆疊層讓網(wǎng)絡(luò)先學(xué)短周期再學(xué)長(zhǎng)周期batch_firstTrue表示輸入張量維度順序是(批次, 序列長(zhǎng)度, 特征數(shù))PyTorch默認(rèn)是(序列長(zhǎng)度, 批次, 特征數(shù))寫(xiě)錯(cuò)就會(huì)出現(xiàn)維度報(bào)錯(cuò)。forward里out[:, -1, :]取的是序列最后一個(gè)時(shí)間步的輸出。有人會(huì)把所有時(shí)間步的輸出做mean pooling也可以但最后一個(gè)時(shí)間步的信息最接近預(yù)測(cè)點(diǎn)實(shí)操里效果通常更好。全連接層把隱狀態(tài)壓到1個(gè)logit對(duì)應(yīng)二分類如果要換成三分類漲/平/跌把fc輸出維度改成3并把損失函數(shù)換成CrossEntropyLoss即可。4.2 訓(xùn)練配置學(xué)習(xí)率、早停與學(xué)習(xí)率衰減訓(xùn)練循環(huán)用PyTorch標(biāo)配寫(xiě)法加上梯度裁剪、早停和學(xué)習(xí)率衰減三個(gè)機(jī)制def train_model(model, train_loader, val_loader, epochs60, lr1e-3, patience10): optimizer torch.optim.Adam(model.parameters(), lrlr, weight_decay1e-5) scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, factor0.5, patience5) criterion nn.BCEWithLogitsLoss() best_val_loss float(inf) best_state None wait 0 for epoch in range(epochs): # 訓(xùn)練階段 model.train() total_loss 0.0 for xb, yb in train_loader: optimizer.zero_grad() logits model(xb) loss criterion(logits, yb.float()) loss.backward() nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() total_loss loss.item() * xb.size(0) # 驗(yàn)證階段 model.eval() val_loss 0.0 with torch.no_grad(): for xb, yb in val_loader: logits model(xb) loss criterion(logits, yb.float()) val_loss loss.item() * xb.size(0) scheduler.step(val_loss) # 早停驗(yàn)證損失連續(xù)patience輪不下降就恢復(fù)最佳權(quán)重 if val_loss best_val_loss: best_val_loss val_loss best_state {k: v.clone() for k, v in model.state_dict().items()} wait 0 else: wait 1 if wait patience: model.load_state_dict(best_state) print(f早停于 epoch {epoch}) break else: model.load_state_dict(best_state) return model三個(gè)關(guān)鍵點(diǎn)。第一梯度裁剪clip_grad_norm_是LSTM訓(xùn)練必須的序列建模的梯度范數(shù)容易爆炸不裁剪loss會(huì)突然變成nanmax_norm1.0是保守值想放開(kāi)可以試2.0。第二weight_decay1e-5做小的L2正則對(duì)抗過(guò)擬合。第三ReduceLROnPlateau在驗(yàn)證損失平穩(wěn)時(shí)把學(xué)習(xí)率減半比固定學(xué)習(xí)率更容易收斂到好的局部極小值。EarlyStopping的patience10輪和scheduler的patience5輪要區(qū)分開(kāi)scheduler先一步開(kāi)始降學(xué)習(xí)率給模型機(jī)會(huì)跳出平臺(tái)期如果降了學(xué)習(xí)率還改善不了再觸發(fā)早停這比直接早停更穩(wěn)。epochs60只是上限實(shí)戰(zhàn)里數(shù)據(jù)量小時(shí)往往20到40輪就早停了。4.3 評(píng)估預(yù)測(cè)方向準(zhǔn)確率、F1和樸素基線對(duì)比訓(xùn)練完不要只看loss要看預(yù)測(cè)方向的命中情況。我固定用下面這組指標(biāo)卡模型from sklearn.metrics import accuracy_score, f1_score, confusion_matrix def evaluate(model, X, y): model.eval() with torch.no_grad(): logits model(torch.tensor(X)) prob torch.sigmoid(logits) pred (prob 0.5).int().numpy() acc accuracy_score(y, pred) f1 f1_score(y, pred) cm confusion_matrix(y, pred) return {accuracy: acc, f1: f1, confusion: cm}除了accuracy我還額外看兩個(gè)東西。一是F1分?jǐn)?shù)因?yàn)闈q跌樣本經(jīng)常不平衡單邊行情里會(huì)嚴(yán)重傾斜準(zhǔn)確率會(huì)被多數(shù)類放大。二是看漲類別的召回率——選股任務(wù)里更關(guān)心“該漲的股票有沒(méi)有被選出來(lái)”召回率低說(shuō)明模型把大量真上漲漏掉了排序選股的意義就大打折扣。最重要的對(duì)照實(shí)驗(yàn)是樸素基線直接用“今日收盤(pán)漲則預(yù)測(cè)明天也漲”做規(guī)則準(zhǔn)確率大約51%到53%。神經(jīng)網(wǎng)絡(luò)如果連這個(gè)都超不過(guò)別談后面的選股先去查特征和泄漏。當(dāng)模型在測(cè)試集上準(zhǔn)確率穩(wěn)定大于55%時(shí)方向統(tǒng)計(jì)意義上可用想沖到60%以上日線級(jí)別的指數(shù)預(yù)測(cè)很難復(fù)現(xiàn)不如轉(zhuǎn)向選股場(chǎng)景——樣本量從1個(gè)指數(shù)變成幾千只股票模型能學(xué)到的東西才夠多。5. 時(shí)序預(yù)測(cè)的五個(gè)經(jīng)典坑數(shù)據(jù)泄漏、過(guò)擬合與失效特征5.1 標(biāo)準(zhǔn)化和標(biāo)簽里的未來(lái)函數(shù)兩個(gè)最隱蔽的數(shù)據(jù)泄漏現(xiàn)象訓(xùn)練完的模型在驗(yàn)證集上準(zhǔn)確率高達(dá)80%曲線完美得像資產(chǎn)翻倍可實(shí)盤(pán)交易幾天就連續(xù)虧損。這是我在這個(gè)方向踩過(guò)的最大一個(gè)坑排查到最后發(fā)現(xiàn)泄漏根本不在模型里而在數(shù)據(jù)處理。原因一有的人在切分?jǐn)?shù)據(jù)前對(duì)整份DataFrame做StandardScaler把驗(yàn)證集、測(cè)試集的均值和方差也學(xué)進(jìn)了轉(zhuǎn)換參數(shù)。模型等于開(kāi)卷考試測(cè)試數(shù)據(jù)的信息已經(jīng)被編碼進(jìn)特征分布里驗(yàn)證集當(dāng)然好看。原因二標(biāo)簽構(gòu)造時(shí)誤用未來(lái)信息比如用當(dāng)天的最高最低價(jià)來(lái)決定當(dāng)天是否持倉(cāng)或者用未來(lái)復(fù)權(quán)數(shù)據(jù)反推現(xiàn)在的價(jià)格都屬于未來(lái)函數(shù)。解決嚴(yán)格遵循“先按時(shí)間切分再只fit訓(xùn)練集”兩步法標(biāo)簽必須由t1日及之后的純未來(lái)數(shù)據(jù)計(jì)算且特征窗口和標(biāo)簽窗口之間不能有重疊。我現(xiàn)在的代碼里專門(mén)寫(xiě)了一條斷言測(cè)試集樣本的時(shí)間戳必須全部晚于訓(xùn)練集跑數(shù)前先校驗(yàn)寧可報(bào)錯(cuò)也不要帶病訓(xùn)練。5.2 過(guò)擬合與隨機(jī)種子為什么兩次訓(xùn)練結(jié)果差很多現(xiàn)象訓(xùn)練集loss一路降到0.1以下驗(yàn)證集loss在某個(gè)epoch后突然反彈或者模型輸出基本只有“漲”一類。另一個(gè)現(xiàn)象是同一份數(shù)據(jù)、同一個(gè)腳本兩次訓(xùn)練的準(zhǔn)確率能差3到5個(gè)百分點(diǎn)這讓回測(cè)和調(diào)參都不可信神經(jīng)網(wǎng)絡(luò)在這里表現(xiàn)得像個(gè)黑匣子。原因hidden_size設(shè)到256甚至512LSTM層數(shù)加到3層以上再加上全連接層后參數(shù)量輕松過(guò)千萬(wàn)而日線樣本量只有兩三千條模型直接背題。隨機(jī)種子不固定是另一個(gè)隱形原因PyTorch的DataLoader默認(rèn)shuffleTrue加上沒(méi)有固定torch.manual_seed每個(gè)epoch的樣本順序都在變訓(xùn)練結(jié)果自然漂移。解決從LSTM兩層、hidden_size64起步dropout0.3加早停和梯度裁剪在腳本開(kāi)頭固定torch.manual_seed(42)、np.random.seed(42)DataLoader里設(shè)置generator。如果調(diào)大參數(shù)量要同步增加正則強(qiáng)度并把訓(xùn)練集樣本擴(kuò)到1萬(wàn)條以上否則就是拿參數(shù)量換幻覺(jué)。5.3 類別不平衡與回測(cè)滑點(diǎn)選股信號(hào)失效的兩個(gè)放大器現(xiàn)象把模型從指數(shù)平移到全市場(chǎng)個(gè)股后Top20組合的回測(cè)年化收益很高但實(shí)盤(pán)跟單跑不贏有的月份還跑輸指數(shù)。原因一全市場(chǎng)個(gè)股的漲跌分布并非均衡。指數(shù)成分股在震蕩市大約五成交易日上漲但個(gè)股端牛市里上漲占比可到60%以上。模型用默認(rèn)閾值0.5做分類時(shí)會(huì)把大量邊緣上漲判成下跌選股排名的區(qū)分度被壓縮。原因二回測(cè)只按收盤(pán)價(jià)成交沒(méi)扣手續(xù)費(fèi)和滑點(diǎn)。A股雙邊費(fèi)率加滑點(diǎn)一般在萬(wàn)三到萬(wàn)五5日換倉(cāng)一次一年約50次換手成本累計(jì)吃掉3到5個(gè)點(diǎn)預(yù)測(cè)本身只有55%左右的準(zhǔn)確率這點(diǎn)優(yōu)勢(shì)很容易被交易成本抹平。解決對(duì)類別做加權(quán)或降低判斷閾值回測(cè)里每筆成交強(qiáng)制扣除雙邊費(fèi)用至少扣萬(wàn)五再算凈收益選股周期不要短于5個(gè)交易日換手越頻繁成本越敏感。我現(xiàn)在的做法是預(yù)測(cè)概率只用于排序排名穩(wěn)定后再結(jié)合基本面做人工過(guò)濾不盲目相信分?jǐn)?shù)本身。5.4 特征失效與行情漂移模型不是訓(xùn)一次用一年現(xiàn)象模型在測(cè)試集上準(zhǔn)確率56%照此跑了一個(gè)月第二個(gè)月開(kāi)始連續(xù)低于50%Top20組合跑不贏指數(shù)。很多人第一反應(yīng)是“模型壞了”其實(shí)只是市場(chǎng)風(fēng)格變了。原因日線特征均線、RSI、量比在趨勢(shì)市有效進(jìn)入震蕩市后特征分布整體偏移模型學(xué)到的是舊風(fēng)格下的規(guī)律。行情風(fēng)格漂移不是異常而是常態(tài)用固定模型去對(duì)抗漂移等于拿去年的地圖找今年的路。解決滾動(dòng)重訓(xùn)每月底用最近12個(gè)月數(shù)據(jù)重新訓(xùn)練一次同時(shí)對(duì)特征分布做監(jiān)控比如計(jì)算特征均值、方差的變化幅度一旦超過(guò)閾值就觸發(fā)重訓(xùn)。這是我做這個(gè)方向最持續(xù)的維護(hù)成本也是想長(zhǎng)期投入必須接受的現(xiàn)實(shí)模型是一個(gè)需要定期保養(yǎng)的工具不是一勞永逸的印鈔機(jī)。6. 從預(yù)測(cè)分?jǐn)?shù)到選股組合用RankIC評(píng)估選股能力6.1 用預(yù)測(cè)概率排序構(gòu)建等權(quán)組合訓(xùn)練好模型后等收盤(pán)拿到當(dāng)日全市場(chǎng)股票特征逐只推理出上漲概率按概率從高到低排序取前20只等權(quán)持有5個(gè)交易日scores [] for stock_df in all_stocks: # 每只股票的特征序列 prob predict(model, stock_df) # 取sigmoid后的概率 scores.append(prob) # 按概率降序取前20只等權(quán)分配資金 picks sorted(range(len(scores)), keylambda i: -scores[i])[:20] weight 1 / 20等權(quán)是為了不把賭注押在單只股票上。排序而不是設(shè)閾值選股是因?yàn)槟Ｐ托?zhǔn)不一定完美——概率絕對(duì)值可能有偏但相對(duì)排名在同類股票之間更穩(wěn)定。6.2 RankIC與分組回測(cè)看排序能力不看準(zhǔn)確率選股模型的評(píng)價(jià)指標(biāo)和預(yù)測(cè)模型不一樣準(zhǔn)確率只說(shuō)明“漲跌命中”選股還看重“概率高的是不是真的漲更多”。我固定用下一期收益和預(yù)測(cè)概率的Spearman相關(guān)系數(shù)也就是RankIC來(lái)判斷RankIC區(qū)間判斷大于0.05較好的選股能力值得繼續(xù)投入0.03到0.05有一定區(qū)分度可小倉(cāng)位驗(yàn)證0到0.03統(tǒng)計(jì)不顯著先回去查特征泄漏小于0模型在反向選擇立即停用我自己的習(xí)慣是每天盤(pán)中跑完選股后把Top20組合收益和全市場(chǎng)平均收益對(duì)比連續(xù)跟蹤4到8周看超額收益是否穩(wěn)定為正。這個(gè)頻率能過(guò)濾掉單個(gè)月的行情運(yùn)氣也比訓(xùn)練一次看一個(gè)測(cè)試集更接近實(shí)盤(pán)真相。這個(gè)方向值得做但它不是一夜暴富的捷徑靠的是把數(shù)據(jù)、特征、回測(cè)紀(jì)律一件件磨到位。我自己也栽過(guò)“驗(yàn)證集75%、實(shí)盤(pán)虧損”的跟頭后來(lái)才明白時(shí)序預(yù)測(cè)里最大的敵人不是模型容量而是無(wú)處不在的未來(lái)信息。希望你在這個(gè)方向上少走幾步彎路。本文還有配套的精品資源點(diǎn)擊獲取