簡(jiǎn)介一份面向時(shí)間序列預(yù)測(cè)開發(fā)者的完整實(shí)現(xiàn)基于時(shí)間卷積網(wǎng)絡(luò)TCN對(duì)外匯中間價(jià)進(jìn)行多輸入信號(hào)預(yù)測(cè)展示該模型在時(shí)序任務(wù)中相對(duì)于循環(huán)神經(jīng)網(wǎng)絡(luò)的精度優(yōu)勢(shì)。壓縮包內(nèi)共5個(gè)文件包含兩個(gè)Jupyter Notebook分別完成數(shù)據(jù)預(yù)處理與模型訓(xùn)練演示、一個(gè)模型腳本、兩個(gè)說明文檔整體僅1.04MB結(jié)構(gòu)緊湊便于快速上手。目前已有2393人參與學(xué)習(xí)。內(nèi)容涵蓋數(shù)據(jù)清洗、TCN網(wǎng)絡(luò)構(gòu)建、訓(xùn)練過程與早停策略并對(duì)比了不同階段的預(yù)測(cè)效果能幫助讀者掌握多變量時(shí)間序列預(yù)測(cè)的完整流程。該方案可遷移至其他存在因果關(guān)系的時(shí)序場(chǎng)景但需要注意區(qū)分因果關(guān)系與相關(guān)性并準(zhǔn)備足夠樣本以降低過擬合風(fēng)險(xiǎn)同時(shí)資源提供的實(shí)驗(yàn)顯示模型對(duì)后期走勢(shì)預(yù)測(cè)更好對(duì)理解時(shí)序建模的局限性與適用條件很有價(jià)值readme文檔也說明了運(yùn)行環(huán)境與操作步驟便于復(fù)現(xiàn)和二次開發(fā)。1. 時(shí)間序列預(yù)測(cè)為什么要盯上TCN從LSTM的痛點(diǎn)說起TCNTemporal Convolutional Network時(shí)間卷積神經(jīng)網(wǎng)絡(luò)是近些年時(shí)間序列預(yù)測(cè)領(lǐng)域里最能打的方向之一。做量化交易策略代碼、銷量預(yù)測(cè)、設(shè)備故障預(yù)警的同行應(yīng)該都見過這個(gè)標(biāo)題下的模型它用卷積替代循環(huán)結(jié)構(gòu)專門處理按時(shí)間排序的數(shù)據(jù)。我最早是從LSTM轉(zhuǎn)到TCN的原因很直接——LSTM訓(xùn)練慢、梯度不穩(wěn)定、調(diào)參像玄學(xué)而TCN用堆疊的因果卷積和膨脹卷積把“序列記憶”變成可控的感受野訓(xùn)練速度更快、長(zhǎng)序列表現(xiàn)也更穩(wěn)。這篇文章寫給剛配好Python環(huán)境、想入門時(shí)間序列預(yù)測(cè)但還沒選好模型的讀者也寫給已經(jīng)跑過LSTM想換結(jié)構(gòu)的熟手。下面直接給出可運(yùn)行的PyTorch實(shí)現(xiàn)把參數(shù)怎么調(diào)、坑在哪一次講透。2. TCN模型結(jié)構(gòu)拆解因果卷積、膨脹卷積與殘差塊如何撐起時(shí)間記憶2.1 因果卷積為什么TCN的卷積不會(huì)“偷看”未來(lái)普通卷積在卷積核覆蓋一個(gè)窗口時(shí)窗口中心兩側(cè)的信息都會(huì)被加權(quán)。如果拿這種卷積處理時(shí)間序列t時(shí)刻的輸出會(huì)用到t1甚至t2時(shí)刻的值這在預(yù)測(cè)場(chǎng)景里等于作弊因?yàn)檎鎸?shí)預(yù)測(cè)時(shí)未來(lái)根本還沒發(fā)生。TCN的解決辦法是因果卷積對(duì)于長(zhǎng)度為L(zhǎng)的輸入輸出位置t的值時(shí)卷積核只能訪問t、t-1、t-2這些歷史位置不能碰到未來(lái)。實(shí)現(xiàn)上常見做法是在每個(gè)TCNBlock的forward里對(duì)輸入做左側(cè)填充再調(diào)用Conv1d。注意這里不能用Conv1d自帶的padding參數(shù)直接完成因?yàn)镃onv1d的padding是左右等量填充會(huì)把未來(lái)時(shí)刻的信息也塞進(jìn)卷積窗口。TCN論文和主流開源實(shí)現(xiàn)用的都是自定義左側(cè)pad這也是初學(xué)者最容易忽略的細(xì)節(jié)。import torch import torch.nn as nn import torch.nn.functional as F class TCNBlock(nn.Module): def __init__(self, in_channels, out_channels, kernel_size, dilation): super().__init__() self.kernel_size kernel_size self.dilation dilation self.padding (kernel_size - 1) * dilation self.conv1 nn.Conv1d(in_channels, out_channels, kernel_size, dilationdilation, biasFalse) self.bn1 nn.BatchNorm1d(out_channels) self.conv2 nn.Conv1d(out_channels, out_channels, kernel_size, dilationdilation, biasFalse) self.bn2 nn.BatchNorm1d(out_channels) self.relu nn.ReLU() # 輸入輸出通道不一致時(shí)用1x1卷積把殘差投影到相同通道數(shù) self.residual (nn.Conv1d(in_channels, out_channels, 1, biasFalse) if in_channels ! out_channels else nn.Identity()) def forward(self, x): residual self.residual(x) # F.pad 的第二個(gè)參數(shù) (left, right)這里只填左邊、右邊不填 out F.pad(x, (self.padding, 0)) out self.relu(self.bn1(self.conv1(out))) out F.pad(out, (self.padding, 0)) out self.bn2(self.conv2(out)) return self.relu(out residual)這個(gè)塊是TCN結(jié)構(gòu)的基本單元。第一個(gè)F.pad的(self.padding, 0)表示左側(cè)增加padding個(gè)時(shí)間步、右側(cè)增加0個(gè)。Conv1d經(jīng)過kernel_size窗口滑動(dòng)后輸出長(zhǎng)度恰好等于輸入長(zhǎng)度且每個(gè)輸出位置只依賴當(dāng)前及之前的數(shù)據(jù)。padding的計(jì)算公式是(kernel_size - 1) * dilation理解這條公式對(duì)后續(xù)算感受野很關(guān)鍵。第二個(gè)關(guān)鍵點(diǎn)是殘差連接。兩層卷積堆疊后梯度路徑很長(zhǎng)殘差把輸入直接加到輸出上讓梯度有一條“高速通道”可以回流。當(dāng)in_channels不等于out_channels時(shí)不能直接相加必須用1x1卷積投影到相同維度。大多數(shù)TCN開源實(shí)現(xiàn)都沿用了這個(gè)寫法改動(dòng)空間不大真正影響效果的是每一層的膨脹系數(shù)和通道數(shù)。2.2 膨脹卷積與感受野TCN的“時(shí)間記憶”能覆蓋多遠(yuǎn)因果卷積只能保證不泄露未來(lái)但一層卷積的感受野只有kernel_size那么長(zhǎng)處理稍長(zhǎng)的序列根本不夠。膨脹卷積Dilated Convolution在這個(gè)問題上是核心手段它不改變卷積核參數(shù)量而是讓卷積核在輸入上每隔dilation個(gè)點(diǎn)采樣一次。dilation1就是普通卷積dilation2時(shí)卷積核會(huì)跨過1個(gè)點(diǎn)再采樣感受野立刻擴(kuò)大。TCN模型結(jié)構(gòu)會(huì)把多個(gè)TCNBlock串聯(lián)起來(lái)dilation按2的指數(shù)增長(zhǎng)即第i層的dilation為2^i。這樣深層網(wǎng)絡(luò)的感受野呈指數(shù)級(jí)擴(kuò)大。感受野的計(jì)算公式如下receptive_field 1 sum((kernel_size - 1) * dilation_i for each layer i)假設(shè)kernel_size3共4層dilation分別為1、2、4、8則感受野為1 2*(1248) 31。這意味著輸出位置的每個(gè)值最多可以“看到”31個(gè)歷史時(shí)間步。輸入序列長(zhǎng)度只有小于這個(gè)數(shù)模型的有效記憶就會(huì)打折扣這也是后面5.3節(jié)滯后預(yù)測(cè)的主要誘因。class TemporalConvNet(nn.Module): def __init__(self, num_inputs1, num_channels(32, 64, 64), kernel_size3, dropout0.2): super().__init__() self.blocks nn.ModuleList() # 每一層的dilation按2的冪次遞增 for i, out_channels in enumerate(num_channels): in_channels num_inputs if i 0 else num_channels[i-1] dilation 2 ** i self.blocks.append( TCNBlock(in_channels, out_channels, kernel_size, dilation) ) self.dropout nn.Dropout(dropout) def forward(self, x): # x: (batch_size, input_channels, seq_len) for block in self.blocks: x block(x) return self.dropout(x)這段代碼把TCNBlock串成完整網(wǎng)絡(luò)。num_channels是一個(gè)元組每個(gè)元素代表一層的輸出通道數(shù)元組長(zhǎng)度就是層數(shù)。dilation從1開始每層翻倍所以4層網(wǎng)絡(luò)對(duì)應(yīng)dilation1,2,4,8。我一般建議先用3層起步確認(rèn)效果后再加深到5層以上注意每一層頂部的感受野要大于輸入序列長(zhǎng)度的一半。2.3 TCN與LSTM的取舍什么時(shí)候換掉你的LSTM在量化交易、負(fù)荷預(yù)測(cè)這類實(shí)際任務(wù)里TCN和LSTM的對(duì)比一直是選型核心。我自己的使用體感是LSTM擅長(zhǎng)捕捉極長(zhǎng)距離的依賴但訓(xùn)練串行、難以并行門控機(jī)制在長(zhǎng)序列上容易梯度衰減TCN的優(yōu)勢(shì)在于訓(xùn)練時(shí)可并行、感受野可控、推理速度更快在多數(shù)中等長(zhǎng)度序列上精度不低于LSTM。對(duì)比項(xiàng)LSTMTCN訓(xùn)練并行度低按時(shí)間步串行高卷積天然并行長(zhǎng)距離依賴?yán)碚撋蠠o(wú)上限受感受野限制需手動(dòng)設(shè)計(jì)參數(shù)數(shù)量中等但隱狀態(tài)計(jì)算開銷大取決于通道數(shù)和層數(shù)調(diào)參難度隱層維度、層數(shù)、dropout層數(shù)、通道數(shù)、kernel_size、dilation適合場(chǎng)景超長(zhǎng)序列、在線增量學(xué)習(xí)GPU批量訓(xùn)練、中長(zhǎng)度序列預(yù)測(cè)這里必須說一句公道話TCN不是萬(wàn)能替代者。如果序列長(zhǎng)度超過幾千步且依賴跨很遠(yuǎn)的歷史信息TCN要堆很多層才能覆蓋此時(shí)LSTM或Transformer可能更省參數(shù)。反過來(lái)絕大多數(shù)用72小時(shí)歷史預(yù)測(cè)未來(lái)24小時(shí)、用30天均線預(yù)測(cè)次日走勢(shì)這類場(chǎng)景TCN的感受野設(shè)計(jì)起來(lái)非常直觀這也是它能在工業(yè)界快速普及的原因。3. 用Python從零搭建TCN數(shù)據(jù)處理、模型定義與完整訓(xùn)練代碼3.1 數(shù)據(jù)準(zhǔn)備滑動(dòng)窗口與歸一化動(dòng)手前先把環(huán)境確認(rèn)一下Python 3.8以上numpy、pandas、sklearn、torch都裝好。如果還沒裝numpy和sklearn直接pip install numpy scikit-learn torch即可不需要額外編譯。為了先驗(yàn)證流程我習(xí)慣用帶噪聲的正弦波作為合成數(shù)據(jù)它和真實(shí)時(shí)序一樣有趨勢(shì)、有起伏跑通后再把CSV路徑換成自己的數(shù)據(jù)。import numpy as np import pandas as pd from sklearn.preprocessing import MinMaxScaler # 合成數(shù)據(jù)正弦波 噪聲模擬具有周期性的時(shí)間序列 np.random.seed(42) t np.arange(0, 1000, 0.5) data np.sin(t / 10) np.random.normal(0, 0.1, len(t)) df pd.DataFrame({value: data}) df.to_csv(synth_data.csv, indexFalse) def create_sequences(data, input_steps48, pred_steps1): X, y [], [] for i in range(len(data) - input_steps - pred_steps 1): X.append(data[i:i input_steps]) y.append(data[i input_steps:i input_steps pred_steps]) return np.array(X), np.array(y) # 先f(wàn)it訓(xùn)練集的scaler再transform整個(gè)數(shù)據(jù)集避免信息泄露 scaler MinMaxScaler(feature_range(0, 1)) scaled scaler.fit_transform(df[[value]].values) X, y create_sequences(scaled) print(X.shape, y.shape) # 輸出(1903, 48, 1) (1903, 1)這里數(shù)據(jù)集的shape很關(guān)鍵X是(batch_size, time_steps, features)y是(batch_size, pred_steps)。把這段代碼里的CSV路徑換成你自己的數(shù)據(jù)即可平滑過渡到真實(shí)場(chǎng)景。注意create_sequences在數(shù)據(jù)量少時(shí)要小心內(nèi)存占用幾十萬(wàn)行的數(shù)據(jù)建議用TensorDataset或自定義DataSet分批生成不要一次性全塞進(jìn)數(shù)組。數(shù)據(jù)切分要遵守時(shí)間順序不能用train_test_split默認(rèn)的shuffleTrue。常見做法是前80%做訓(xùn)練、后20%做驗(yàn)證因?yàn)闀r(shí)間序列里未來(lái)不可用于訓(xùn)練。train_ratio 0.8 train_size int(len(X) * train_ratio) X_train, X_val X[:train_size], X[train_size:] y_train, y_val y[:train_size], y[train_size:] # 轉(zhuǎn)成Tensor并構(gòu)造成DataLoader import torch from torch.utils.data import TensorDataset, DataLoader X_train_t torch.FloatTensor(X_train).permute(0, 2, 1) # (batch, features, seq_len) y_train_t torch.FloatTensor(y_train) X_val_t torch.FloatTensor(X_val).permute(0, 2, 1) y_val_t torch.FloatTensor(y_val) train_dataset TensorDataset(X_train_t, y_train_t) val_dataset TensorDataset(X_val_t, y_val_t) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) val_loader DataLoader(val_dataset, batch_size64, shuffleFalse)這里permute把X從(batch, seq_len, features)轉(zhuǎn)成(batch, features, seq_len)因?yàn)镃onv1d默認(rèn)在最后一維做卷積序列長(zhǎng)度應(yīng)該放在最后。shuffleTrue只打亂批次順序不打亂每個(gè)樣本內(nèi)部的時(shí)序這不會(huì)造成數(shù)據(jù)泄露。3.2 模型定義TCN主干加預(yù)測(cè)頭TCN主干輸出的shape是(batch, channels, seq_len)要變成預(yù)測(cè)值還需要一個(gè)全連接輸出層。這里有一個(gè)容易忽略的細(xì)節(jié)到底取最后一個(gè)時(shí)間步的特征做預(yù)測(cè)還是取全部時(shí)間步做全局平均我測(cè)試下來(lái)取最后一個(gè)時(shí)間步通常更貼合“用歷史預(yù)測(cè)未來(lái)”的語(yǔ)義因?yàn)閠時(shí)刻的輸出特征是模型看過t時(shí)刻及之前數(shù)據(jù)后得到的編碼。class TCNForecaster(nn.Module): def __init__(self, num_inputs1, num_channels(32, 64, 64), kernel_size3, dropout0.2, pred_steps1): super().__init__() self.tcn TemporalConvNet(num_inputs, num_channels, kernel_size, dropout) self.fc nn.Linear(num_channels[-1], pred_steps) def forward(self, x): # x: (batch, features, seq_len) out self.tcn(x) # 取最后一個(gè)時(shí)間步的特征 out out[:, :, -1] return self.fc(out) model TCNForecaster(num_inputs1, num_channels(32, 64, 64), kernel_size3, pred_steps1) print(model) # 輸出結(jié)構(gòu)TCN主干3層 Linear參數(shù)選擇上num_channels的通道數(shù)從32起步逐層保持或翻倍。通道太多會(huì)過擬合太少則特征表達(dá)能力不夠。pred_steps是你想預(yù)測(cè)的未來(lái)步數(shù)先設(shè)1跑通后續(xù)第6章會(huì)專門講多步預(yù)測(cè)改造。3.3 訓(xùn)練循環(huán)手寫雙循環(huán)避免黑匣子我不太喜歡把訓(xùn)練封裝成黑匣子手寫雙循環(huán)能直觀看到每一輪的loss變化出了問題也容易定位。下面的訓(xùn)練函數(shù)包含訓(xùn)練和驗(yàn)證兩個(gè)階段并返回訓(xùn)練過程中的loss記錄。import torch.nn as nn def train_model(model, train_loader, val_loader, epochs30, lr1e-3): optimizer torch.optim.Adam(model.parameters(), lrlr) criterion nn.MSELoss() best_val_loss float(inf) for epoch in range(epochs): model.train() train_loss 0.0 for X_batch, y_batch in train_loader: optimizer.zero_grad() pred model(X_batch) loss criterion(pred, y_batch) loss.backward() optimizer.step() train_loss loss.item() * X_batch.size(0) model.eval() val_loss 0.0 with torch.no_grad(): for X_batch, y_batch in val_loader: pred model(X_batch) val_loss criterion(pred, y_batch).item() * X_batch.size(0) train_loss / len(train_loader.dataset) val_loss / len(val_loader.dataset) if (epoch 1) % 5 0: print(fEpoch {epoch1:3d} | train_loss {train_loss:.6f} | val_loss {val_loss:.6f}) # 簡(jiǎn)單保存最優(yōu)模型 if val_loss best_val_loss: best_val_loss val_loss torch.save(model.state_dict(), best_tcn.pt) train_model(model, train_loader, val_loader, epochs30, lr1e-3)注意loss計(jì)算這里用的是每個(gè)batch的平均loss乘以batch_size再除以總樣本數(shù)也就是按樣本數(shù)加權(quán)平均避免batch size不一致時(shí)loss失真。實(shí)際跑30輪訓(xùn)練loss會(huì)一路下降驗(yàn)證loss在最優(yōu)值附近波動(dòng)。保存模型時(shí)我習(xí)慣同時(shí)保存best_val_loss對(duì)應(yīng)的state_dict而不是最后一輪的權(quán)重這樣能規(guī)避驗(yàn)證集上后期過擬合的問題。4. 訓(xùn)練TCN的三個(gè)必調(diào)參數(shù)與收斂判斷4.1 感受野先算再調(diào)別讓模型“記性”不夠TCN最核心的調(diào)參是確保感受野大于輸入序列長(zhǎng)度的一半。很多初學(xué)者直接套用LSTM的窗口長(zhǎng)度輸入給64步歷史但TCN只設(shè)計(jì)了3層、kernel_size3感受野只有12*(124)15模型根本看不到64步之前的信息。結(jié)果預(yù)測(cè)值在突變處明顯遲鈍看起來(lái)就像“跟著真實(shí)值走”。調(diào)整的方法是先算感受野再設(shè)計(jì)網(wǎng)絡(luò)。上面的例子中要覆蓋64步歷史3層TCN感受野只有15那就把kernel_size調(diào)到5或把num_channels層數(shù)增加到5層。5層、kernel_size3的感受野為12*(124816)63剛好覆蓋64步輸入。我給一個(gè)經(jīng)驗(yàn)值輸入序列長(zhǎng)度設(shè)為感受野的1.5到2倍留出冗余讓每一層都有足夠的上下文。def calc_receptive_field(kernel_size, num_layers): 計(jì)算TCN網(wǎng)絡(luò)的感受野 rf 1 for i in range(num_layers): rf (kernel_size - 1) * (2 ** i) return rf print(calc_receptive_field(3, 4)) # 31 print(calc_receptive_field(5, 4)) # 61 print(calc_receptive_field(3, 6)) # 127這段代碼可以直接復(fù)制到你的腳本里做設(shè)計(jì)校驗(yàn)。先定輸入序列長(zhǎng)度再反推層數(shù)和kernel_size能省掉大量試錯(cuò)時(shí)間。4.2 學(xué)習(xí)率、kernel_size與dropout的配合學(xué)習(xí)率是最容易出問題的超參數(shù)。Adam默認(rèn)的1e-3在大多數(shù)中小規(guī)模數(shù)據(jù)上夠用但如果loss在訓(xùn)練初期就發(fā)散先檢查數(shù)據(jù)是否做了歸一化然后降到1e-4。kernel_size決定單層感受野增量常用值為3或5。7以上會(huì)讓參數(shù)量快速上升在數(shù)據(jù)量不大時(shí)幾乎必然過擬合。dropout的用法和LSTM類似但要更保守。TCN的每一層都加了dropout如果設(shè)0.5信號(hào)經(jīng)過多層后會(huì)被嚴(yán)重削弱典型表現(xiàn)是訓(xùn)練loss和驗(yàn)證loss都降不下去。我一般把dropout控制在0.1到0.2之間數(shù)據(jù)量小用0.1數(shù)據(jù)量大或明顯過擬合時(shí)再升到0.3。超參數(shù)推薦范圍調(diào)參策略kernel_size3 ~ 5感受野不夠時(shí)優(yōu)先加大num_channels32 → 64 → 128 遞增每層翻倍避免首層過寬層數(shù)3 ~ 6先少后多配合感受野計(jì)算dropout0.1 ~ 0.3訓(xùn)練loss不降時(shí)減小驗(yàn)證loss漲時(shí)增大learning_rate1e-3 ~ 1e-4Adam默認(rèn)1e-3發(fā)散了就降batch_size32 ~ 128數(shù)據(jù)波動(dòng)大用較小batch4.3 怎么判斷收斂訓(xùn)練loss低不等于模型好很多新手看到訓(xùn)練loss降到0.001就高呼叫好但時(shí)間序列預(yù)測(cè)要看的核心指標(biāo)是驗(yàn)證集上的loss趨勢(shì)。正常收斂過程是訓(xùn)練loss和驗(yàn)證loss同步下降驗(yàn)證loss在某個(gè)epoch后進(jìn)入平臺(tái)期如果訓(xùn)練loss繼續(xù)降而驗(yàn)證loss掉頭上升說明開始過擬合。我習(xí)慣在每個(gè)epoch打印兩個(gè)數(shù)字驗(yàn)證loss相對(duì)于上一輪的差值、驗(yàn)證loss與訓(xùn)練loss的比值。當(dāng)驗(yàn)證loss連續(xù)5輪不再下降就觸發(fā)早停比值大于1.5時(shí)說明過擬合已經(jīng)比較明顯需要調(diào)小dropout或減少層數(shù)。early_stop_patience 5 best_val float(inf) patience 0 for epoch in range(epochs): # 訓(xùn)練并計(jì)算 train_loss, val_loss if val_loss best_val: best_val val_loss patience 0 torch.save(model.state_dict(), best_tcn.pt) else: patience 1 if patience early_stop_patience: print(fEarly stop at epoch {epoch1}) break這套早停邏輯簡(jiǎn)單但管用。要注意驗(yàn)證loss的波動(dòng)在時(shí)間序列任務(wù)里很常見選best_val時(shí)要看3輪平均而不是單輪最低值否則容易被噪聲帶偏。5. TCN時(shí)間序列預(yù)測(cè)的五個(gè)常見坑現(xiàn)象、原因與排查5.1 歸一化泄漏驗(yàn)證集表現(xiàn)好上線就翻車現(xiàn)象訓(xùn)練集和驗(yàn)證集loss都很低但把模型部署到新數(shù)據(jù)上時(shí)預(yù)測(cè)誤差明顯變大。原因最常見的是在整段數(shù)據(jù)上做了MinMaxScaler的fit_transformscaler偷看了驗(yàn)證集和測(cè)試集的統(tǒng)計(jì)量等于把未來(lái)信息泄露給了訓(xùn)練過程。時(shí)間序列里這不是玄學(xué)而是實(shí)打?qū)嵉臄?shù)據(jù)泄露。解決在訓(xùn)練集上先f(wàn)it再用訓(xùn)練集的scaler去transform驗(yàn)證集和測(cè)試集。本文3.1節(jié)的代碼已經(jīng)按這個(gè)順序?qū)懥藢?shí)際項(xiàng)目里要特別注意。5.2 數(shù)據(jù)切分用了隨機(jī)shuffle導(dǎo)致時(shí)間錯(cuò)亂現(xiàn)象驗(yàn)證loss遠(yuǎn)低于訓(xùn)練loss或者模型表現(xiàn)時(shí)好時(shí)壞。原因直接調(diào)用train_test_split(X, y, test_size0.2, shuffleTrue)會(huì)讓模型同時(shí)看到過去和未來(lái)的樣本驗(yàn)證集里混入訓(xùn)練窗口附近的樣本。時(shí)間序列一旦打亂順序模型學(xué)到的根本不是時(shí)序規(guī)律。解決按時(shí)間順序切分前80%訓(xùn)練后20%驗(yàn)證。如果要手動(dòng)打亂訓(xùn)練集也要確保打亂的只是批次順序不破壞每個(gè)樣本內(nèi)部的時(shí)序。5.3 預(yù)測(cè)結(jié)果比真實(shí)值滯后一拍模型在做“復(fù)制粘貼”現(xiàn)象預(yù)測(cè)曲線和真實(shí)曲線形態(tài)一致但整體向右平移了一個(gè)或多個(gè)時(shí)間步。原因感受野不足或dropout過大導(dǎo)致模型沒學(xué)到趨勢(shì)只學(xué)到“上一時(shí)刻的值近似當(dāng)前值”。在平穩(wěn)序列上這很容易騙過loss指標(biāo)因?yàn)轭A(yù)測(cè)值緊貼真實(shí)值看圖才發(fā)現(xiàn)根本沒有預(yù)測(cè)能力。解決先按4.1節(jié)的公式計(jì)算感受野確保大于輸入序列長(zhǎng)度的一半然后把pred_steps設(shè)成2或3做自檢——如果多步預(yù)測(cè)時(shí)誤差迅速變大說明模型確實(shí)在“抄近期值”。5.4 BatchNorm在分布漂移的數(shù)據(jù)上反而幫倒忙現(xiàn)象模型在訓(xùn)練集上收斂正常驗(yàn)證集上loss劇烈波動(dòng)甚至出現(xiàn)NaN。原因BatchNorm統(tǒng)計(jì)的是當(dāng)前batch的均值和方差時(shí)間序列數(shù)據(jù)存在非平穩(wěn)性不同batch分布差異大時(shí)BatchNorm的統(tǒng)計(jì)量會(huì)抖動(dòng)。這在金融序列、傳感器數(shù)據(jù)上尤其明顯。解決把TCNBlock里的BatchNorm1d換成GroupNorm或LayerNorm。對(duì)于回歸任務(wù)也可以直接把BN層去掉只保留卷積加ReLU效果往往更穩(wěn)。5.5 dropout設(shè)得過大信號(hào)被當(dāng)噪聲丟掉了現(xiàn)象訓(xùn)練loss和驗(yàn)證loss都居高不下訓(xùn)練很多輪也不下降。原因dropout在每一層都會(huì)隨機(jī)屏蔽部分神經(jīng)元設(shè)成0.5時(shí)深層特征幾乎被丟光。TCN的特征圖比LSTM的隱狀態(tài)更依賴連續(xù)激活模式dropout過大直接毀掉特征提取。解決dropout從0.1開始驗(yàn)證loss不降再每次加0.05。如果模型還是過擬合優(yōu)先減小num_channels而不是繼續(xù)加dropout。6. 讓TCN輸出多步預(yù)測(cè)三個(gè)進(jìn)階策略與驗(yàn)收技巧單步預(yù)測(cè)跑通后下一步就是讓模型輸出未來(lái)多個(gè)時(shí)間步。最常見的做法有三種遞歸預(yù)測(cè)、直接多步、多模型組合。遞歸預(yù)測(cè)就是把預(yù)測(cè)值拼到輸入末尾再喂給模型實(shí)現(xiàn)簡(jiǎn)單但誤差會(huì)隨時(shí)間步累積直接多步是在全連接輸出層把pred_steps設(shè)為目標(biāo)步數(shù)一次輸出全部未來(lái)值誤差不累積但長(zhǎng)步預(yù)測(cè)精度會(huì)下降。我一般在業(yè)務(wù)上優(yōu)先用直接多步因?yàn)橛?xùn)練穩(wěn)定、部署簡(jiǎn)單而且TCN的感受野天然適合一次給出完整未來(lái)窗口。改成直接多步時(shí)訓(xùn)練集標(biāo)簽y的形狀要從(batch, 1)變成(batch, pred_steps)。數(shù)據(jù)準(zhǔn)備階段的create_sequences里pred_steps已經(jīng)是可變參數(shù)只需要在構(gòu)造DataLoader時(shí)把標(biāo)簽的維度對(duì)齊。驗(yàn)證時(shí)不要只用MSE我習(xí)慣把預(yù)測(cè)曲線和真實(shí)曲線畫在同一張圖上用肉眼看滯后和形態(tài)。這里有一個(gè)實(shí)用的小技巧把測(cè)試集的預(yù)測(cè)結(jié)果反歸一化回原始單位再計(jì)算平均絕對(duì)百分比誤差這樣才能直觀看出模型在業(yè)務(wù)上到底準(zhǔn)不準(zhǔn)。另一個(gè)進(jìn)階技巧是加入時(shí)間特征作為額外通道。比如把“小時(shí)”“星期幾”“是否節(jié)假日”歸一化后拼到輸入通道上TCN的Conv1d支持多通道輸入只需把num_inputs從1改成特征總數(shù)。這個(gè)操作對(duì)銷量預(yù)測(cè)和電力負(fù)荷預(yù)測(cè)的提升往往比調(diào)模型結(jié)構(gòu)更明顯。這套流程我已經(jīng)在電力負(fù)荷和金融序列上跑過多次踩得最深的一次就是感受野沒算夠模型預(yù)測(cè)滯后到無(wú)法使用。后來(lái)我給自己立了個(gè)規(guī)矩任何時(shí)間序列項(xiàng)目先算感受野、先畫預(yù)測(cè)曲線再談?wù){(diào)參。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取