簡(jiǎn)介這份資源聚焦機(jī)器學(xué)習(xí)建模中校正集與驗(yàn)證集的樣本劃分問題面向本科、碩士及科研人員進(jìn)行教研學(xué)習(xí)使用。包內(nèi)提供SPXY算法、KS算法與RS算法三種經(jīng)典劃分策略的Matlab實(shí)現(xiàn)可用于光譜分析、近紅外建模、回歸預(yù)測(cè)等需要合理拆分訓(xùn)練與測(cè)試樣本的場(chǎng)景幫助使用者對(duì)比不同劃分方法對(duì)模型精度與泛化能力的影響。資源共5個(gè)文件以4個(gè)m腳本文件和1個(gè)txt說明文件為主m文件承載各劃分算法的核心函數(shù)與調(diào)用示例txt則提示需自行帶入數(shù)據(jù)壓縮包整體約6KB輕量易讀。目前已有332人學(xué)習(xí)下載。讀者可借此快速理解三種算法的原理差異與代碼結(jié)構(gòu)將其嵌入自己的建模流程完成樣本集劃分與后續(xù)驗(yàn)證實(shí)驗(yàn)。1. 光譜建模第一步為什么你的校正集和驗(yàn)證集劃分總讓模型翻車做近紅外、拉曼或者高光譜定量建模的人大概率都遇到過這種玄學(xué)同一批樣本、同一個(gè)預(yù)處理、同一個(gè) PLS 或 SVR換一次隨機(jī)種子R2 能從 0.95 掉到 0.72。很多人第一反應(yīng)是調(diào)模型參數(shù)其實(shí)根子常常在數(shù)據(jù)劃分上——校正集訓(xùn)練用和驗(yàn)證集評(píng)估用分得不合理驗(yàn)證集里混進(jìn)了校正集里沒有的濃度區(qū)間或異常樣本模型自然一測(cè)就崩。這個(gè)標(biāo)題講的正是這件事機(jī)器學(xué)習(xí)里校正集和驗(yàn)證集的劃分方法重點(diǎn)落在三種經(jīng)典算法——SPXY、KS、RS。它們解決的是同一個(gè)問題手里有一堆帶標(biāo)簽的樣本比如 200 個(gè)小麥樣品的近紅外光譜 對(duì)應(yīng)蛋白含量怎么切出一部分當(dāng)校正集去建模剩下的當(dāng)驗(yàn)證集去檢驗(yàn)。RS 是隨機(jī)劃分KS 是 Kennard-Stone 基于距離的均勻劃分SPXY 是 KS 的升級(jí)版同時(shí)考慮光譜距離和濃度距離。適合做光譜、色譜、傳感器陣列等小樣本定量建模的人尤其是樣本量在幾十到幾百、又不想靠隨機(jī)種子碰運(yùn)氣的那批人。2. 三種劃分算法到底在切什么RS、KS、SPXY 的選型邏輯2.1 RS 隨機(jī)劃分最省事也最容易埋雷R(shí)SRandom Sampling就是隨機(jī)抽樣。用sklearn的train_test_split或者numpy.random.permutation都能做。它的假設(shè)是樣本獨(dú)立同分布隨機(jī)切出來(lái)的校正集和驗(yàn)證集在統(tǒng)計(jì)上應(yīng)該差不多。但小樣本場(chǎng)景下這個(gè)假設(shè)經(jīng)常不成立200 個(gè)樣本里如果濃度范圍是 8% 到 18%隨機(jī)切可能讓驗(yàn)證集集中在 12% 到 14%校正集卻覆蓋了 8% 到 18%模型在驗(yàn)證集上表現(xiàn)虛高換一批真實(shí)樣本就露餡。RS 不是不能用而是要用對(duì)場(chǎng)景。樣本量大比如上千條、分布本身均勻、或者你只是做快速基線對(duì)比RS 夠用。但如果你要做的是最終交付的定量模型RS 只能當(dāng)對(duì)照組不能當(dāng)主力。2.2 KS 算法讓校正集在特征空間里鋪得最開KSKennard-Stone的核心思想很樸素先選距離最遠(yuǎn)的兩個(gè)樣本進(jìn)校正集然后每次選那個(gè)“離已選校正集最近距離最大”的樣本直到校正集數(shù)量達(dá)標(biāo)。這樣做的結(jié)果是校正集在光譜空間里分布最均勻驗(yàn)證集自然落在校正集包圍的范圍內(nèi)外推風(fēng)險(xiǎn)小。KS 的距離通常是歐氏距離直接算光譜矩陣的樣本間距離。它的優(yōu)點(diǎn)是確定性——同樣的數(shù)據(jù)跑多少次結(jié)果都一樣不用跟隨機(jī)種子較勁。缺點(diǎn)是只看了 X光譜沒看 Y濃度。如果兩個(gè)樣本光譜幾乎一樣但濃度差很多KS 可能只選其中一個(gè)另一個(gè)進(jìn)驗(yàn)證集模型就學(xué)不到這個(gè)濃度點(diǎn)。2.3 SPXY 算法同時(shí)管住光譜和濃度的雙距離劃分SPXYSample set Partitioning based on joint X-Y distances是 KS 的改進(jìn)版。它把樣本間距離定義成兩部分光譜距離和濃度距離各自歸一化后相加。公式常見寫法是[ d_{xy}(i,j) \frac{d_x(i,j)}{\max_{i,j} d_x(i,j)} \frac{d_y(i,j)}{\max_{i,j} d_y(i,j)} ]其中 (d_x) 是光譜歐氏距離(d_y) 是濃度差的絕對(duì)值多組分就取歐氏距離。歸一化是為了讓兩個(gè)距離量綱一致不然濃度差 0.1 和光譜差 1000 根本沒法加。SPXY 的好處是校正集在光譜空間和濃度空間都鋪得開驗(yàn)證集不會(huì)出現(xiàn)“濃度盲區(qū)”。代價(jià)是計(jì)算量比 KS 大一點(diǎn)樣本量上千時(shí)距離矩陣會(huì)占內(nèi)存但幾百個(gè)樣本完全無(wú)壓力。做近紅外定量的人如果只記一個(gè)算法記 SPXY 就夠了。2.4 三種算法的選擇對(duì)照算法依據(jù)確定性適合場(chǎng)景主要風(fēng)險(xiǎn)RS隨機(jī)否大樣本、快速對(duì)比驗(yàn)證集分布偏斜KS光譜距離是光譜差異主導(dǎo)的定性/定量忽略濃度分布SPXY光譜濃度距離是小樣本定量建模計(jì)算量略大選型建議很直接樣本量小于 500、做定量、濃度范圍寬優(yōu)先 SPXY只做定性或者濃度分布很均勻KS 夠用樣本量上千、只想快速看模型上限RS 可以當(dāng)基線。常見做法是三個(gè)都跑一遍比較驗(yàn)證集 RMSEP但最終交付模型用 SPXY 或 KS。3. 用 Python 把 SPXY、KS、RS 跑通從距離矩陣到劃分結(jié)果3.1 數(shù)據(jù)準(zhǔn)備X 和 y 的維度要對(duì)齊假設(shè)你有一個(gè)光譜矩陣X形狀是(n_samples, n_features)濃度向量y形狀是(n_samples,)或(n_samples, n_targets)。下面用 numpy 造一組模擬數(shù)據(jù)實(shí)際替換成你自己的.csv或.mat讀進(jìn)來(lái)的數(shù)組即可。import numpy as np from scipy.spatial.distance import cdist # 模擬 120 個(gè)樣本200 個(gè)波長(zhǎng)點(diǎn)濃度范圍 8~18 np.random.seed(42) n_samples 120 n_features 200 X np.random.randn(n_samples, n_features) * 0.5 np.sin(np.linspace(0, 3, n_features)) y np.random.uniform(8, 18, n_samples).reshape(-1, 1) print(X.shape, y.shape) # (120, 200) (120, 1)這里X是光譜y是濃度。注意y要 reshape 成二維后面算距離時(shí)統(tǒng)一用二維數(shù)組避免廣播出錯(cuò)。如果你的y是多組分比如同時(shí)測(cè)蛋白和水分y就是(n_samples, 2)距離用歐氏距離即可。3.2 RS 隨機(jī)劃分一行代碼但別只跑一次from sklearn.model_selection import train_test_split # 隨機(jī)劃分校正集 80 個(gè)驗(yàn)證集 40 個(gè) X_cal, X_val, y_cal, y_val train_test_split( X, y, test_size40, random_state0, shuffleTrue ) print(RS 校正集濃度范圍:, y_cal.min(), y_cal.max()) print(RS 驗(yàn)證集濃度范圍:, y_val.min(), y_val.max())test_size40表示驗(yàn)證集 40 個(gè)剩下 80 個(gè)進(jìn)校正集。random_state固定后結(jié)果可復(fù)現(xiàn)但換個(gè)種子分布就變。實(shí)際用的時(shí)候建議跑 20 次不同種子看驗(yàn)證集 RMSEP 的均值和標(biāo)準(zhǔn)差如果標(biāo)準(zhǔn)差很大說明 RS 不適合你的數(shù)據(jù)。3.3 KS 算法手寫距離矩陣選最遠(yuǎn)點(diǎn)def ks_partition(X, n_cal): Kennard-Stone 劃分返回校正集索引和驗(yàn)證集索引 n X.shape[0] # 計(jì)算樣本間歐氏距離矩陣 D cdist(X, X, metriceuclidean) cal_idx [] # 第一步選距離最遠(yuǎn)的兩個(gè)樣本 i, j np.unravel_index(np.argmax(D), D.shape) cal_idx.extend([i, j]) # 剩余樣本 remaining list(set(range(n)) - set(cal_idx)) while len(cal_idx) n_cal: # 對(duì)每個(gè)剩余樣本算它到已選校正集的最小距離 min_dists [np.min(D[idx, cal_idx]) for idx in remaining] # 選最小距離最大的那個(gè) next_idx remaining[np.argmax(min_dists)] cal_idx.append(next_idx) remaining.remove(next_idx) val_idx list(set(range(n)) - set(cal_idx)) return np.array(cal_idx), np.array(val_idx) cal_idx, val_idx ks_partition(X, n_cal80) X_cal_ks, y_cal_ks X[cal_idx], y[cal_idx] X_val_ks, y_val_ks X[val_idx], y[val_idx] print(KS 校正集濃度范圍:, y_cal_ks.min(), y_cal_ks.max()) print(KS 驗(yàn)證集濃度范圍:, y_val_ks.min(), y_val_ks.max())cdist算的是(n, n)距離矩陣120 個(gè)樣本就是 14400 個(gè)距離內(nèi)存很小。np.argmax(D)找到全局最大距離的位置np.unravel_index把它轉(zhuǎn)成行列索引。循環(huán)里每次算剩余樣本到已選集合的最小距離取最大者加入。這個(gè)實(shí)現(xiàn)的時(shí)間復(fù)雜度是 O(n2)幾百個(gè)樣本秒出上千個(gè)樣本也能接受。3.4 SPXY 算法把濃度距離加進(jìn)去def spxy_partition(X, y, n_cal): SPXY 劃分同時(shí)考慮光譜距離和濃度距離 n X.shape[0] # 光譜距離矩陣 Dx cdist(X, X, metriceuclidean) # 濃度距離矩陣多組分用歐氏距離 Dy cdist(y, y, metriceuclidean) # 歸一化后相加 Dxy Dx / Dx.max() Dy / Dy.max() cal_idx [] i, j np.unravel_index(np.argmax(Dxy), Dxy.shape) cal_idx.extend([i, j]) remaining list(set(range(n)) - set(cal_idx)) while len(cal_idx) n_cal: min_dists [np.min(Dxy[idx, cal_idx]) for idx in remaining] next_idx remaining[np.argmax(min_dists)] cal_idx.append(next_idx) remaining.remove(next_idx) val_idx list(set(range(n)) - set(cal_idx)) return np.array(cal_idx), np.array(val_idx) cal_idx_spxy, val_idx_spxy spxy_partition(X, y, n_cal80) X_cal_spxy, y_cal_spxy X[cal_idx_spxy], y[cal_idx_spxy] X_val_spxy, y_val_spxy X[val_idx_spxy], y[val_idx_spxy] print(SPXY 校正集濃度范圍:, y_cal_spxy.min(), y_cal_spxy.max()) print(SPXY 驗(yàn)證集濃度范圍:, y_val_spxy.min(), y_val_spxy.max())Dx / Dx.max()和Dy / Dy.max()把兩個(gè)距離壓到 0~1 之間避免量綱差異。如果你的濃度范圍很小比如 0.01~0.05不歸一化的話濃度距離幾乎不起作用SPXY 就退化成 KS 了。歸一化之后光譜和濃度各占一半權(quán)重這是最常見的做法。如果業(yè)務(wù)上更看重濃度覆蓋可以把濃度距離乘個(gè)系數(shù)比如1.5 * Dy / Dy.max()但一般不建議除非你有明確理由。3.5 劃分結(jié)果怎么驗(yàn)證看濃度分布和模型 RMSEPfrom sklearn.cross_decomposition import PLSRegression from sklearn.metrics import mean_squared_error def evaluate_partition(X_cal, y_cal, X_val, y_val, n_components10): pls PLSRegression(n_componentsn_components) pls.fit(X_cal, y_cal) y_pred pls.predict(X_val) rmsep np.sqrt(mean_squared_error(y_val, y_pred)) return rmsep print(RS RMSEP:, evaluate_partition(X_cal, y_cal, X_val, y_val)) print(KS RMSEP:, evaluate_partition(X_cal_ks, y_cal_ks, X_val_ks, y_val_ks)) print(SPXY RMSEP:, evaluate_partition(X_cal_spxy, y_cal_spxy, X_val_spxy, y_val_spxy))同一組數(shù)據(jù)、同一個(gè) PLS 模型只換劃分方式RMSEP 就能差出不少。如果 SPXY 的 RMSEP 明顯低于 RS說明你的數(shù)據(jù)確實(shí)存在分布不均的問題SPXY 值得用。如果三者差不多說明樣本本身很均勻RS 也能湊合但 SPXY 至少不會(huì)更差。4. 避坑與排查劃分算法落地時(shí)最容易翻車的 5 個(gè)點(diǎn)4.1 現(xiàn)象SPXY 跑出來(lái)和 KS 一模一樣原因濃度向量y沒有歸一化或者y的數(shù)值范圍遠(yuǎn)小于光譜距離導(dǎo)致Dy / Dy.max()在Dxy里幾乎可以忽略。解決檢查Dy.max()是否遠(yuǎn)小于Dx.max()如果是確認(rèn)歸一化代碼寫對(duì)了。另外如果y是整數(shù)類別標(biāo)簽而不是連續(xù)濃度SPXY 的濃度距離意義不大應(yīng)該用分層抽樣而不是 SPXY。4.2 現(xiàn)象KS 選出來(lái)的校正集濃度范圍比驗(yàn)證集還窄原因KS 只看光譜距離如果光譜和濃度不是強(qiáng)相關(guān)光譜上均勻的樣本在濃度上可能不均勻。解決換 SPXY或者先對(duì)光譜做 PCA用主成分得分算距離再結(jié)合濃度分層。常見做法是先用 SPXY 跑一遍如果驗(yàn)證集濃度覆蓋不夠手動(dòng)把邊界濃度樣本強(qiáng)制放進(jìn)校正集。4.3 現(xiàn)象樣本量 50 個(gè)SPXY 跑完校正集 40 個(gè)驗(yàn)證集 10 個(gè)驗(yàn)證集 RMSEP 波動(dòng)巨大原因驗(yàn)證集太小10 個(gè)樣本的 RMSEP 本身就不穩(wěn)定。解決小樣本場(chǎng)景下不要只切一次用 KS 或 SPXY 做多次劃分比如每次校正集 35 個(gè)、驗(yàn)證集 15 個(gè)重復(fù) 20 次看 RMSEP 的分布。或者直接用交叉驗(yàn)證但交叉驗(yàn)證的折數(shù)也要用 KS/SPXY 來(lái)分不能隨機(jī)分。4.4 現(xiàn)象距離矩陣內(nèi)存爆了原因樣本量上萬(wàn)時(shí)cdist生成的(n, n)矩陣占內(nèi)存。解決樣本量超過 5000 時(shí)KS 和 SPXY 的全距離矩陣會(huì)吃幾個(gè) GB?？梢愿挠梅峙?jì)算或者先用 K-means 聚類每個(gè)簇里再跑 KS/SPXY。實(shí)際光譜建模樣本量通常幾百這個(gè)問題不常見但如果你處理的是高光譜圖像像素級(jí)數(shù)據(jù)就要注意。4.5 現(xiàn)象換了隨機(jī)種子RS 的 RMSEP 比 SPXY 還好原因RS 碰巧切到了一個(gè)“簡(jiǎn)單”的驗(yàn)證集或者 SPXY 的校正集里混入了異常樣本。解決不要只看一次結(jié)果。RS 跑 20 次取平均SPXY 跑一次但檢查校正集里有沒有光譜異常點(diǎn)用馬氏距離或 PCA 的 Q 殘差判斷。如果 SPXY 校正集里有異常樣本先剔除再劃分否則異常樣本會(huì)被優(yōu)先選進(jìn)校正集因?yàn)樗木嚯x往往很大。5. 進(jìn)階技巧用 SPXY 做分層交叉驗(yàn)證把模型評(píng)估做扎實(shí)單次劃分的驗(yàn)證集 RMSEP 終究只是一個(gè)點(diǎn)估計(jì)樣本量小的時(shí)候置信區(qū)間很寬。更穩(wěn)的做法是把 SPXY 和交叉驗(yàn)證結(jié)合起來(lái)每次留出一部分樣本做驗(yàn)證但留出的方式不是隨機(jī)而是用 SPXY 的距離排序來(lái)分層。具體操作先用 SPXY 把全部樣本按“代表性”排序排在前面的樣本距離遠(yuǎn)、代表性強(qiáng)排在后面的樣本距離近、代表性弱。然后做 5 折交叉驗(yàn)證時(shí)每折的驗(yàn)證集從排序后的不同區(qū)間抽取保證每折驗(yàn)證集的濃度范圍和光譜多樣性都差不多。這樣得到的 5 個(gè) RMSEP 的均值和標(biāo)準(zhǔn)差比單次劃分可靠得多。def spxy_order(X, y): 返回 SPXY 選擇順序越靠前代表性越強(qiáng) n X.shape[0] Dx cdist(X, X, metriceuclidean) Dy cdist(y, y, metriceuclidean) Dxy Dx / Dx.max() Dy / Dy.max() order [] i, j np.unravel_index(np.argmax(Dxy), Dxy.shape) order.extend([i, j]) remaining list(set(range(n)) - set(order)) while remaining: min_dists [np.min(Dxy[idx, order]) for idx in remaining] next_idx remaining[np.argmax(min_dists)] order.append(next_idx) remaining.remove(next_idx) return order order spxy_order(X, y) # 按順序分成 5 折每折取排序中均勻間隔的樣本 n_folds 5 folds [[] for _ in range(n_folds)] for rank, idx in enumerate(order): folds[rank % n_folds].append(idx) for k in range(n_folds): val_idx folds[k] cal_idx [i for i in range(n_samples) if i not in val_idx] rmsep evaluate_partition(X[cal_idx], y[cal_idx], X[val_idx], y[val_idx]) print(fFold {k1} RMSEP: {rmsep:.4f})這段代碼先拿到 SPXY 的完整選擇順序然后按rank % n_folds把樣本輪流分到 5 折里。這樣每折驗(yàn)證集都覆蓋了從強(qiáng)代表性到弱代表性的樣本濃度分布也均勻。跑完 5 折你會(huì)得到 5 個(gè) RMSEP報(bào)告的時(shí)候?qū)憽癛MSEP 均值 ± 標(biāo)準(zhǔn)差”比單次劃分有說服力得多。我自己的習(xí)慣是只要樣本量低于 300單次劃分的結(jié)果只用來(lái)快速看模型有沒有大問題最終報(bào)告一定用 SPXY 分層交叉驗(yàn)證的均值。這個(gè)習(xí)慣幫我避開了好幾次“單次劃分看起來(lái)很好、實(shí)際預(yù)測(cè)一塌糊涂”的翻車。另外SPXY 的距離矩陣算一次就能復(fù)用不用每折重算代碼里把Dxy緩存下來(lái)交叉驗(yàn)證跑起來(lái)很快。如果你正在做光譜定量或者任何小樣本回歸先把 SPXY 跑通再對(duì)比 KS 和 RS最后用分層交叉驗(yàn)證收口。這套流程不復(fù)雜但能讓你少走很多彎路。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取