簡介面向使用 MATLAB 處理類別不平衡數(shù)據(jù)的機器學習學習者與工程人員這份 SMOTE 算法實現(xiàn)包提供了一套可直接參考的合成少數(shù)類過采樣代碼。核心由兩個 .m 文件構(gòu)成其中一個承載 SMOTE 主流程另一個作為調(diào)用與測試示例便于對照理解 K 近鄰選取、隨機線性插值以及新樣本合成的具體寫法隨包的 txt 許可證說明與 git 配置文件則交代了授權(quán)范圍與版本管理信息。壓縮包共 5 個文件以 .m 源碼為主輔以說明與配置類文本整體約 3KB體積輕量解壓后即可閱讀。已有 1324 人學習說明其在教學演示與工程復(fù)現(xiàn)中有一定參考面。對需要在分類任務(wù)中快速接入過采樣環(huán)節(jié)的讀者而言可借這份代碼觀察平衡前后模型在召回率、F1 分數(shù)等指標上的變化也便于按自身數(shù)據(jù)格式調(diào)整近鄰數(shù)與合成比例作為理解算法細節(jié)的起點。1. SMOTE 不是萬能藥一份 MATLAB 版本能幫你解決什么一個做設(shè)備異常檢測的朋友把模型結(jié)果貼給我看準確率 97.4%我讓他把混淆矩陣也發(fā)過來——故障類召回 0。這類數(shù)據(jù)在 MATLAB 里跑十個模型九個都這樣正樣本占比不到 3%分類器只要全判正常就能拿到高分。SMOTE 算法Synthetic Minority Over-sampling Technique就是沖著這個局面來的它不復(fù)制少數(shù)類而是在少數(shù)類樣本與其 KNN 近鄰的連線上隨機插值造出一批“像但不等同”的新樣本讓分類邊界重新有得選。這份 MATLAB 版本的價值不在于公式多高深而在于把近鄰選擇、插值方向、采樣倍率全部攤開成可控參數(shù)方便你在自己的數(shù)據(jù)上驗證它到底是幫了模型還是只加了噪聲。適合手上有類別不平衡數(shù)據(jù)、會用 MATLAB 做建模、但被召回率卡住的從業(yè)者。2. 環(huán)境與數(shù)據(jù)把不平衡數(shù)據(jù)集整理成可復(fù)現(xiàn)的輸入SMOTE 的效果有一半不取決于算法本身而取決于喂進去的數(shù)據(jù)長什么樣。同一份代碼特征沒標準化、切分順序反了、類別字段被強行插值跑出來的合成樣本就是一堆沒法解釋的數(shù)字。這一章先把輸入這一側(cè)的事情做干凈后面調(diào) k 值和倍率才有意義。2.1 數(shù)據(jù)讀取與類別分布體檢MATLAB 里不平衡數(shù)據(jù)常見的三種來源CSV/Excel 表格、.mat里的矩陣、數(shù)據(jù)庫查詢結(jié)果。不管哪種第一步都是把特征矩陣和標簽向量分開然后統(tǒng)計每個類的樣本數(shù)和不平衡比。不平衡比是最多類樣本數(shù)除以最少類樣本數(shù)這個數(shù)決定了你后面該用 SMOTE 還是該考慮別的路子。% 讀取表格數(shù)據(jù)約定最后一列是標簽前面都是特征 T readtable(fault_log.csv); y T.label; % 標簽列數(shù)值或字符串均可 X table2array(T(:, 1:end-1)); % 特征矩陣 N x Pdouble % 統(tǒng)計類別分布 [classList, ~, gidx] unique(y); counts accumarray(gidx, 1); ratio counts / sum(counts); fprintf(類別數(shù): %d\n, numel(classList)); for i 1:numel(classList) fprintf( 類別 %s: %d 條 (%.2f%%)\n, ... string(classList(i)), counts(i), ratio(i) * 100); end imbalance max(counts) / min(counts); fprintf(不平衡比: %.1f : 1\n, imbalance);這段代碼里unique的第三個返回值gidx是每個樣本所屬類別的編號accumarray按編號累加就得到每類計數(shù)比對字符串標簽做循環(huán)判斷穩(wěn)得多。table2array要求前面所有列都是數(shù)值型如果表里有文本列得先單獨處理不能直接轉(zhuǎn)。體檢結(jié)果決定后續(xù)策略大致可以按下面這個區(qū)間判斷不平衡比典型場景處理建議1:1 3:1輕度傾斜優(yōu)先調(diào)分類器權(quán)重SMOTE 收益有限3:1 20:1常見業(yè)務(wù)數(shù)據(jù)SMOTE 或加權(quán) 閾值調(diào)整組合使用20:1 100:1故障、欺詐類SMOTE 邊界清理必須看召回和精確率超過 100:1極稀有事件先確認少數(shù)類樣本是否夠做 KNN考慮異常檢測思路最后一行是血淚經(jīng)驗少數(shù)類只有十幾個樣本時k 取 5 已經(jīng)逼近樣本總數(shù)合成出來的點高度集中等于把噪聲放大。這種情況先把少數(shù)類樣本補到 30 條以上再談 SMOTE。2.2 劃分策略先分層切分再做重采樣這是整篇最容易翻車的一步。很多人習慣先把少數(shù)類過采樣到平衡再cvpartition切訓練測試集結(jié)果測試集里混進了由訓練樣本插值出來的合成點評估分數(shù)虛高得離譜上線就掉。正確順序只有一個先切分再只在訓練集上過采樣測試集保持原始分布不動。% 固定隨機流保證切分可復(fù)現(xiàn) rng(2024, twister); % 分層留出法cvpartition 對分類標簽?zāi)J按類分層 cvp cvpartition(y, Holdout, 0.3); Xtr X(training(cvp), :); ytr y(training(cvp)); Xte X(test(cvp), :); yte y(test(cvp)); fprintf(訓練集: %d 條測試集: %d 條\n, ... numel(ytr), numel(yte)); % 確認切分后訓練集里的少數(shù)類還在 [clsTr, ~, gTr] unique(ytr); cntTr accumarray(gTr, 1); disp(table(string(clsTr), cntTr, VariableNames, {class,count}));cvpartition的Holdout參數(shù)是測試集比例0.3 表示留 30%。對分類標簽它默認分層也就是盡量保持訓練集和測試集的類別比例一致不需要額外寫Stratify。分層切分之后還要打印一次訓練集類別計數(shù)因為少數(shù)類樣本本來就少隨機切分有可能把某一類的樣本切得只剩個位數(shù)后面 KNN 直接失效。如果數(shù)據(jù)量小留出法單次切分的方差太大改成 k 折交叉驗證更穩(wěn)cvp cvpartition(y, KFold, 5); for f 1:cvp.NumTestSets Xtr X(training(cvp, f), :); ytr y(training(cvp, f)); Xte X(test(cvp, f), :); yte y(test(cvp, f)); % 在這里對 Xtr/ytr 做 SMOTE再訓練、再在 Xte/yte 上評估 end注意 SMOTE 必須寫在循環(huán)內(nèi)部、只作用于當前折的訓練集。寫在外面一次過采樣再循環(huán)評估等于讓每一折都看到了其他折的信息交叉驗證分數(shù)會明顯偏高。2.3 特征標準化與類別型字段的處理SMOTE 在特征空間里做線性插值距離度量默認是歐氏距離所以量綱的影響非常直接一個取值范圍 0 到 10000 的特征會把 0 到 1 的特征完全壓住KNN 找到的“近鄰”基本只在這一個大尺度特征上相近插值出來的樣本在其余維度上是亂的。標準化參數(shù)必須從訓練集統(tǒng)計不能對全量數(shù)據(jù)做否則測試集的均值方差信息泄漏進訓練過程% 只用訓練集統(tǒng)計均值和標準差 mu mean(Xtr, 1); sg std(Xtr, 0, 1); sg(sg 0) 1; % 常數(shù)列避免除零 Xtr (Xtr - mu) ./ sg; Xte (Xte - mu) ./ sg;std的第二個參數(shù) 0 表示按樣本標準差除以 n-1計算和zscore的默認行為一致。常數(shù)列把標準差置 1 而不是 0是為了避免整列變成 NaN這一列本身對模型沒貢獻但保留維度比刪列更省事。類別型字段是另一個雷區(qū)。獨熱編碼后的 0/1 列做線性插值會得到 0.37 這種沒有意義的值分類器要么報錯要么把它當連續(xù)特征處理。常見做法是在進入 SMOTE 之前把類別列拆出去只對連續(xù)特征做插值合成完再把類別列按最近鄰樣本的類別值補回去或者干脆對類別列改用 SMOTENC 一類的思路。MATLAB 原生沒有現(xiàn)成的 SMOTENC工程上更省事的辦法是把低頻類別合并、高基數(shù)類別做目標編碼轉(zhuǎn)成數(shù)值后再統(tǒng)一處理。3. 手寫 SMOTE 核心KNN 選點與插值公式在 MATLAB 里怎么落地自己寫一遍不是為了替代工具箱而是為了在參數(shù)不生效、結(jié)果對不上的時候能拆開看。SMOTE 的公式本身只有一行坑基本都在近鄰索引和隨機數(shù)的用法上。3.1 算法三步驟與輸入輸出約定標準 SMOTE 的流程拆成三步找出少數(shù)類樣本集合對集合里每個樣本用 KNN 找 k 個最近鄰在樣本與隨機選中的某個近鄰之間做線性插值合成新樣本。插值公式是x_new x_i λ · (x_zi ? x_i)其中x_zi是x_i的某個近鄰λ是 0 到 1 之間的隨機數(shù)。λ取 0 時合成點與原樣本重合取 1 時落在近鄰上中間的取值保證新樣本落在兩點連線上。這也解釋了為什么 SMOTE 對噪聲敏感如果x_i本身就是被錯標的樣本插值會把錯誤標簽擴散到一整片區(qū)域。函數(shù)接口我一般定成五個輸入特征矩陣、標簽向量、近鄰數(shù) k、目標比例、隨機種子輸出合成樣本矩陣和對應(yīng)標簽。這個約定和后面調(diào)參、對照實驗都能對上。3.2 一個可直接調(diào)的 smote 函數(shù)實現(xiàn)function [X_syn, y_syn] smote_matlab(X, y, k, ratio, seed) % smote_matlab 手寫 SMOTE 過采樣二分類/多分類通用每次只處理一個少數(shù)類 % X 特征矩陣 N x Pdouble已標準化 % y 標簽向量 N x 1數(shù)值或字符串 % k 近鄰數(shù)正整數(shù)必須小于少數(shù)類樣本數(shù) % ratio 目標比例合成后少數(shù)類樣本數(shù) ratio * 多數(shù)類樣本數(shù) % seed 隨機種子保證結(jié)果可復(fù)現(xiàn) if nargin 5, seed 42; end rng(seed, twister); % 找出樣本數(shù)最少的類作為少數(shù)類 [classList, ~, gidx] unique(y); counts accumarray(gidx, 1); [~, minIdx] min(counts); minority classList(minIdx); X_min X(y minority, :); n_min size(X_min, 1); n_maj sum(counts) - n_min; % 計算需要合成多少條 n_target round(ratio * n_maj); n_need n_target - n_min; if n_need 0 X_syn X_min; y_syn repmat(minority, n_min, 1); return; end if k n_min error(k (%d) 必須小于少數(shù)類樣本數(shù) (%d), k, n_min); end % KNN 近鄰K 取 k1 是為了把自身排掉 idx_knn knnsearch(X_min, X_min, K, k 1); idx_knn idx_knn(:, 2:end); % 第一列是自身丟棄 % 逐條生成合成樣本 X_syn zeros(n_need, size(X, 2)); for i 1:n_need base randi(n_min); % 隨機選一個少數(shù)類樣本 nb idx_knn(base, randi(k)); % 從它的 k 個近鄰里隨機選一個 lambda rand(1, size(X, 2)); % 每個維度獨立的隨機插值系數(shù) X_syn(i, :) X_min(base, :) lambda .* (X_min(nb, :) - X_min(base, :)); end y_syn repmat(minority, n_need, 1); endknnsearch返回的索引按距離升序排列第一列是查詢點自身距離 0所以取2:end把自身排除這一步漏掉的話合成樣本會大量與原樣本重合等于做了隨機復(fù)制。randi(n_min)是有放回抽樣同一樣本可能被選中多次這是 SMOTE 的原始設(shè)計不需要去重。lambda這里用了rand(1, P)每個特征維度一個獨立隨機數(shù)也有實現(xiàn)用單個標量rand()對所有維度共用兩種都有人用前者生成的樣本分布更分散后者更貼近原始論文。做對照實驗時固定一種別中途換。調(diào)用方式[Xtr_syn, ytr_syn] smote_matlab(Xtr, ytr, 5, 0.8, 42); Xtr_bal [Xtr; Xtr_syn]; ytr_bal [ytr; ytr_syn]; fprintf(過采樣前少數(shù)類 %d 條過采樣后 %d 條\n, ... sum(ytr minority), sum(ytr_bal minority));ratio取 0.8 表示把少數(shù)類補到多數(shù)類的 80%不一定要補到 1:1。補到完全平衡在多數(shù)場景下并不是最優(yōu)尤其是少數(shù)類里混有噪聲時1:1 會把噪聲的影響放大一倍。3.3 向量化提速別再寫雙重循環(huán)上面的循環(huán)版在小數(shù)據(jù)上沒問題樣本上萬、需要合成幾十萬條時就會明顯變慢。MATLAB 的矩陣索引可以把整個生成過程壓成幾行速度差一個量級。% 向量化版本替換循環(huán)部分 baseIdx randi(n_min, n_need, 1); % 每條樣本的基準點 nbPick randi(k, n_need, 1); % 每條樣本選第幾個近鄰 linIdx sub2ind(size(idx_knn), baseIdx, nbPick); % 轉(zhuǎn)成線性索引 nbIdx idx_knn(linIdx); % 近鄰樣本下標 lambda rand(n_need, size(X, 2)); % 逐維度隨機系數(shù) X_syn X_min(baseIdx, :) ... lambda .* (X_min(nbIdx, :) - X_min(baseIdx, :));關(guān)鍵是sub2indidx_knn是n_min × k的矩陣baseIdx和nbPick是兩個列向量直接寫idx_knn(baseIdx, nbPick)在舊版本 MATLAB 里會按笛卡爾積展開成n_need × n_need的矩陣內(nèi)存瞬間爆掉。sub2ind把它轉(zhuǎn)成線性下標取出來的才是逐元素對應(yīng)的那一個近鄰。這個坑我在一次三十萬條合成的任務(wù)里踩過機器直接卡死。向量化之后X_min(baseIdx, :)會復(fù)制出一份n_need × P的矩陣內(nèi)存占用大約是合成樣本本身的兩倍。數(shù)據(jù)維度很高時P 上千可以分塊生成每塊一萬條拼完再返回。3.4 用內(nèi)置 smote 函數(shù)做交叉驗證較新版本的 Statistics and Machine Learning Toolbox 提供了smote函數(shù)參數(shù)名和默認值在不同版本間可能有差異先用help smote或exist(smote, file)確認本地有沒有再照著幫助文檔寫。手寫版和內(nèi)置版各跑一遍、對比合成樣本的均值和協(xié)方差是確認自己實現(xiàn)沒寫錯的最快方式。if exist(smote, file) 2 % 參數(shù)名以本地 help smote 為準這里只示意調(diào)用形式 [X_builtin, y_builtin] smote(Xtr, ytr, Class, minority, ... K, 5, Ratio, 0.8); fprintf(內(nèi)置函數(shù)合成后樣本數(shù): %d\n, size(X_builtin, 1)); else fprintf(當前環(huán)境沒有 smote 函數(shù)使用手寫版本\n); end對比時不要只看樣本總數(shù)要看每個特征的均值和標準差有沒有被拉偏。合成樣本的均值應(yīng)該落在原少數(shù)類均值附近標準差略小于原分布因為插值會向中心收縮。如果某個特征的標準差突然翻倍多半是那一列沒標準化或者混進了異常值。4. 參數(shù)怎么設(shè)k 值、倍率與隨機種子SMOTE 的可調(diào)參數(shù)不多但每一個都對結(jié)果有實質(zhì)影響。默認值照抄能跑通跑出來的模型好不好用是另一回事。4.1 k 值的取值邊界與失效場景k 是每個少數(shù)類樣本參考的近鄰個數(shù)原始論文建議 5工程上 3 到 10 都常見。k 太小合成樣本緊貼原樣本多樣性不足模型容易過擬合到那幾個點k 太大近鄰可能跨越類別邊界合成點直接落進多數(shù)類區(qū)域等于給模型喂錯標樣本。取值有個硬約束k 必須小于少數(shù)類樣本數(shù)否則knnsearch找不到足夠的近鄰。少數(shù)類只有 20 條時 k 最大取 19但實際取到 15 以上已經(jīng)沒有意義近鄰集合幾乎覆蓋整個少數(shù)類插值退化成在全局范圍內(nèi)隨機撒點。我一般按少數(shù)類樣本數(shù)分檔少數(shù)類樣本數(shù)建議 k說明 201 3近鄰信息不足優(yōu)先補數(shù)據(jù)而不是調(diào) k20 1003 5最常用的區(qū)間100 10005 10可以嘗試更大 k 提升平滑度 10005 15邊際收益遞減重點轉(zhuǎn)向邊界清理判斷 k 是否合適有個簡單辦法合成完之后統(tǒng)計每個合成點到其最近多數(shù)類樣本的距離和少數(shù)類原樣本到最近多數(shù)類樣本的距離分布做對比。合成點的這個距離明顯更小說明插值跨過了邊界k 該調(diào)小。4.2 合成倍率與目標比例倍率決定合成多少條。補到 1:1 是最直覺的做法但在噪聲多的數(shù)據(jù)上往往不是最優(yōu)。少數(shù)類里如果混了 10% 的錯標樣本1:1 過采樣會把這 10% 的錯誤放大成和多數(shù)類同量級的錯誤信號模型精確率會掉得很難看。比較穩(wěn)的做法是從小倍率開始往上加看驗證集上的召回和精確率曲線ratios [0.2 0.4 0.6 0.8 1.0]; results zeros(numel(ratios), 4); % recall, precision, gmean, auc for r 1:numel(ratios) [Xs, ys] smote_matlab(Xtr, ytr, 5, ratios(r), 42); mdl fitcensemble([Xtr; Xs], [ytr; ys], Method, Bag, ... NumLearningCycles, 100); [results(r,1), results(r,2), results(r,3), results(r,4)] ... evalModel(mdl, Xte, yte, minority); endfitcensemble的Bag是 bagged 決策樹對不平衡數(shù)據(jù)本身有一定魯棒性適合作為 SMOTE 的配套分類器NumLearningCycles控制樹的數(shù)量100 是速度和效果的折中數(shù)據(jù)量大時降到 50 也不會差太多。evalModel是下一章要寫的評估函數(shù)放在這里先占位。跑完把results畫出來橫軸是倍率縱軸是指標通常能看到召回隨倍率上升、精確率緩慢下降G-mean 在某一點達到峰值。峰值對應(yīng)的倍率就是你這份數(shù)據(jù)上的合理值不要照搬別人的 1:1。4.3 隨機種子與可復(fù)現(xiàn)性SMOTE 內(nèi)部有兩次隨機選哪個基準樣本、選哪個近鄰、λ 取多少。不固定種子同樣的輸入跑兩次結(jié)果能差好幾個百分點調(diào)參時根本分不清是參數(shù)起作用還是隨機波動。% 每次實驗前固定且不同實驗之間用不同種子做重復(fù) seeds [11 22 33 44 55]; scores zeros(numel(seeds), 1); for s 1:numel(seeds) [Xs, ys] smote_matlab(Xtr, ytr, 5, 0.6, seeds(s)); mdl fitcensemble([Xtr; Xs], [ytr; ys], Method, Bag); [~, ~, g, ~] evalModel(mdl, Xte, yte, minority); scores(s) g; end fprintf(G-mean 均值 %.4f標準差 %.4f\n, mean(scores), std(scores));單次結(jié)果只能說明“能跑”五次不同種子的均值加減標準差才能說明“穩(wěn)定”。如果標準差超過 0.03說明模型對采樣太敏感要么增加數(shù)據(jù)量要么改用對隨機性更魯棒的方案。還有一個容易忽略的點rng是全局狀態(tài)如果代碼里用了parfor并行每個 worker 的隨機流是獨立的rng(seed)在并行環(huán)境下不能保證結(jié)果可復(fù)現(xiàn)。需要并行時用parfor內(nèi)部的rng(seed workerId)或者改用RandStream顯式指定流。4.4 距離度量與特征縮放knnsearch默認歐氏距離對連續(xù)特征合適如果特征里有大量二值列歐氏距離會被稀疏散布稀釋可以考慮Distance參數(shù)改成cosine或mahalanobis。馬氏距離需要協(xié)方差矩陣可逆特征數(shù)大于樣本數(shù)時直接報錯得先降維。% 馬氏距離示例要求少數(shù)類樣本數(shù) 特征數(shù) if size(X_min, 1) size(X_min, 2) idx_knn knnsearch(X_min, X_min, K, k 1, ... Distance, mahalanobis); else idx_knn knnsearch(X_min, X_min, K, k 1); % 退回歐氏距離 end這段判斷不是多余的馬氏距離在樣本數(shù)不足時協(xié)方差矩陣奇異knnsearch會拋警告然后返回 NaN后續(xù)插值全是 NaN錯誤信息要到訓練分類器時才出現(xiàn)排查起來很繞。5. 避坑排查SMOTE 用錯的五個典型現(xiàn)場SMOTE 的代碼短錯法倒是不少。下面五條是我自己和小范圍交流里反復(fù)見到的按“現(xiàn)象 → 原因 → 解決”記下來遇到時對照著查。5.1 召回上去了精確率崩到?jīng)]法看現(xiàn)象過采樣之后少數(shù)類召回從 0.3 漲到 0.85但精確率從 0.7 掉到 0.15模型把所有可疑樣本都判成少數(shù)類。原因合成倍率過高或者少數(shù)類內(nèi)部混有錯標樣本插值把噪聲擴散成一片連續(xù)區(qū)域分類器學到的邊界過寬。少數(shù)類樣本本身如果是從多數(shù)類里錯分出來的SMOTE 會讓這些點的鄰域被大量合成樣本覆蓋。解決先把倍率降到 0.4 左右重跑觀察精確率是否回升再用最近鄰清理把少數(shù)類里 k 個近鄰中多數(shù)類占優(yōu)的樣本剔掉再合成。MATLAB 里可以先用knnsearch在原始全量數(shù)據(jù)上找每個少數(shù)類樣本的近鄰統(tǒng)計近鄰里多數(shù)類的比例超過 0.6 的標記為可疑樣本排除。5.2 交叉驗證分數(shù)漂亮換測試集就掉十幾個點現(xiàn)象五折交叉驗證 AUC 0.93留出測試集只有 0.78。原因過采樣寫在了交叉驗證循環(huán)外面合成樣本先混進全量數(shù)據(jù)再切折同一批合成點既出現(xiàn)在訓練折又出現(xiàn)在驗證折驗證集被污染。這類泄漏在隨機森林和 KNN 上尤其明顯因為模型能直接記住合成點的位置。解決把 SMOTE 移到每一折的訓練集內(nèi)部驗證折完全不參與合成。用cvpartition的KFold時training(cvp, f)和test(cvp, f)要嚴格分開合成只作用于前者。改完分數(shù)通常會掉 5 到 15 個點這才是真實水平。5.3 報錯“K 必須小于樣本數(shù)”或合成樣本大量重復(fù)現(xiàn)象knnsearch拋索引越界或者合成完之后去重發(fā)現(xiàn) 90% 的樣本和原樣本重合。原因k 設(shè)得比少數(shù)類樣本數(shù)還大或者knnsearch返回的近鄰索引里第一列不是自身數(shù)據(jù)里有完全重復(fù)的點時會出現(xiàn)2:end丟掉的是真實近鄰而不是自身。解決函數(shù)入口加k n_min的校驗這一點 3.2 的代碼里已經(jīng)寫了。去重問題先檢查數(shù)據(jù)里有沒有重復(fù)行unique(X_min, rows)去重后再算少數(shù)類樣本數(shù)否則計數(shù)是虛的。如果確實需要大量合成把 k 降到 3 到 5并接受一定比例的重復(fù)。5.4 合成樣本落在多數(shù)類密集區(qū)現(xiàn)象把合成樣本和原始數(shù)據(jù)畫到二維PCA 降維后一看一批合成點明顯扎在多數(shù)類的簇里。原因近鄰跨越了類別邊界。少數(shù)類樣本如果分布在多數(shù)類兩側(cè)k 取大了以后近鄰會包含另一側(cè)的樣本插值路徑直接穿過多數(shù)類區(qū)域。另一個原因是特征沒標準化距離被單一特征主導(dǎo)近鄰選得毫無意義。解決合成后做一次過濾計算每個合成點到最近多數(shù)類樣本的距離小于少數(shù)類原樣本該距離中位數(shù)的直接丟棄。再做一次標準化檢查確認所有特征的取值范圍在同一量級。這兩步能把越界的合成點清掉大半。5.5 每次運行結(jié)果都不一樣調(diào)參無從下手現(xiàn)象同一組參數(shù)跑三次AUC 分別是 0.81、0.76、0.84。原因沒有固定隨機種子或者固定了但代碼里有parfor、randperm混用了不同的隨機流。還有一種是分類器本身帶隨機性隨機森林的 bootstrap 采樣只固定 SMOTE 的種子不夠。解決在腳本最開頭統(tǒng)一rng(seed, twister)SMOTE 函數(shù)內(nèi)部不要再調(diào)用一次rng覆蓋全局狀態(tài)改成把種子作為參數(shù)傳進去但只在入口設(shè)置一次。分類器那邊同樣要設(shè)Reproducible, true如果該模型支持。最后用五次不同種子的均值加減標準差匯報結(jié)果而不是拿單次最好成績。6. 進階用法與驗證用指標和交叉驗證判斷過采樣到底值不值參數(shù)調(diào)完不算結(jié)束得有一套固定的評估流程來回答“加 SMOTE 到底有沒有用”。我習慣把對照實驗寫成一個小腳本一次性跑完基線、加權(quán)、SMOTE 三組輸出同一張表里對比。function [recall, precision, gmean, auc] evalModel(mdl, Xte, yte, posClass) % 在原始分布的測試集上評估posClass 指定少數(shù)類標簽 [label, score] predict(mdl, Xte); cm confusionmat(yte, label, Order, mdl.ClassNames); posIdx find(strcmp(string(mdl.ClassNames), string(posClass)), 1); tp cm(posIdx, posIdx); fn sum(cm(posIdx, :)) - tp; fp sum(cm(:, posIdx)) - tp; tn sum(cm(:)) - tp - fn - fp; recall tp / max(tp fn, eps); precision tp / max(tp fp, eps); gmean sqrt(recall * (tn / max(tn fp, eps))); posCol find(strcmp(string(mdl.ClassNames), string(posClass)), 1); [~, ~, ~, auc] perfcurve(yte, score(:, posCol), posClass); endconfusionmat的Order參數(shù)保證行列順序和mdl.ClassNames一致不然posIdx對不上算出來的召回和精確率會張冠李戴。perfcurve的第四個返回值是 AUC第二個輸入必須是正類的分數(shù)列列號同樣按ClassNames查。三組對照的寫法方案訓練集處理分類器設(shè)置基線原樣默認參數(shù)加權(quán)原樣Prior設(shè)為Empirical或手動指定類權(quán)重SMOTE過采樣到 0.6默認參數(shù)跑完看三列數(shù)字召回提升幅度、精確率損失、G-mean 凈變化。SMOTE 組如果 G-mean 比加權(quán)組還低說明這份數(shù)據(jù)上過采樣不如直接調(diào)權(quán)重沒必要硬上。還有一個我常做的檢查把合成樣本和原樣本分別標記訓練完之后看模型對合成樣本的預(yù)測準確率。如果模型對合成樣本的準確率接近 100%對原始少數(shù)類樣本只有 70%說明它在背合成點這批合成樣本的質(zhì)量有問題得回頭查 k 和邊界清理。從那以后我每次上 SMOTE 之前都強制先跑一遍“先切分、再標準化、只在訓練折內(nèi)合成”的流程檢查參數(shù)可以慢慢調(diào)順序錯了后面全是白工。希望幫到你。本文還有配套的精品資源點擊獲取