數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)與避坑指南)
前些天整理算法實(shí)驗(yàn)記錄時(shí)翻到一組線性LDA、k-means、SVM三種方法在鳶尾花數(shù)據(jù)集和月亮數(shù)據(jù)集上的二分類對(duì)比筆記覺得特別適合拿出來重新梳理一遍。這三個(gè)算法一個(gè)是有監(jiān)督線性分類器、一個(gè)是無監(jiān)督聚類算法、一個(gè)是帶核技巧的判別模型放在兩個(gè)難度完全不同的數(shù)據(jù)集上做對(duì)照實(shí)驗(yàn)?zāi)芊浅Ｖ庇^地暴露出每種算法對(duì)數(shù)據(jù)分布的假設(shè)是什么、在什么條件下會(huì)失靈。這篇文章就把整個(gè)實(shí)驗(yàn)的設(shè)計(jì)、原理、代碼、踩坑點(diǎn)全部展開供做入門機(jī)器學(xué)習(xí)對(duì)比實(shí)驗(yàn)的同學(xué)直接參考復(fù)現(xiàn)。這個(gè)實(shí)驗(yàn)適合什么水平的讀者不管你是剛接觸分類算法的新手還是想系統(tǒng)對(duì)比經(jīng)典模型的老手都能從里面拿到一些東西。新手可以照著代碼把流程跑通理解三類算法的核心思想老手可以直接跳到第5章那里整理了幾個(gè)非常容易踩的坑包括k-means的標(biāo)簽錯(cuò)位、標(biāo)準(zhǔn)化順序?qū)е碌脑u(píng)估污染、核函數(shù)參數(shù)選擇等。1. 方案選型三種算法放在一起到底要比什么1.1 為什么選這三個(gè)算法我在設(shè)計(jì)實(shí)驗(yàn)時(shí)沒有貪多求全刻意選了線性LDA、k-means、SVM這三個(gè)核心原因是它們?cè)诜诸愡@件事上代表了三條完全不同的技術(shù)路線。LDA全稱線性判別分析走的是投影分離路線找一個(gè)投影方向讓兩類樣本投影后類間距離盡量大、類內(nèi)散度盡量小既當(dāng)分類器又當(dāng)降維工具。k-means嚴(yán)格來說不是分類器它是個(gè)無監(jiān)督聚類算法把樣本劃分成K個(gè)簇每個(gè)簇的中心就是簇的代表在實(shí)驗(yàn)中我用它強(qiáng)行做二分類正好用來觀察無監(jiān)督方法在缺少標(biāo)簽監(jiān)督時(shí)會(huì)發(fā)生什么。SVM走的是間隔最大化路線搜索一個(gè)超平面讓兩類樣本的間距最大配合核函數(shù)還能處理非線性邊界。這三種路線放在一起本質(zhì)上是在逼問一個(gè)問題同一個(gè)分類任務(wù)在無監(jiān)督、線性有監(jiān)督、非線性有監(jiān)督三種條件下模型各有什么表現(xiàn)這種對(duì)比比單獨(dú)調(diào)某個(gè)模型的參數(shù)有價(jià)值得多它能幫你建立對(duì)算法本質(zhì)的直覺。1.2 為什么選這兩個(gè)數(shù)據(jù)集數(shù)據(jù)集選型也花了點(diǎn)心思。鳶尾花數(shù)據(jù)集是機(jī)器學(xué)習(xí)界最經(jīng)典的入門數(shù)據(jù)包含4個(gè)特征、3個(gè)類別我裁掉山鳶尾這一類只保留 versicolor 和 virginica 做二分類。為什么這么選如果拿 setosa 和其余兩類分邊界大得離譜模型太好區(qū)分了演示不出差異而 versicolor 和 virginica 在多個(gè)特征維度上本來就有重疊線性模型不是100%完美分割這才有對(duì)比的意義。月亮數(shù)據(jù)集是sklearn里make_moons生成的人工數(shù)據(jù)形狀像兩個(gè)月牙交錯(cuò)在一起。這個(gè)數(shù)據(jù)集在二維平面上根本不存在一條直線能完全分開兩類天生就是為考驗(yàn)非線性模型設(shè)計(jì)的。把這兩個(gè)數(shù)據(jù)集放一起正好覆蓋了“線性可分”和“線性不可分”兩個(gè)極端場(chǎng)景三種算法在這兩種場(chǎng)景下的表現(xiàn)差異會(huì)非常清晰。1.3 實(shí)驗(yàn)設(shè)計(jì)的預(yù)期假設(shè)做實(shí)驗(yàn)之前我先寫下預(yù)期在鳶尾花的二分類上LDA和線性SVM應(yīng)該表現(xiàn)接近都能達(dá)到較高準(zhǔn)確率k-means因?yàn)槭蔷垲愋ЧQ于數(shù)據(jù)是否滿足球形簇假設(shè)versicolor和virginica在四維特征空間里雖然不完全呈球狀但總體還算緊湊所以也應(yīng)該能達(dá)到可用水平但大概率不如監(jiān)督模型。在月亮數(shù)據(jù)集上LDA和線性SVM都會(huì)因?yàn)檫吔绶蔷€性而明顯掉分RBF核的SVM應(yīng)該能取得壓倒性優(yōu)勢(shì)k-means則最慘月牙形狀完全違背它“各向同性球形簇”的假設(shè)。實(shí)際跑出來的結(jié)果基本印證了這些預(yù)判但過程中的細(xì)節(jié)比我預(yù)想的更有意思后面詳細(xì)說。2. 數(shù)據(jù)集構(gòu)造與預(yù)處理2.1 鳶尾花數(shù)據(jù)集的二分類裁剪拿到鳶尾花數(shù)據(jù)后第一步就是從三分類裁剪成二分類。具體邏輯是只保留類別標(biāo)簽為1和2的樣本也就是versicolor和virginica把標(biāo)簽重映射成0和1。示例代碼如下from sklearn.datasets import load_iris iris load_iris() X_all iris.data y_all iris.target mask y_all ! 0 # 去掉setosa X_iris X_all[mask] y_iris (y_all[mask] 1).astype(int) print(X_iris.shape, y_iris.shape) # 預(yù)期輸出: (100, 4) (100,)這樣處理后樣本量是100條特征維度保持4維。注意我沒有把特征裁剪成2維而是保留完整4維目的是讓正式評(píng)估更接近真實(shí)任務(wù)后面可視化決策邊界時(shí)我會(huì)單獨(dú)取兩個(gè)特征重新擬合只為了讓邊界畫在二維平面上評(píng)估結(jié)果以四維模型為準(zhǔn)。2.2 月亮數(shù)據(jù)集的生成月亮數(shù)據(jù)集直接用make_moons生成這里有幾個(gè)參數(shù)是必須關(guān)注的。n_samples控制樣本總數(shù)noise控制兩類邊界的重疊程度random_state控制隨機(jī)種子。我把噪聲設(shè)成0.1這個(gè)值不大不小生成的月亮形狀還看得出來但兩類邊界附近已經(jīng)有部分樣本交叉不會(huì)出現(xiàn)“完美一刀切”的假象from sklearn.datasets import make_moons X_moon, y_moon make_moons(n_samples300, noise0.1, random_state42) print(X_moon.shape, y_moon.shape) # 預(yù)期輸出: (300, 2) (300,)這里有個(gè)細(xì)節(jié)值得說如果你把噪聲設(shè)成0數(shù)據(jù)集就完全可分LDA和線性SVM雖然分不開但準(zhǔn)確率也會(huì)相當(dāng)難看k-means則徹底崩盤對(duì)比效果反而刻意噪聲太大又會(huì)讓所有模型都掉分看不出算法差異。0.1是我試過多個(gè)值之后覺得最均衡的。2.3 特征標(biāo)準(zhǔn)化與模型評(píng)估流程預(yù)處理部分最容易犯的一個(gè)錯(cuò)誤是直接用整個(gè)數(shù)據(jù)集做標(biāo)準(zhǔn)化然后再劃分訓(xùn)練測(cè)試集。這會(huì)引入數(shù)據(jù)泄露測(cè)試集的信息在訓(xùn)練前就暴露給了模型。正確做法是先劃分再用訓(xùn)練集的信息去fit標(biāo)準(zhǔn)化器然后用同一個(gè)標(biāo)準(zhǔn)化器去transform測(cè)試集。代碼如下from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler X_train_i, X_test_i, y_train_i, y_test_i train_test_split( X_iris, y_iris, test_size0.3, random_state42, stratifyy_iris ) X_train_m, X_test_m, y_train_m, y_test_m train_test_split( X_moon, y_moon, test_size0.3, random_state42, stratifyy_moon ) sc StandardScaler() X_train_i sc.fit_transform(X_train_i) X_test_i sc.transform(X_test_i) sc2 StandardScaler() X_train_m sc2.fit_transform(X_train_m) X_test_m sc2.transform(X_test_m)stratifyy_iris這個(gè)參數(shù)也值得一提它保證訓(xùn)練集和測(cè)試集中兩個(gè)類別的比例與原數(shù)據(jù)集保持一致防止隨機(jī)劃分導(dǎo)致某一類在測(cè)試集里偏多或偏少從而影響評(píng)估的公平性。對(duì)于樣本量只有100的鳶尾花二分類數(shù)據(jù)分層抽樣特別重要。3. 三個(gè)算法的核心原理與實(shí)現(xiàn)要點(diǎn)3.1 線性LDA找一個(gè)方向讓兩類投影后距離最大LDA的思路非常直觀。把高維樣本投影到一條直線或者一個(gè)低維平面上投影的目的是讓兩個(gè)類別在投影空間里盡量分開。分開的標(biāo)準(zhǔn)有兩個(gè)一是兩個(gè)類的均值向量盡量遠(yuǎn)這在數(shù)學(xué)上對(duì)應(yīng)“類間散度”大二是每個(gè)類內(nèi)部的樣本盡量聚攏對(duì)應(yīng)“類內(nèi)散度”小。LDA的優(yōu)化目標(biāo)就是讓類間散度與類內(nèi)散度的比值最大。說人話就是兩個(gè)班級(jí)的考試成績(jī)?nèi)绻幻蠋熛胪ㄟ^一個(gè)指標(biāo)把兩個(gè)班區(qū)分開最好的指標(biāo)應(yīng)該是兩個(gè)班平均分差得越遠(yuǎn)越好同時(shí)每個(gè)班內(nèi)部成績(jī)波動(dòng)越小越好。LDA就是在找這樣一個(gè)指標(biāo)方向。在scikit-learn里調(diào)用LDA非常簡(jiǎn)單from sklearn.discriminant_analysis import LinearDiscriminantAnalysis lda LinearDiscriminantAnalysis() lda.fit(X_train_i, y_train_i) y_pred_i lda.predict(X_test_i)更容易被忽略的是LDA的降維屬性。在二分類場(chǎng)景下LDA只會(huì)產(chǎn)生一個(gè)判別方向用lda.transform(X)可以把任意多維特征壓縮成一維然后直接對(duì)一維數(shù)據(jù)做分類或可視化。這一點(diǎn)在后面分析實(shí)驗(yàn)中會(huì)用上。3.2 k-means把樣本劃成兩堆標(biāo)簽怎么對(duì)是后話k-means的核心邏輯簡(jiǎn)單粗暴先隨機(jī)初始化K個(gè)聚類中心把每個(gè)樣本劃給離它最近的中心然后重新計(jì)算每個(gè)簇的中心作為新的聚類中心不停迭代直到中心位置不再變化。這里K就是簇的數(shù)量在我們的二分類實(shí)驗(yàn)里K2。k-means有個(gè)致命問題它只管把樣本分成兩堆但完全不知道哪堆對(duì)應(yīng)真實(shí)標(biāo)簽的1、哪堆對(duì)應(yīng)0。如果直接拿kmeans.predict(X_test)的0/1結(jié)果去算準(zhǔn)確率很可能因?yàn)闃?biāo)簽恰好翻轉(zhuǎn)而得到極低的分?jǐn)?shù)算法本身效果其實(shí)還行。解決方式是在訓(xùn)練集上做一次映射統(tǒng)計(jì)每個(gè)簇中真實(shí)標(biāo)簽的多數(shù)值把這個(gè)簇的0/1輸出映射到真實(shí)類別。這個(gè)坑幾乎每個(gè)初跑k-means做分類的人都會(huì)踩我在第5章給出完整的處理和示例代碼。另外k-means對(duì)“簇的形狀”有很強(qiáng)的假設(shè)它默認(rèn)每個(gè)簇是各向同性的球形。鳶尾花的類別在標(biāo)準(zhǔn)化后的四維空間里還算接近凸簇所以k-means能用月亮數(shù)據(jù)天然是兩個(gè)弧形交叉這完全不符合球形簇假設(shè)k-means在它上面的表現(xiàn)為0基本可以預(yù)判。3.3 SVM讓超平面離兩類樣本都盡量遠(yuǎn)SVM的思想是在兩類樣本之間找一個(gè)分隔超平面并且讓這個(gè)超平面到兩邊最近樣本的距離之和最大。離超平面最近的樣本點(diǎn)就叫“支持向量”它們決定了邊界的位置其他樣本點(diǎn)對(duì)結(jié)果沒有影響。這個(gè)特性讓SVM在小樣本、高維場(chǎng)景下表現(xiàn)得非常穩(wěn)定。線性SVM解決的是線性可分或近似線性可分問題?？墒窃铝翑?shù)據(jù)集在二維空間里線性不可分這時(shí)候就需要核函數(shù)。RBF核徑向基函數(shù)核做的事是把樣本映射到一個(gè)更高維的空間里讓原本交錯(cuò)的數(shù)據(jù)在高維空間變得線性可分。RBF核有兩個(gè)關(guān)鍵超參數(shù)引入了一個(gè)額外的gamma參數(shù)控制單個(gè)樣本的影響力范圍。通常gamma越大決策邊界越復(fù)雜也越容易過擬合gamma太小邊界過于平滑非線性信息就沒學(xué)到。實(shí)際中用scikit-learn切換線性核和RBF核非常方便from sklearn.svm import SVC svm_linear SVC(kernellinear, random_state42) svm_rbf SVC(kernelrbf, gammascale, random_state42)我們的實(shí)驗(yàn)里兩種核都會(huì)跑這樣就能清楚看到同樣的SVM在核技巧加持下的效果差異。4. 實(shí)操過程與結(jié)果對(duì)比4.1 完整訓(xùn)練與評(píng)估流程接下來是完整的模型訓(xùn)練和評(píng)估代碼我把LDA、k-means、線性SVM、RBF核SVM分別封裝成列表在鳶尾花和月亮數(shù)據(jù)集上統(tǒng)一訓(xùn)練和預(yù)測(cè)。k-means的標(biāo)簽映射函數(shù)也直接寫在里面保證代碼能一鍵跑通import numpy as np from collections import Counter from sklearn.cluster import KMeans from sklearn.svm import SVC from sklearn.discriminant_analysis import LinearDiscriminantAnalysis from sklearn.metrics import accuracy_score, confusion_matrix def cluster_to_label(clusters, y_true): # 統(tǒng)計(jì)每個(gè)簇里真實(shí)標(biāo)簽的多數(shù)建立映射 mapping {} for c in np.unique(clusters): labels y_true[clusters c] mapping[c] Counter(labels).most_common(1)[0][0] return mapping def run_evaluation(X_train, X_test, y_train, y_test): results {} lda LinearDiscriminantAnalysis() lda.fit(X_train, y_train) results[LDA] lda.predict(X_test) km KMeans(n_clusters2, n_init10, random_state42) km.fit(X_train) train_clusters km.predict(X_train) mapping cluster_to_label(train_clusters, y_train) results[kmeans] np.array([mapping[c] for c in km.predict(X_test)]) svm_lin SVC(kernellinear, random_state42) svm_lin.fit(X_train, y_train) results[SVM_linear] svm_lin.predict(X_test) svm_rbf SVC(kernelrbf, gammascale, random_state42) svm_rbf.fit(X_train, y_train) results[SVM_rbf] svm_rbf.predict(X_test) for name, y_pred in results.items(): acc accuracy_score(y_test, y_pred) print(f{name}: acc {acc:.4f}) print(confusion_matrix(y_test, y_pred)) run_evaluation(X_train_i, X_test_i, y_train_i, y_test_i) print(---) run_evaluation(X_train_m, X_test_m, y_train_m, y_test_m)運(yùn)行這個(gè)代碼后最值得看的輸出有三塊每個(gè)模型的準(zhǔn)確率、混淆矩陣以及兩類錯(cuò)誤的分布?；煜仃囋谶@里比準(zhǔn)確率更誠(chéng)實(shí)比如k-means如果錯(cuò)得均勻準(zhǔn)確率大概還能過半但看混淆矩陣會(huì)發(fā)現(xiàn)它其實(shí)是把一個(gè)簇的中心放偏了根本不是在做正確的邊界決策。4.2 決策邊界可視化模型評(píng)估做到位了最好再畫一張二維決策邊界圖。這一步能讓抽象的對(duì)比變得一目了然線性模型的邊界是一條直線RBF核SVM的邊界是一個(gè)彎曲帶k-means的邊界是“垂直平分線”式的折線。我提供一段通用的可視化函數(shù)針對(duì)月亮數(shù)據(jù)的兩維特征直接使用鳶尾花則特意取花瓣長(zhǎng)度和花瓣寬度兩列重新擬合模型方便展示二維邊界。import matplotlib.pyplot as plt from matplotlib.colors import ListedColormap def plot_decision_boundary(ax, model, X, y, title, mapperNone): x_min, x_max X[:, 0].min() - 0.3, X[:, 0].max() 0.3 y_min, y_max X[:, 1].min() - 0.3, X[:, 1].max() 0.3 xx, yy np.meshgrid(np.linspace(x_min, x_max, 400), np.linspace(y_min, y_max, 400)) grid np.c_[xx.ravel(), yy.ravel()] Z model.predict(grid) if mapper is not None: Z np.array([mapper[z] for z in Z]) Z Z.reshape(xx.shape) ax.contourf(xx, yy, Z, alpha0.25, cmapListedColormap([#88aaff, #ffaa88])) for label in (0, 1): ax.scatter(X[y label, 0], X[y label, 1], color#3366cc if label 0 else #cc5533, edgecolorwhite, s28, alpha0.85) ax.set_title(title) ax.set_xlabel(feature 1) ax.set_ylabel(feature 2)繪制后的典型特征是月亮數(shù)據(jù)集上LDA的邊界就是一條斜直線左半邊把藍(lán)色樣本切掉了一大塊線性SVM的直線方向和位置略有不同但本質(zhì)上也是直線準(zhǔn)確率半斤八兩RBF核SVM的邊界則是一條平滑的彎曲帶順著兩個(gè)月牙的弧度走k-means的邊界是兩簇中心連線的垂直平分線無法貼合弧線導(dǎo)致大量樣本被分錯(cuò)。這些視覺差異比任何指標(biāo)都更讓人印象深刻。4.3 結(jié)果對(duì)比表與規(guī)律分析把一次固定隨機(jī)種子運(yùn)行得到的結(jié)果整理成表格如下數(shù)據(jù)集模型準(zhǔn)確率備注鳶尾花二分類LDA0.9667四維特征鳶尾花二分類k-means0.8667標(biāo)簽映射后鳶尾花二分類SVM linear0.9667四維特征鳶尾花二分類SVM rbf0.9667四維特征月亮數(shù)據(jù)集LDA0.8444線性邊界上限月亮數(shù)據(jù)集k-means0.5778僅比隨機(jī)略好月亮數(shù)據(jù)集SVM linear0.8444線性邊界上限月亮數(shù)據(jù)集SVM rbf0.9667非線性邊界這里我標(biāo)一下具體數(shù)字會(huì)受隨機(jī)種子影響但結(jié)論方向是穩(wěn)定的。比如鳶尾花的LDA和SVM換種子后可能一個(gè)0.9333、一個(gè)0.9667名次互有浮動(dòng)但k-means掉到0.87以下在多次實(shí)驗(yàn)里都出現(xiàn)了。月亮數(shù)據(jù)集上LDA和線性SVM的準(zhǔn)確率非常接近兩者的線性本質(zhì)決定了它們的上限差不多RBF核SVM基本穩(wěn)定在0.95以上核技巧的效果非常硬核。從結(jié)果里能提煉出三個(gè)規(guī)律第一同一算法在不同數(shù)據(jù)上表現(xiàn)差異極大問題不是算法不行是算法和數(shù)據(jù)分布不匹配第二模型和數(shù)據(jù)本質(zhì)一致時(shí)簡(jiǎn)單線性模型往往是性價(jià)比最高的選擇第三無監(jiān)督方法即使經(jīng)過標(biāo)簽映射本質(zhì)上仍在做聚類而不是分類它的錯(cuò)誤模式跟監(jiān)督分類器完全不同。5. 常見問題與避坑指南5.1 k-means的標(biāo)簽映射差點(diǎn)被0.5準(zhǔn)確率騙了這是本次實(shí)驗(yàn)里最大的坑。最初跑k-means時(shí)我直接用kmeans.predict(X_test)返回的0/1結(jié)果去算準(zhǔn)確率出來的數(shù)字慘不忍睹一度以為代碼寫錯(cuò)了。排查后發(fā)現(xiàn)模型聚類效果不錯(cuò)但簇0對(duì)應(yīng)的是真實(shí)類別1簇1對(duì)應(yīng)的是真實(shí)類別0標(biāo)簽正好翻轉(zhuǎn)。因?yàn)閮深悩颖緮?shù)量幾乎相等翻轉(zhuǎn)后準(zhǔn)確率只剩一半跟隨機(jī)猜差不多。解決方案就是我前面代碼中的映射方法。不過映射函數(shù)寫得簡(jiǎn)陋也會(huì)有隱患如果某個(gè)簇里兩類樣本數(shù)量接近少數(shù)服從多數(shù)就可能誤判。更穩(wěn)妥的做法是使用匈牙利算法做全局最優(yōu)匹配最小化總體錯(cuò)分?jǐn)?shù)量但二分類情況下多數(shù)投票通常已經(jīng)夠用。提醒一下這個(gè)映射必須在訓(xùn)練集上統(tǒng)計(jì)不能拿測(cè)試集來映射否則又成了數(shù)據(jù)泄露。5.2 隨機(jī)種子跑同一個(gè)代碼結(jié)果卻不一樣如果你跑下來發(fā)現(xiàn)數(shù)字跟我的不完全一致大概率是隨機(jī)種子問題。k-means的初始聚類中心是隨機(jī)的train_test_split的劃分是隨機(jī)的make_moons生成數(shù)據(jù)也是隨機(jī)的。要得到可復(fù)現(xiàn)的結(jié)果每個(gè)帶隨機(jī)的環(huán)節(jié)都固定random_state包括KMeans、SVC、train_test_split、make_moons。特別是KMeans除了random_state還有n_init參數(shù)它表示用不同初始中心跑多少次、取最好結(jié)果默認(rèn)10次就夠了不要手動(dòng)調(diào)成1次第一次初始化的隨機(jī)性太強(qiáng)結(jié)果可能大幅波動(dòng)。5.3 標(biāo)準(zhǔn)化順序90%的人都會(huì)犯的錯(cuò)誤標(biāo)準(zhǔn)化必須先做訓(xùn)練/測(cè)試集劃分再在訓(xùn)練集上scaler.fit_transform測(cè)試集上scaler.transform。實(shí)際代碼里好多人在數(shù)據(jù)準(zhǔn)備階段就直接StandardScaler().fit_transform(X)用整個(gè)數(shù)據(jù)集的信息做標(biāo)準(zhǔn)化然后再劃分。這個(gè)錯(cuò)誤在樣本少、特征方差大的數(shù)據(jù)集上會(huì)放大導(dǎo)致測(cè)試集的信息被訓(xùn)練器偷看得出的準(zhǔn)確率虛高。這一條對(duì)LDA影響可能不大但對(duì)SVM影響很明顯因?yàn)镾VM對(duì)特征尺度極其敏感。5.4 評(píng)估指標(biāo)不要只看準(zhǔn)確率準(zhǔn)確率在二分類均衡樣本下是合理的但當(dāng)樣本不平衡時(shí)準(zhǔn)確率會(huì)騙人。比如99%的樣本是A類模型全部預(yù)測(cè)A類準(zhǔn)確率就是99%但這個(gè)模型毫無價(jià)值。因此即使本實(shí)驗(yàn)樣本是均衡的我也建議大家同時(shí)打印混淆矩陣觀察模型到底在哪個(gè)類別上更容易犯錯(cuò)。尤其是月亮數(shù)據(jù)集上的線性模型混淆矩陣會(huì)顯示它們幾乎是在同一邊界上犯同樣的錯(cuò)說明犯錯(cuò)誤的方向是一致的。5.5 kmeans真的不適合當(dāng)分類器通過這次實(shí)驗(yàn)我對(duì)k-means當(dāng)分類器的態(tài)度更加明確了它適合做數(shù)據(jù)探索和預(yù)聚類但不適合直接當(dāng)監(jiān)督分類器使用。沒有標(biāo)簽信息的情況下模型根本不知道哪個(gè)類別更重要也不會(huì)對(duì)決策邊界做任何優(yōu)化它劃分的是幾何近鄰關(guān)系而不是類別學(xué)習(xí)關(guān)系。真要拿它做分類只能是在標(biāo)簽很少或者干脆沒有標(biāo)簽的冷啟動(dòng)場(chǎng)景里給監(jiān)督模型提供一個(gè)粗糙的初始化或者偽標(biāo)簽而不是指望它給出精確的決策結(jié)果。6. 一點(diǎn)收尾的實(shí)操體會(huì)整套實(shí)驗(yàn)跑下來我最深的體會(huì)是算法選型之前先問問你的數(shù)據(jù)長(zhǎng)什么樣。鳶尾花數(shù)據(jù)線性可分度不錯(cuò)LDA和線性SVM的表現(xiàn)就很好月亮數(shù)據(jù)是非線性結(jié)構(gòu)線性家族集體敗北上RBF核的SVM立刻扳回一局。而k-means在無監(jiān)督條件下哪怕給你正確的類別數(shù)也只能在數(shù)據(jù)恰好符合球形簇假設(shè)時(shí)才勉強(qiáng)能用。這種用一個(gè)算法去匹配數(shù)據(jù)分布的直覺不是靠背理論記住的是靠親手跑幾個(gè)對(duì)比實(shí)驗(yàn)硬生生練出來的。另外多說一句如果你也想做類似實(shí)驗(yàn)建議在跑完標(biāo)準(zhǔn)流程后自己改一兩個(gè)變量再看看結(jié)果。比如把月亮數(shù)據(jù)集的噪聲從0.1改到0.2或者把鳶尾花的二分類改成山鳶尾對(duì)versicolor你會(huì)看到同一個(gè)模型在不同難度下的表現(xiàn)差異那種感覺比只看一兩組固定數(shù)字要過癮得多。 LDA、K-Means、SVM三大算法在兩個(gè)數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)與避坑指南
前些天整理算法實(shí)驗(yàn)記錄時(shí)翻到一組線性LDA、k-means、SVM三種方法在鳶尾花數(shù)據(jù)集和月亮數(shù)據(jù)集上的二分類對(duì)比筆記覺得特別適合拿出來重新梳理一遍。這三個(gè)算法一個(gè)是有監(jiān)督線性分類器、一個(gè)是無監(jiān)督聚類算法、一個(gè)是帶核技巧的判別模型放在兩個(gè)難度完全不同的數(shù)據(jù)集上做對(duì)照實(shí)驗(yàn)?zāi)芊浅Ｖ庇^地暴露出每種算法對(duì)數(shù)據(jù)分布的假設(shè)是什么、在什么條件下會(huì)失靈。這篇文章就把整個(gè)實(shí)驗(yàn)的設(shè)計(jì)、原理、代碼、踩坑點(diǎn)全部展開供做入門機(jī)器學(xué)習(xí)對(duì)比實(shí)驗(yàn)的同學(xué)直接參考復(fù)現(xiàn)。這個(gè)實(shí)驗(yàn)適合什么水平的讀者不管你是剛接觸分類算法的新手還是想系統(tǒng)對(duì)比經(jīng)典模型的老手都能從里面拿到一些東西。新手可以照著代碼把流程跑通理解三類算法的核心思想老手可以直接跳到第5章那里整理了幾個(gè)非常容易踩的坑包括k-means的標(biāo)簽錯(cuò)位、標(biāo)準(zhǔn)化順序?qū)е碌脑u(píng)估污染、核函數(shù)參數(shù)選擇等。1. 方案選型三種算法放在一起到底要比什么1.1 為什么選這三個(gè)算法我在設(shè)計(jì)實(shí)驗(yàn)時(shí)沒有貪多求全刻意選了線性LDA、k-means、SVM這三個(gè)核心原因是它們?cè)诜诸愡@件事上代表了三條完全不同的技術(shù)路線。LDA全稱線性判別分析走的是投影分離路線找一個(gè)投影方向讓兩類樣本投影后類間距離盡量大、類內(nèi)散度盡量小既當(dāng)分類器又當(dāng)降維工具。k-means嚴(yán)格來說不是分類器它是個(gè)無監(jiān)督聚類算法把樣本劃分成K個(gè)簇每個(gè)簇的中心就是簇的代表在實(shí)驗(yàn)中我用它強(qiáng)行做二分類正好用來觀察無監(jiān)督方法在缺少標(biāo)簽監(jiān)督時(shí)會(huì)發(fā)生什么。SVM走的是間隔最大化路線搜索一個(gè)超平面讓兩類樣本的間距最大配合核函數(shù)還能處理非線性邊界。這三種路線放在一起本質(zhì)上是在逼問一個(gè)問題同一個(gè)分類任務(wù)在無監(jiān)督、線性有監(jiān)督、非線性有監(jiān)督三種條件下模型各有什么表現(xiàn)這種對(duì)比比單獨(dú)調(diào)某個(gè)模型的參數(shù)有價(jià)值得多它能幫你建立對(duì)算法本質(zhì)的直覺。1.2 為什么選這兩個(gè)數(shù)據(jù)集數(shù)據(jù)集選型也花了點(diǎn)心思。鳶尾花數(shù)據(jù)集是機(jī)器學(xué)習(xí)界最經(jīng)典的入門數(shù)據(jù)包含4個(gè)特征、3個(gè)類別我裁掉山鳶尾這一類只保留 versicolor 和 virginica 做二分類。為什么這么選如果拿 setosa 和其余兩類分邊界大得離譜模型太好區(qū)分了演示不出差異而 versicolor 和 virginica 在多個(gè)特征維度上本來就有重疊線性模型不是100%完美分割這才有對(duì)比的意義。月亮數(shù)據(jù)集是sklearn里make_moons生成的人工數(shù)據(jù)形狀像兩個(gè)月牙交錯(cuò)在一起。這個(gè)數(shù)據(jù)集在二維平面上根本不存在一條直線能完全分開兩類天生就是為考驗(yàn)非線性模型設(shè)計(jì)的。把這兩個(gè)數(shù)據(jù)集放一起正好覆蓋了“線性可分”和“線性不可分”兩個(gè)極端場(chǎng)景三種算法在這兩種場(chǎng)景下的表現(xiàn)差異會(huì)非常清晰。1.3 實(shí)驗(yàn)設(shè)計(jì)的預(yù)期假設(shè)做實(shí)驗(yàn)之前我先寫下預(yù)期在鳶尾花的二分類上LDA和線性SVM應(yīng)該表現(xiàn)接近都能達(dá)到較高準(zhǔn)確率k-means因?yàn)槭蔷垲愋ЧQ于數(shù)據(jù)是否滿足球形簇假設(shè)versicolor和virginica在四維特征空間里雖然不完全呈球狀但總體還算緊湊所以也應(yīng)該能達(dá)到可用水平但大概率不如監(jiān)督模型。在月亮數(shù)據(jù)集上LDA和線性SVM都會(huì)因?yàn)檫吔绶蔷€性而明顯掉分RBF核的SVM應(yīng)該能取得壓倒性優(yōu)勢(shì)k-means則最慘月牙形狀完全違背它“各向同性球形簇”的假設(shè)。實(shí)際跑出來的結(jié)果基本印證了這些預(yù)判但過程中的細(xì)節(jié)比我預(yù)想的更有意思后面詳細(xì)說。2. 數(shù)據(jù)集構(gòu)造與預(yù)處理2.1 鳶尾花數(shù)據(jù)集的二分類裁剪拿到鳶尾花數(shù)據(jù)后第一步就是從三分類裁剪成二分類。具體邏輯是只保留類別標(biāo)簽為1和2的樣本也就是versicolor和virginica把標(biāo)簽重映射成0和1。示例代碼如下from sklearn.datasets import load_iris iris load_iris() X_all iris.data y_all iris.target mask y_all ! 0 # 去掉setosa X_iris X_all[mask] y_iris (y_all[mask] 1).astype(int) print(X_iris.shape, y_iris.shape) # 預(yù)期輸出: (100, 4) (100,)這樣處理后樣本量是100條特征維度保持4維。注意我沒有把特征裁剪成2維而是保留完整4維目的是讓正式評(píng)估更接近真實(shí)任務(wù)后面可視化決策邊界時(shí)我會(huì)單獨(dú)取兩個(gè)特征重新擬合只為了讓邊界畫在二維平面上評(píng)估結(jié)果以四維模型為準(zhǔn)。2.2 月亮數(shù)據(jù)集的生成月亮數(shù)據(jù)集直接用make_moons生成這里有幾個(gè)參數(shù)是必須關(guān)注的。n_samples控制樣本總數(shù)noise控制兩類邊界的重疊程度random_state控制隨機(jī)種子。我把噪聲設(shè)成0.1這個(gè)值不大不小生成的月亮形狀還看得出來但兩類邊界附近已經(jīng)有部分樣本交叉不會(huì)出現(xiàn)“完美一刀切”的假象from sklearn.datasets import make_moons X_moon, y_moon make_moons(n_samples300, noise0.1, random_state42) print(X_moon.shape, y_moon.shape) # 預(yù)期輸出: (300, 2) (300,)這里有個(gè)細(xì)節(jié)值得說如果你把噪聲設(shè)成0數(shù)據(jù)集就完全可分LDA和線性SVM雖然分不開但準(zhǔn)確率也會(huì)相當(dāng)難看k-means則徹底崩盤對(duì)比效果反而刻意噪聲太大又會(huì)讓所有模型都掉分看不出算法差異。0.1是我試過多個(gè)值之后覺得最均衡的。2.3 特征標(biāo)準(zhǔn)化與模型評(píng)估流程預(yù)處理部分最容易犯的一個(gè)錯(cuò)誤是直接用整個(gè)數(shù)據(jù)集做標(biāo)準(zhǔn)化然后再劃分訓(xùn)練測(cè)試集。這會(huì)引入數(shù)據(jù)泄露測(cè)試集的信息在訓(xùn)練前就暴露給了模型。正確做法是先劃分再用訓(xùn)練集的信息去fit標(biāo)準(zhǔn)化器然后用同一個(gè)標(biāo)準(zhǔn)化器去transform測(cè)試集。代碼如下from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler X_train_i, X_test_i, y_train_i, y_test_i train_test_split( X_iris, y_iris, test_size0.3, random_state42, stratifyy_iris ) X_train_m, X_test_m, y_train_m, y_test_m train_test_split( X_moon, y_moon, test_size0.3, random_state42, stratifyy_moon ) sc StandardScaler() X_train_i sc.fit_transform(X_train_i) X_test_i sc.transform(X_test_i) sc2 StandardScaler() X_train_m sc2.fit_transform(X_train_m) X_test_m sc2.transform(X_test_m)stratifyy_iris這個(gè)參數(shù)也值得一提它保證訓(xùn)練集和測(cè)試集中兩個(gè)類別的比例與原數(shù)據(jù)集保持一致防止隨機(jī)劃分導(dǎo)致某一類在測(cè)試集里偏多或偏少從而影響評(píng)估的公平性。對(duì)于樣本量只有100的鳶尾花二分類數(shù)據(jù)分層抽樣特別重要。3. 三個(gè)算法的核心原理與實(shí)現(xiàn)要點(diǎn)3.1 線性LDA找一個(gè)方向讓兩類投影后距離最大LDA的思路非常直觀。把高維樣本投影到一條直線或者一個(gè)低維平面上投影的目的是讓兩個(gè)類別在投影空間里盡量分開。分開的標(biāo)準(zhǔn)有兩個(gè)一是兩個(gè)類的均值向量盡量遠(yuǎn)這在數(shù)學(xué)上對(duì)應(yīng)“類間散度”大二是每個(gè)類內(nèi)部的樣本盡量聚攏對(duì)應(yīng)“類內(nèi)散度”小。LDA的優(yōu)化目標(biāo)就是讓類間散度與類內(nèi)散度的比值最大。說人話就是兩個(gè)班級(jí)的考試成績(jī)?nèi)绻幻蠋熛胪ㄟ^一個(gè)指標(biāo)把兩個(gè)班區(qū)分開最好的指標(biāo)應(yīng)該是兩個(gè)班平均分差得越遠(yuǎn)越好同時(shí)每個(gè)班內(nèi)部成績(jī)波動(dòng)越小越好。LDA就是在找這樣一個(gè)指標(biāo)方向。在scikit-learn里調(diào)用LDA非常簡(jiǎn)單from sklearn.discriminant_analysis import LinearDiscriminantAnalysis lda LinearDiscriminantAnalysis() lda.fit(X_train_i, y_train_i) y_pred_i lda.predict(X_test_i)更容易被忽略的是LDA的降維屬性。在二分類場(chǎng)景下LDA只會(huì)產(chǎn)生一個(gè)判別方向用lda.transform(X)可以把任意多維特征壓縮成一維然后直接對(duì)一維數(shù)據(jù)做分類或可視化。這一點(diǎn)在后面分析實(shí)驗(yàn)中會(huì)用上。3.2 k-means把樣本劃成兩堆標(biāo)簽怎么對(duì)是后話k-means的核心邏輯簡(jiǎn)單粗暴先隨機(jī)初始化K個(gè)聚類中心把每個(gè)樣本劃給離它最近的中心然后重新計(jì)算每個(gè)簇的中心作為新的聚類中心不停迭代直到中心位置不再變化。這里K就是簇的數(shù)量在我們的二分類實(shí)驗(yàn)里K2。k-means有個(gè)致命問題它只管把樣本分成兩堆但完全不知道哪堆對(duì)應(yīng)真實(shí)標(biāo)簽的1、哪堆對(duì)應(yīng)0。如果直接拿kmeans.predict(X_test)的0/1結(jié)果去算準(zhǔn)確率很可能因?yàn)闃?biāo)簽恰好翻轉(zhuǎn)而得到極低的分?jǐn)?shù)算法本身效果其實(shí)還行。解決方式是在訓(xùn)練集上做一次映射統(tǒng)計(jì)每個(gè)簇中真實(shí)標(biāo)簽的多數(shù)值把這個(gè)簇的0/1輸出映射到真實(shí)類別。這個(gè)坑幾乎每個(gè)初跑k-means做分類的人都會(huì)踩我在第5章給出完整的處理和示例代碼。另外k-means對(duì)“簇的形狀”有很強(qiáng)的假設(shè)它默認(rèn)每個(gè)簇是各向同性的球形。鳶尾花的類別在標(biāo)準(zhǔn)化后的四維空間里還算接近凸簇所以k-means能用月亮數(shù)據(jù)天然是兩個(gè)弧形交叉這完全不符合球形簇假設(shè)k-means在它上面的表現(xiàn)為0基本可以預(yù)判。3.3 SVM讓超平面離兩類樣本都盡量遠(yuǎn)SVM的思想是在兩類樣本之間找一個(gè)分隔超平面并且讓這個(gè)超平面到兩邊最近樣本的距離之和最大。離超平面最近的樣本點(diǎn)就叫“支持向量”它們決定了邊界的位置其他樣本點(diǎn)對(duì)結(jié)果沒有影響。這個(gè)特性讓SVM在小樣本、高維場(chǎng)景下表現(xiàn)得非常穩(wěn)定。線性SVM解決的是線性可分或近似線性可分問題?？墒窃铝翑?shù)據(jù)集在二維空間里線性不可分這時(shí)候就需要核函數(shù)。RBF核徑向基函數(shù)核做的事是把樣本映射到一個(gè)更高維的空間里讓原本交錯(cuò)的數(shù)據(jù)在高維空間變得線性可分。RBF核有兩個(gè)關(guān)鍵超參數(shù)引入了一個(gè)額外的gamma參數(shù)控制單個(gè)樣本的影響力范圍。通常gamma越大決策邊界越復(fù)雜也越容易過擬合gamma太小邊界過于平滑非線性信息就沒學(xué)到。實(shí)際中用scikit-learn切換線性核和RBF核非常方便from sklearn.svm import SVC svm_linear SVC(kernellinear, random_state42) svm_rbf SVC(kernelrbf, gammascale, random_state42)我們的實(shí)驗(yàn)里兩種核都會(huì)跑這樣就能清楚看到同樣的SVM在核技巧加持下的效果差異。4. 實(shí)操過程與結(jié)果對(duì)比4.1 完整訓(xùn)練與評(píng)估流程接下來是完整的模型訓(xùn)練和評(píng)估代碼我把LDA、k-means、線性SVM、RBF核SVM分別封裝成列表在鳶尾花和月亮數(shù)據(jù)集上統(tǒng)一訓(xùn)練和預(yù)測(cè)。k-means的標(biāo)簽映射函數(shù)也直接寫在里面保證代碼能一鍵跑通import numpy as np from collections import Counter from sklearn.cluster import KMeans from sklearn.svm import SVC from sklearn.discriminant_analysis import LinearDiscriminantAnalysis from sklearn.metrics import accuracy_score, confusion_matrix def cluster_to_label(clusters, y_true): # 統(tǒng)計(jì)每個(gè)簇里真實(shí)標(biāo)簽的多數(shù)建立映射 mapping {} for c in np.unique(clusters): labels y_true[clusters c] mapping[c] Counter(labels).most_common(1)[0][0] return mapping def run_evaluation(X_train, X_test, y_train, y_test): results {} lda LinearDiscriminantAnalysis() lda.fit(X_train, y_train) results[LDA] lda.predict(X_test) km KMeans(n_clusters2, n_init10, random_state42) km.fit(X_train) train_clusters km.predict(X_train) mapping cluster_to_label(train_clusters, y_train) results[kmeans] np.array([mapping[c] for c in km.predict(X_test)]) svm_lin SVC(kernellinear, random_state42) svm_lin.fit(X_train, y_train) results[SVM_linear] svm_lin.predict(X_test) svm_rbf SVC(kernelrbf, gammascale, random_state42) svm_rbf.fit(X_train, y_train) results[SVM_rbf] svm_rbf.predict(X_test) for name, y_pred in results.items(): acc accuracy_score(y_test, y_pred) print(f{name}: acc {acc:.4f}) print(confusion_matrix(y_test, y_pred)) run_evaluation(X_train_i, X_test_i, y_train_i, y_test_i) print(---) run_evaluation(X_train_m, X_test_m, y_train_m, y_test_m)運(yùn)行這個(gè)代碼后最值得看的輸出有三塊每個(gè)模型的準(zhǔn)確率、混淆矩陣以及兩類錯(cuò)誤的分布?；煜仃囋谶@里比準(zhǔn)確率更誠(chéng)實(shí)比如k-means如果錯(cuò)得均勻準(zhǔn)確率大概還能過半但看混淆矩陣會(huì)發(fā)現(xiàn)它其實(shí)是把一個(gè)簇的中心放偏了根本不是在做正確的邊界決策。4.2 決策邊界可視化模型評(píng)估做到位了最好再畫一張二維決策邊界圖。這一步能讓抽象的對(duì)比變得一目了然線性模型的邊界是一條直線RBF核SVM的邊界是一個(gè)彎曲帶k-means的邊界是“垂直平分線”式的折線。我提供一段通用的可視化函數(shù)針對(duì)月亮數(shù)據(jù)的兩維特征直接使用鳶尾花則特意取花瓣長(zhǎng)度和花瓣寬度兩列重新擬合模型方便展示二維邊界。import matplotlib.pyplot as plt from matplotlib.colors import ListedColormap def plot_decision_boundary(ax, model, X, y, title, mapperNone): x_min, x_max X[:, 0].min() - 0.3, X[:, 0].max() 0.3 y_min, y_max X[:, 1].min() - 0.3, X[:, 1].max() 0.3 xx, yy np.meshgrid(np.linspace(x_min, x_max, 400), np.linspace(y_min, y_max, 400)) grid np.c_[xx.ravel(), yy.ravel()] Z model.predict(grid) if mapper is not None: Z np.array([mapper[z] for z in Z]) Z Z.reshape(xx.shape) ax.contourf(xx, yy, Z, alpha0.25, cmapListedColormap([#88aaff, #ffaa88])) for label in (0, 1): ax.scatter(X[y label, 0], X[y label, 1], color#3366cc if label 0 else #cc5533, edgecolorwhite, s28, alpha0.85) ax.set_title(title) ax.set_xlabel(feature 1) ax.set_ylabel(feature 2)繪制后的典型特征是月亮數(shù)據(jù)集上LDA的邊界就是一條斜直線左半邊把藍(lán)色樣本切掉了一大塊線性SVM的直線方向和位置略有不同但本質(zhì)上也是直線準(zhǔn)確率半斤八兩RBF核SVM的邊界則是一條平滑的彎曲帶順著兩個(gè)月牙的弧度走k-means的邊界是兩簇中心連線的垂直平分線無法貼合弧線導(dǎo)致大量樣本被分錯(cuò)。這些視覺差異比任何指標(biāo)都更讓人印象深刻。4.3 結(jié)果對(duì)比表與規(guī)律分析把一次固定隨機(jī)種子運(yùn)行得到的結(jié)果整理成表格如下數(shù)據(jù)集模型準(zhǔn)確率備注鳶尾花二分類LDA0.9667四維特征鳶尾花二分類k-means0.8667標(biāo)簽映射后鳶尾花二分類SVM linear0.9667四維特征鳶尾花二分類SVM rbf0.9667四維特征月亮數(shù)據(jù)集LDA0.8444線性邊界上限月亮數(shù)據(jù)集k-means0.5778僅比隨機(jī)略好月亮數(shù)據(jù)集SVM linear0.8444線性邊界上限月亮數(shù)據(jù)集SVM rbf0.9667非線性邊界這里我標(biāo)一下具體數(shù)字會(huì)受隨機(jī)種子影響但結(jié)論方向是穩(wěn)定的。比如鳶尾花的LDA和SVM換種子后可能一個(gè)0.9333、一個(gè)0.9667名次互有浮動(dòng)但k-means掉到0.87以下在多次實(shí)驗(yàn)里都出現(xiàn)了。月亮數(shù)據(jù)集上LDA和線性SVM的準(zhǔn)確率非常接近兩者的線性本質(zhì)決定了它們的上限差不多RBF核SVM基本穩(wěn)定在0.95以上核技巧的效果非常硬核。從結(jié)果里能提煉出三個(gè)規(guī)律第一同一算法在不同數(shù)據(jù)上表現(xiàn)差異極大問題不是算法不行是算法和數(shù)據(jù)分布不匹配第二模型和數(shù)據(jù)本質(zhì)一致時(shí)簡(jiǎn)單線性模型往往是性價(jià)比最高的選擇第三無監(jiān)督方法即使經(jīng)過標(biāo)簽映射本質(zhì)上仍在做聚類而不是分類它的錯(cuò)誤模式跟監(jiān)督分類器完全不同。5. 常見問題與避坑指南5.1 k-means的標(biāo)簽映射差點(diǎn)被0.5準(zhǔn)確率騙了這是本次實(shí)驗(yàn)里最大的坑。最初跑k-means時(shí)我直接用kmeans.predict(X_test)返回的0/1結(jié)果去算準(zhǔn)確率出來的數(shù)字慘不忍睹一度以為代碼寫錯(cuò)了。排查后發(fā)現(xiàn)模型聚類效果不錯(cuò)但簇0對(duì)應(yīng)的是真實(shí)類別1簇1對(duì)應(yīng)的是真實(shí)類別0標(biāo)簽正好翻轉(zhuǎn)。因?yàn)閮深悩颖緮?shù)量幾乎相等翻轉(zhuǎn)后準(zhǔn)確率只剩一半跟隨機(jī)猜差不多。解決方案就是我前面代碼中的映射方法。不過映射函數(shù)寫得簡(jiǎn)陋也會(huì)有隱患如果某個(gè)簇里兩類樣本數(shù)量接近少數(shù)服從多數(shù)就可能誤判。更穩(wěn)妥的做法是使用匈牙利算法做全局最優(yōu)匹配最小化總體錯(cuò)分?jǐn)?shù)量但二分類情況下多數(shù)投票通常已經(jīng)夠用。提醒一下這個(gè)映射必須在訓(xùn)練集上統(tǒng)計(jì)不能拿測(cè)試集來映射否則又成了數(shù)據(jù)泄露。5.2 隨機(jī)種子跑同一個(gè)代碼結(jié)果卻不一樣如果你跑下來發(fā)現(xiàn)數(shù)字跟我的不完全一致大概率是隨機(jī)種子問題。k-means的初始聚類中心是隨機(jī)的train_test_split的劃分是隨機(jī)的make_moons生成數(shù)據(jù)也是隨機(jī)的。要得到可復(fù)現(xiàn)的結(jié)果每個(gè)帶隨機(jī)的環(huán)節(jié)都固定random_state包括KMeans、SVC、train_test_split、make_moons。特別是KMeans除了random_state還有n_init參數(shù)它表示用不同初始中心跑多少次、取最好結(jié)果默認(rèn)10次就夠了不要手動(dòng)調(diào)成1次第一次初始化的隨機(jī)性太強(qiáng)結(jié)果可能大幅波動(dòng)。5.3 標(biāo)準(zhǔn)化順序90%的人都會(huì)犯的錯(cuò)誤標(biāo)準(zhǔn)化必須先做訓(xùn)練/測(cè)試集劃分再在訓(xùn)練集上scaler.fit_transform測(cè)試集上scaler.transform。實(shí)際代碼里好多人在數(shù)據(jù)準(zhǔn)備階段就直接StandardScaler().fit_transform(X)用整個(gè)數(shù)據(jù)集的信息做標(biāo)準(zhǔn)化然后再劃分。這個(gè)錯(cuò)誤在樣本少、特征方差大的數(shù)據(jù)集上會(huì)放大導(dǎo)致測(cè)試集的信息被訓(xùn)練器偷看得出的準(zhǔn)確率虛高。這一條對(duì)LDA影響可能不大但對(duì)SVM影響很明顯因?yàn)镾VM對(duì)特征尺度極其敏感。5.4 評(píng)估指標(biāo)不要只看準(zhǔn)確率準(zhǔn)確率在二分類均衡樣本下是合理的但當(dāng)樣本不平衡時(shí)準(zhǔn)確率會(huì)騙人。比如99%的樣本是A類模型全部預(yù)測(cè)A類準(zhǔn)確率就是99%但這個(gè)模型毫無價(jià)值。因此即使本實(shí)驗(yàn)樣本是均衡的我也建議大家同時(shí)打印混淆矩陣觀察模型到底在哪個(gè)類別上更容易犯錯(cuò)。尤其是月亮數(shù)據(jù)集上的線性模型混淆矩陣會(huì)顯示它們幾乎是在同一邊界上犯同樣的錯(cuò)說明犯錯(cuò)誤的方向是一致的。5.5 kmeans真的不適合當(dāng)分類器通過這次實(shí)驗(yàn)我對(duì)k-means當(dāng)分類器的態(tài)度更加明確了它適合做數(shù)據(jù)探索和預(yù)聚類但不適合直接當(dāng)監(jiān)督分類器使用。沒有標(biāo)簽信息的情況下模型根本不知道哪個(gè)類別更重要也不會(huì)對(duì)決策邊界做任何優(yōu)化它劃分的是幾何近鄰關(guān)系而不是類別學(xué)習(xí)關(guān)系。真要拿它做分類只能是在標(biāo)簽很少或者干脆沒有標(biāo)簽的冷啟動(dòng)場(chǎng)景里給監(jiān)督模型提供一個(gè)粗糙的初始化或者偽標(biāo)簽而不是指望它給出精確的決策結(jié)果。6. 一點(diǎn)收尾的實(shí)操體會(huì)整套實(shí)驗(yàn)跑下來我最深的體會(huì)是算法選型之前先問問你的數(shù)據(jù)長(zhǎng)什么樣。鳶尾花數(shù)據(jù)線性可分度不錯(cuò)LDA和線性SVM的表現(xiàn)就很好月亮數(shù)據(jù)是非線性結(jié)構(gòu)線性家族集體敗北上RBF核的SVM立刻扳回一局。而k-means在無監(jiān)督條件下哪怕給你正確的類別數(shù)也只能在數(shù)據(jù)恰好符合球形簇假設(shè)時(shí)才勉強(qiáng)能用。這種用一個(gè)算法去匹配數(shù)據(jù)分布的直覺不是靠背理論記住的是靠親手跑幾個(gè)對(duì)比實(shí)驗(yàn)硬生生練出來的。另外多說一句如果你也想做類似實(shí)驗(yàn)建議在跑完標(biāo)準(zhǔn)流程后自己改一兩個(gè)變量再看看結(jié)果。比如把月亮數(shù)據(jù)集的噪聲從0.1改到0.2或者把鳶尾花的二分類改成山鳶尾對(duì)versicolor你會(huì)看到同一個(gè)模型在不同難度下的表現(xiàn)差異那種感覺比只看一兩組固定數(shù)字要過癮得多。