周末兩天把機(jī)器學(xué)習(xí)經(jīng)典入門算法過了一遍第二天正好卡在四個基礎(chǔ)又核心的模型上KNN、樸素貝葉斯、決策樹以及由多棵樹組成的決策森林和隨機(jī)森林。這四個算法幾乎是所有分類問題的起手式后面再玩什么提升樹、堆疊模型很多核心思想都是從它們身上長出來的。如果你正在自學(xué)機(jī)器學(xué)習(xí)或者已經(jīng)會調(diào)包但總覺得原理糊了一層紙這篇筆記應(yīng)該能幫你把那層窗戶紙捅破。內(nèi)容全程來自我自己的復(fù)現(xiàn)代碼和踩坑記錄沒有晦澀推導(dǎo)只有怎么用、為什么這么用、坑在哪里。先說我那天的場景手頭有一個模擬的用戶流失預(yù)測Demo特征有數(shù)值型使用時長、消費(fèi)金額有離散型渠道來源、套餐類型樣本量大概兩萬。我要求自己用這四種算法分別去跑一遍分類任務(wù)對比精度、訓(xùn)練時間、可解釋性。這一跑四個算法的脾氣基本就摸清了。這篇文章就按“從直觀到集成”的順序來寫每一步都帶執(zhí)行動作和避坑經(jīng)驗新手可以直接按著思路來一遍。1. 四種算法先混個臉熟1.1 它們各自解決什么問題凡是拿到一張帶標(biāo)簽的數(shù)據(jù)表你第一反應(yīng)就是找一個分類器。KNN是“看鄰居”樸素貝葉斯是“算概率”決策樹是“問問題”隨機(jī)森林是“讓一群決策樹投票”。四種做法背后的邏輯完全不同但都解決同一類問題給定樣本的特征預(yù)測它的標(biāo)簽是A還是B或者多分類。KNN的思路最簡單粗暴一個樣本的類別由離它最近的K個樣本投票決定。它沒有任何訓(xùn)練過程屬于“惰性學(xué)習(xí)”模型其實就是那堆訓(xùn)練數(shù)據(jù)本身。樸素貝葉斯則是直接算后驗概率在已知特征取值的情況下樣本屬于某個類別的概率有多大。它核心依賴貝葉斯公式再加一個非常強(qiáng)的假設(shè)——特征之間條件獨(dú)立。這個假設(shè)在現(xiàn)實里幾乎不成立但它往往還能給出不錯的結(jié)果屬于“人傻但運(yùn)氣好”的類型。決策樹則是一連串if-else規(guī)則構(gòu)成的樹狀結(jié)構(gòu)每一步問一個問題比如“使用時長大于30天嗎”不斷把數(shù)據(jù)分割成越來越純的子集?；卮鹇窂骄褪穷A(yù)測結(jié)果天然具有可解釋性。決策森林就是把多棵樹組在一起通常指用Bagging或類似思路訓(xùn)練出的樹集合。隨機(jī)森林就是決策森林里最出名的一個變種用有放回抽樣訓(xùn)練很多棵決策樹每棵樹在分裂時只隨機(jī)看一部分特征最后讓所有樹投票得到結(jié)果。它把“單棵易過擬合的樹”變成了“一群不容易過擬合的樹”。1.2 一張表看懂適用場景表里這幾項是我實踐中比較看重的維度維度KNN樸素貝葉斯決策樹隨機(jī)森林訓(xùn)練速度無訓(xùn)練過程很快快快預(yù)測速度慢要算全部距離極快快快高維稀疏文本很吃力特別適合比較吃力尚可特征數(shù)值范圍敏感非常敏感幾乎不敏感不敏感不敏感可解釋性差一般很好一般是否需特征縮放需要不需要不需要不需要小樣本表現(xiàn)不錯很不錯容易過擬合容易欠擬合常見硬傷維度災(zāi)難獨(dú)立性假設(shè)切分規(guī)則太機(jī)械超參數(shù)多選型口訣我自己的版本是文本分類先上樸素貝葉斯樣本少、維度低、數(shù)據(jù)干凈試試KNN要跟業(yè)務(wù)方解釋邏輯時用單棵決策樹要精度、又不想太折騰時直接用隨機(jī)森林。沒說到的場景隨機(jī)森林是你能做出的最穩(wěn)妥默認(rèn)選擇之一。2. KNN把離你最近的朋友的話當(dāng)真2.1 核心思想與距離度量KNN的全稱是K-Nearest Neighbors直譯就是K個最近的鄰居。假設(shè)你有一個未知類別的樣本算法會在全量訓(xùn)練數(shù)據(jù)里找離它最近的K個樣本這K個樣本里哪個類別多預(yù)測結(jié)果就是哪個。若K3找最近3個點(diǎn)兩個說A類、一個說B類那就判為A類?！半x它最近”怎么定義這就引出了距離度量。最常用的是歐氏距離也就是幾何空間里的直線距離import numpy as np def euclidean_distance(a, b): return np.sqrt(np.sum((np.array(a) - np.array(b)) ** 2))實踐中還有個常用選項是曼哈頓距離絕對值之和它更適合特征維度高但稀疏的情況但說實話默認(rèn)用歐氏距離已經(jīng)能覆蓋絕大多數(shù)場景。文本向量這類稀疏場景則常用余弦相似度。距離度量選錯會帶來非常微妙的影響。歐氏距離對異常值特別敏感某個特征出現(xiàn)一個離譜的極值距離直接被它主導(dǎo)。所以做KNN之前特征工程比算法本身更重要。2.2 K值要命特征縮放更要命K值的選擇是整個KNN里最核心的超參數(shù)。K太小模型只看極少幾個點(diǎn)對噪聲極其敏感K太大把離得很遠(yuǎn)的樣本也拉進(jìn)來邊界被抹得一塌糊涂。我那時圖省事直接取了K1做了個Demo準(zhǔn)確率看起來還行但一畫混淆矩陣就發(fā)現(xiàn)問題預(yù)測結(jié)果在邊界上東一塊西一塊完全跟著個別異常點(diǎn)跑。換成交叉驗證后K從1調(diào)到11模型才穩(wěn)定下來。做法很簡單把訓(xùn)練集切出驗證集或者直接用交叉驗證遍歷K1到K30看哪個K的驗證精度最高。別偷懶拍腦袋定K。特征縮放是我那天真正踩的第一個坑。當(dāng)時數(shù)據(jù)里有“使用時長”和“月消費(fèi)金額”兩個特征前者在0到60之間后者動輒幾百上千。KNN是基于距離計算的量綱大的特征直接把量綱小的特征給淹沒了算出來所謂的“最近鄰居”全是消費(fèi)金額相近的使用時長幾乎不參與決策。標(biāo)準(zhǔn)化之后兩個特征才真正平等地被考慮。所以但凡用基于距離的算法第一件事就是做標(biāo)準(zhǔn)化或者歸一化。from sklearn.preprocessing import StandardScaler from sklearn.neighbors import KNeighborsClassifier from sklearn.model_selection import cross_val_score scaler StandardScaler() X_scaled scaler.fit_transform(X) k_values range(1, 31) scores [] for k in k_values: knn KNeighborsClassifier(n_neighborsk) score cross_val_score(knn, X_scaled, y, cv5).mean() scores.append(score) best_k k_values[int(np.argmax(scores))] print(f最優(yōu)K值: {best_k}, 交叉驗證精度: {max(scores):.4f})2.3 用KNN跑通一次小分類Demo拿我手頭那個流失預(yù)測DataFrame來演示。特征做標(biāo)準(zhǔn)化后先劃分訓(xùn)練測試集from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( X_scaled, y, test_size0.2, random_state42, stratifyy ) knn KNeighborsClassifier(n_neighborsbest_k) knn.fit(X_train, y_train) print(訓(xùn)練集精度:, knn.score(X_train, y_train)) print(測試集精度:, knn.score(X_test, y_test))注意一點(diǎn)標(biāo)準(zhǔn)化是在全部訓(xùn)練數(shù)據(jù)上fit的然后再transform測試集。千萬不能在訓(xùn)練和測試上分別做標(biāo)準(zhǔn)化那樣會讓測試集信息泄露到訓(xùn)練流程里。我見過好多新手在這里出錯最后驗證集精度看起來虛高上線就崩。2.4 KNN的坑與補(bǔ)救KNN最大的坑是預(yù)測慢。訓(xùn)練什么都不干一預(yù)測就要遍歷全部訓(xùn)練樣本算距離。樣本量一上萬預(yù)測過程肉眼可見地變慢。解決辦法要么用KDTree或Ball Tree結(jié)構(gòu)加速要么直接換模型。sklearn里algorithmkd_tree可以開但高維數(shù)據(jù)下KDTree優(yōu)勢會消失。第二個坑是樣本不平衡。如果A類占90%B類占10%KNN天然更傾向把邊界樣本判成A類。補(bǔ)救方式有采用加權(quán)投票距離越近權(quán)重越高、對少數(shù)類樣本過采樣比如SMOTE、或者調(diào)整分類閾值。我自己實踐時加權(quán)投票是成本最低的改進(jìn)sklearn里weightsdistance就是干這個的。3. 樸素貝葉斯不查資料就敢下判斷的概率黨3.1 貝葉斯公式與那個“樸素”的假設(shè)樸素貝葉斯的出發(fā)點(diǎn)非常聰明與其直接判斷“這個樣本是什么類別”不如反過來問“如果是這個類別它長這樣的概率有多大”再結(jié)合每個類別本身出現(xiàn)的概率算出后驗概率。公式是P(類別|特征) P(特征|類別) × P(類別) / P(特征)做分類時分母P(特征)對所有類別都一樣所以只需比較分子大小P(特征|類別)乘以P(類別)。問題來了一個樣本往往有幾十個特征聯(lián)合概率P(特征1, 特征2, ..., 特征n|類別)沒法直接從有限樣本里估計出來因為特征組合數(shù)量會爆炸。“樸素”的假設(shè)在這里登場假設(shè)所有特征在給定類別條件下相互獨(dú)立。這樣一來聯(lián)合概率就變成了各個特征條件概率的乘積P(特征|類別) ≈ P(特征1|類別) × P(特征2|類別) × ... × P(特征n|類別)生活化理解就是判斷一封郵件是不是垃圾郵件把“出現(xiàn)了‘打折’”、“出現(xiàn)了‘發(fā)票’”、“出現(xiàn)‘點(diǎn)擊鏈接’”這幾個詞各自與垃圾郵件的相關(guān)度相乘乘出來的數(shù)越高越可能是垃圾郵件。雖然詞跟詞之間明明有關(guān)聯(lián)但這個假設(shè)保證了計算可行。3.2 拉普拉斯平滑防止零概率翻車假設(shè)某個詞在訓(xùn)練集里從未出現(xiàn)在垃圾郵件中那么P(這個詞|垃圾郵件)直接等于0。乘積里有一個0整個概率就變成0導(dǎo)致后驗概率為0。這個結(jié)果顯然不合理沒見過的詞不代表永遠(yuǎn)不出現(xiàn)。解決辦法是拉普拉斯平滑本質(zhì)是給每個特征取值加一點(diǎn)“保底計數(shù)”。公式中的P(特征|類別)變成P (該類別下該特征出現(xiàn)次數(shù) α) / (該類別下總特征出現(xiàn)次數(shù) α × 特征取值總數(shù))α通常取1稱為拉普拉斯平滑。這個技巧在文本分類里尤其重要因為詞匯量大沒見過的組合實在太多了。這也是為什么用樸素貝葉斯做文本分類前一定要保證平滑參數(shù)被正確設(shè)置。3.3 連續(xù)特征怎么處理樸素貝葉斯原始形態(tài)處理的是離散特征詞語出現(xiàn)或不出。但流失預(yù)測里的“消費(fèi)金額”是連續(xù)值怎么處理常見做法有兩種。一種是把連續(xù)值離散化比如按分位數(shù)切分成“低、中、高”三段再當(dāng)離散特征統(tǒng)計頻次。這種方式的缺點(diǎn)是對切分邊界很敏感信息損失也大。另一種更優(yōu)雅假設(shè)連續(xù)特征在某個類別下服從某個概率分布通常是正態(tài)分布然后用數(shù)據(jù)估計這個分布的參數(shù)均值和方差預(yù)測時把特征值代入概率密度函數(shù)算出“概率”。這個變體叫高斯樸素貝葉斯是sklearn里處理連續(xù)特征最常用的選擇。如果你發(fā)現(xiàn)特征分布明顯偏態(tài)可以試試對數(shù)變換后再擬合。from sklearn.naive_bayes import GaussianNB gnb GaussianNB() gnb.fit(X_train, y_train) print(測試集精度:, gnb.score(X_test, y_test))3.4 用一個文本分類小例子驗證威力為了驗證樸素貝葉斯在文本上有多能打我額外構(gòu)造了一個模擬的短文本分類任務(wù)給一組評論句子打好評差評標(biāo)簽。用CountVectorizer把句子變成詞頻向量然后直接用多項式樸素貝葉斯from sklearn.feature_extraction.text import CountVectorizer from sklearn.naive_bayes import MultinomialNB corpus [這個產(chǎn)品真好用, 太差了退貨, 服務(wù)態(tài)度很不錯, 垃圾再也不買了, ...] labels [1, 0, 1, 0, ...] vectorizer CountVectorizer() X_vec vectorizer.fit_transform(corpus) mnb MultinomialNB(alpha1.0) mnb.fit(X_vec, labels) sample [東西還行吧] sample_vec vectorizer.transform(sample) print(預(yù)測類別:, mnb.predict(sample_vec)[0])這個例子我只用了幾十條樣本分類效果已經(jīng)像模像樣。樸素貝葉斯在小樣本、高維稀疏場景下的性價比是神經(jīng)網(wǎng)絡(luò)都比不了的。3.5 邊界與硬傷樸素貝葉斯的硬傷就是獨(dú)立性假設(shè)。真實數(shù)據(jù)里特征幾乎總有關(guān)聯(lián)在流失預(yù)測里消費(fèi)金額高的用戶往往使用時長也長。當(dāng)特征強(qiáng)相關(guān)時獨(dú)立假設(shè)會把概率算得過分樂觀最終分類邊界比貝葉斯最優(yōu)邊界要差。第二個問題它適合用概率閾值做決策的場景但輸出的概率值本身不準(zhǔn)。如果你想用預(yù)測概率做風(fēng)險排序最好先做概率校準(zhǔn)用CalibratedClassifierCV包一層。我在某次風(fēng)險名單排序中試過校準(zhǔn)前后的排名差異非常明顯直接影響到后續(xù)人工審核的工作量。4. 決策樹與決策森林從一堆if-else到一群if-else4.1 決策樹怎么選特征決策樹的訓(xùn)練過程就是不斷挑選特征和切分閾值的過程。標(biāo)準(zhǔn)是每次切分之后子節(jié)點(diǎn)的數(shù)據(jù)要比父節(jié)點(diǎn)“更純”也就是盡量讓同一類的樣本落在一起。衡量“純”的指標(biāo)常見有兩個信息熵和基尼系數(shù)。信息熵衡量不確定性熵越高越混亂。切分前后的熵差叫信息增益選信息增益最大的特征來切分。這就是ID3算法的思路。C4.5換成信息增益率避免傾向取值多的特征。CART則用基尼系數(shù)公式為1減去各類別樣本占比平方之和每次選基尼系數(shù)下降最大的切分方式。ETL現(xiàn)場實操里我一般不會自己算這些sklearn的DecisionTreeClassifier直接包好了。但理解切分邏輯很重要決策樹本質(zhì)上在特征空間里畫矩形邊界所以它對線性可分問題的表達(dá)本身就吃虧它擅長的是捕捉高維特征的交互關(guān)系if A and B then C這類結(jié)構(gòu)。4.2 剪枝防止樹長瘋了單棵決策樹不設(shè)限制時會一路生長到每個葉子節(jié)點(diǎn)都純?yōu)橹?。?xùn)練集精度可以做到100%但測試集慘不忍睹這就是過擬合。樹的深度越深邊界越碎噪聲被刻進(jìn)去得越徹底?？刂七^擬合的方法是剪枝分兩種預(yù)剪枝在生長過程中就限制深度、最小樣本量后剪枝是先讓樹長滿再自底向上評估合并葉子節(jié)點(diǎn)是否讓驗證集精度提升能提升就合并。sklearn里默認(rèn)不給后剪枝但我可以手動設(shè)置多項預(yù)剪枝參數(shù)from sklearn.tree import DecisionTreeClassifier dt DecisionTreeClassifier( max_depth5, min_samples_split20, min_samples_leaf10, criteriongini ) dt.fit(X_train, y_train)這里面min_samples_leaf是我最常用的控制項。只要葉子樣本量夠大邊界就穩(wěn)。深度限制只是兜底實際調(diào)參時我會優(yōu)先調(diào)葉子節(jié)點(diǎn)最少樣本數(shù)。4.3 什么是決策森林“決策森林”在正規(guī)教材里不是一個標(biāo)準(zhǔn)算法名稱更多是一種口語化的說法指把多棵決策樹湊在一起使用。為什么要湊一起因為單棵樹過擬合太嚴(yán)重而且方差大訓(xùn)練集換一批樣本樹結(jié)構(gòu)可能完全不一樣。如果同時訓(xùn)練多棵存在差異的樹讓它們投票方差就能被平均掉。決策森林是通向隨機(jī)森林的過渡概念。袋裝思路Bagging把訓(xùn)練數(shù)據(jù)做有放回抽樣得到多份不同的訓(xùn)練子集每份子集訓(xùn)練一棵樹。抽樣帶來的隨機(jī)性讓每棵樹長得不一樣最終投票決策。不過有一個問題如果某些特征特別強(qiáng)幾棵樹在分裂時都優(yōu)先用這個特征樹和樹之間仍然很像差異不夠大。4.4 單樹與森林的直觀對比我在模擬項目X上做了個實驗同一份數(shù)據(jù)單棵深度為10的決策樹測試精度大約0.76訓(xùn)練精度0.99明顯過擬合。換一個簡單的帶100棵樹的決策森林每棵樹用不同的抽樣子集測試精度升到0.82訓(xùn)練精度反而降到0.91。這就是典型的“以微小偏差換巨大方差下降”。如果你需要向業(yè)務(wù)方解釋模型邏輯單棵淺樹依然有不可替代的地位。深度為3或4的樹可以畫成規(guī)則表每個葉子給出一條“如果...那么...”的規(guī)則這對風(fēng)控場景特別友好。而森林模型更像一個黑箱失去了可解釋性。5. 隨機(jī)森林一群模型打群架果然更猛5.1 Bagging與特征隨機(jī)讓每棵樹不一樣隨機(jī)森林是集成的集大成者。它憑借兩個機(jī)制保證每棵樹之間足夠有差異。第一個機(jī)制是Bagging對原始訓(xùn)練集進(jìn)行有放回抽樣每次抽與訓(xùn)練集同樣大小的樣本子集每棵樹只在自己的子集上訓(xùn)練。大概會有約36.8%原始樣本沒被抽到這部分樣本稱為袋外樣本OOB可以直接用來做測試誤差的估計省了單獨(dú)劃分驗證集。第二個機(jī)制是特征隨機(jī)化每棵樹在每次分裂時并不是從全部特征里挑最優(yōu)而是先隨機(jī)選一部分特征默認(rèn)是特征總數(shù)的開方再從這部分里選最優(yōu)切分。這樣進(jìn)一步增大了樹之間的差異性。兩個機(jī)制加起來隨機(jī)森林里的樹既“數(shù)據(jù)不同”又“視角不同”投票結(jié)果穩(wěn)定得多。這個設(shè)計里的直覺我特別喜歡單棵決策樹容易偏見和鉆牛角尖但一群出發(fā)點(diǎn)不同的樹做決策任何一棵樹的毛病都會被其他樹的判斷給稀釋掉。5.2 三個關(guān)鍵參數(shù)怎么調(diào)隨機(jī)森林調(diào)參不復(fù)雜關(guān)鍵是抓住主要矛盾。n_estimators樹的數(shù)量直接決定模型穩(wěn)定性和訓(xùn)練成本。樹太少方差沒有完全壓平樹太多訓(xùn)練時間線性增長但精度提升趨于邊際遞減。我的經(jīng)驗是先用500棵試觀察精度隨樹數(shù)增長的收斂曲線。如果200棵就到瓶頸后面再加樹基本無意義。max_features每次分裂隨機(jī)抽取的特征數(shù)控制單棵樹的能力。默認(rèn)值是特征數(shù)的平方根分類問題一般夠用。特征很多比如上百維時可以往大調(diào)一點(diǎn)讓每棵樹更強(qiáng)一些。min_samples_leaf葉子最小樣本數(shù)依然是我最優(yōu)先調(diào)的正則化參數(shù)。設(shè)得太小比如1單棵樹過擬合設(shè)得太大樹太粗糙模型整體會欠擬合。我在兩萬樣本的流失預(yù)測里設(shè)成20左右效果還不錯。from sklearn.ensemble import RandomForestClassifier rf RandomForestClassifier( n_estimators300, max_featuressqrt, min_samples_leaf20, max_depth15, random_state42, n_jobs-1 ) rf.fit(X_train, y_train) print(OOB精度:, rf.oob_score_) print(測試集精度:, rf.score(X_test, y_test))注意OOB精度是隨機(jī)森林特有的一項免費(fèi)評估指標(biāo)不需要額外留驗證集就能估出泛化能力。訓(xùn)練過程中它已經(jīng)被內(nèi)部算出來了我每次都會先看它再決定要不要繼續(xù)調(diào)參。5.3 用隨機(jī)森林做特征重要性分析隨機(jī)森林一個很值錢的能力是輸出特征重要性。原理是某特征在樹分裂中造成的基尼系數(shù)下降總和越大或?qū)︻A(yù)測精度貢獻(xiàn)越大它就越重要。這個結(jié)果可以直接用于特征篩選幫我把兩萬樣本里的三十多個特征砍到只剩十來個核心特征建模速度大幅提升精度幾乎不掉。import pandas as pd importance rf.feature_importances_ feature_names X.columns imp_df pd.DataFrame({特征: feature_names, 重要性: importance}) imp_df imp_df.sort_values(重要性, ascendingFalse) print(imp_df.head(10))用特征重要性時注意一個陷阱當(dāng)兩個特征高度相關(guān)時重要性會在它們之間被分散導(dǎo)致結(jié)果虛低。做篩選的時候最好先看一眼相關(guān)性矩陣把高相關(guān)的特征先合并或刪掉一邊再做重要性排序才靠譜。5.4 隨機(jī)森林的克制與邊界隨機(jī)森林不是萬能藥。一來它對噪聲特征多的數(shù)據(jù)依然會受影響雖然比單棵樹抗噪但噪聲比例很高時依然被帶偏。二來它不適合高維稀疏數(shù)據(jù)文本詞頻這種上萬維的輸入隨機(jī)森林效果遠(yuǎn)不如樸素貝葉斯或線性模型。三來它預(yù)測速度比單棵樹慢每個樣本要走全部樹再合并結(jié)果實時性要求高的場景要謹(jǐn)慎。還有一點(diǎn)隨機(jī)森林輸出概率的校準(zhǔn)程度也一般。如果需要精確概率而不只是類別標(biāo)簽依然需要概率校準(zhǔn)。6. 實戰(zhàn)踩坑記錄與經(jīng)驗速查6.1 經(jīng)典錯誤與排查思路數(shù)據(jù)泄漏導(dǎo)致虛高精度。我某次把標(biāo)準(zhǔn)化fit過整個數(shù)據(jù)集后才切分訓(xùn)練測試集測試精度從0.74直接跳到0.88。排查方式是手動創(chuàng)建一條“明顯不合理樣本”放進(jìn)測試集看它是否被模型“認(rèn)出”。防止這類問題的核心原則所有統(tǒng)計變換只能從訓(xùn)練集獲取參數(shù)測試集只能被transform。類別不平衡讓多數(shù)類躺贏。流失率只有8%時模型全預(yù)測“不流失”就能拿92%的準(zhǔn)確率?？礈?zhǔn)確率毫無意義要重點(diǎn)看召回率和ROC-AUC。處理方法是調(diào)class_weightbalanced或采樣少數(shù)類。KNN在量綱未統(tǒng)一時的結(jié)果不可解釋。我試過用原始特征直接跑KNNK5的鄰居里幾乎全是某個特征的極端值樣本而且這種錯誤很難通過常規(guī)指標(biāo)暴露因為accuracy可能并不低但業(yè)務(wù)邏輯明顯不對勁。一定先做特征標(biāo)準(zhǔn)化。決策樹深度過大畫不出規(guī)則。一開始我把樹深度設(shè)為15模型倒是精確但導(dǎo)出的規(guī)則有幾千條葉子業(yè)務(wù)方根本沒法用。后來改成深度4到5模型雖然損失了一點(diǎn)精度但規(guī)則可讀性極大提升項目推進(jìn)反而更快。6.2 我的幾個固定習(xí)慣每一個算法Demo我都要跑三件套打印訓(xùn)練集精度、測試集精度、交叉驗證均值和標(biāo)準(zhǔn)差。只看單次測試集精度極其容易自欺欺人標(biāo)準(zhǔn)差大說明模型對數(shù)據(jù)劃分方式太敏感。對隨機(jī)森林我固定打印OOB精度。它幫我省掉的驗證集時間加起來已經(jīng)足夠一次完整的調(diào)參迭代。對樸素貝葉斯我固定檢查各類別下特征的條件概率分布而不是只看精度。比如高斯樸素貝葉斯如果某些特征的條件方差被估算得極大大概率是異常值沒處理干凈這種情況精度看不出來但上線后預(yù)測概率會漂。選擇算法時我現(xiàn)在的順序是先想清楚業(yè)務(wù)需要的是“解釋清楚”還是“精度優(yōu)先”再考慮樣本量、特征類型、預(yù)測實時性最后才決定用哪個模型。四個算法里隨機(jī)森林和決策樹是解釋需求的分岔口樸素貝葉斯和KNN則是特征類型的適配結(jié)果。6.3 我的個人體會四個算法學(xué)完最大的感觸是算法本身都不復(fù)雜真正的功夫全在數(shù)據(jù)處理、特征工程和模型評估的紀(jì)律性上。KNN和樸素貝葉斯屬于“道理一聽就懂但數(shù)據(jù)稍微臟一點(diǎn)就翻車”的模型決策樹和隨機(jī)森林對數(shù)據(jù)預(yù)處理要求低一些但你對模型內(nèi)部發(fā)生了什么的理解程度決定了你能把它用得多好。我后來再給別人講這四個算法時都會用一句話串起來先用樸素貝葉斯兜底再上隨機(jī)森林提精度需要解釋時換深一點(diǎn)的決策樹KNN則永遠(yuǎn)是那個用來理解“距離”和“樣本相似性”的最佳入門模型。機(jī)器學(xué)習(xí)進(jìn)階之路有很多條但這四條是值得每個實踐者走一遍的必經(jīng)之路。