簡(jiǎn)介面向大學(xué)生競(jìng)賽與課程設(shè)計(jì)的二手車(chē)價(jià)格預(yù)測(cè)優(yōu)勝方案源碼資料包源自阿里天池與Datawhale聯(lián)合舉辦的賽事包含獲獎(jiǎng)方案的完整項(xiàng)目說(shuō)明。壓縮包共十五個(gè)文件以Python腳本為主體輔以md說(shuō)明文檔、txt依賴(lài)清單與少量備份文件整體僅約610KB體量輕巧當(dāng)前已有42人瀏覽學(xué)習(xí)。資料完整覆蓋數(shù)據(jù)預(yù)處理、特征工程、模型訓(xùn)練與集成融合等競(jìng)賽核心環(huán)節(jié)包含基于梯度提升樹(shù)、神經(jīng)網(wǎng)絡(luò)及多模型加權(quán)融合等不同思路的建模代碼并附預(yù)測(cè)結(jié)果數(shù)據(jù)表能夠幫助使用者系統(tǒng)理解獲獎(jiǎng)方案的構(gòu)建脈絡(luò)并快速?gòu)?fù)現(xiàn)。適合計(jì)算機(jī)科學(xué)、應(yīng)用數(shù)學(xué)、電子信息工程等相關(guān)專(zhuān)業(yè)的學(xué)生或科研人員作為課程設(shè)計(jì)、畢業(yè)設(shè)計(jì)或?qū)W術(shù)競(jìng)賽的參考范本其思路亦可遷移至房?jī)r(jià)、銷(xiāo)量等同類(lèi)回歸預(yù)測(cè)問(wèn)題。1. 二手車(chē)價(jià)格預(yù)測(cè)競(jìng)賽不是比模型是比誰(shuí)更懂二手車(chē)的定價(jià)邏輯同一臺(tái)車(chē)有人估 9 萬(wàn)有人報(bào) 11 萬(wàn)差價(jià)背后不是玄學(xué)而是對(duì)車(chē)齡、里程和品牌殘值率的理解深度。某競(jìng)賽平臺(tái)與某開(kāi)源學(xué)習(xí)社區(qū)聯(lián)合舉辦的二手車(chē)價(jià)格預(yù)測(cè)賽題要求根據(jù)車(chē)輛的多維信息預(yù)測(cè)成交價(jià)評(píng)估指標(biāo)直接對(duì)標(biāo)行業(yè)里的定價(jià)偏差。這類(lèi)賽題的優(yōu)勝方案通常不是最深的神經(jīng)網(wǎng)絡(luò)而是把特征工程、交叉驗(yàn)證和多模型融合做到極致的一套樹(shù)模型方案。這篇筆記會(huì)從數(shù)據(jù)認(rèn)知、特征構(gòu)造、模型訓(xùn)練講到源碼組織完整拆解一套可復(fù)現(xiàn)的建模流程適合想入門(mén)結(jié)構(gòu)化數(shù)據(jù)競(jìng)賽的開(kāi)發(fā)者也適合正在做二手車(chē)估值系統(tǒng)的工程師。我們先從賽題數(shù)據(jù)本身開(kāi)始。2. 賽題拆解與數(shù)據(jù)認(rèn)知價(jià)格為什么是長(zhǎng)尾分布以及我們要預(yù)測(cè)什么不少參賽者拿到數(shù)據(jù)后第一件事就是跑一個(gè) LightGBM但如果不先理解價(jià)格分布和評(píng)估指標(biāo)后續(xù)所有調(diào)參都是在黑匣子里瞎試。二手車(chē)價(jià)格預(yù)測(cè)本質(zhì)上是一個(gè)回歸問(wèn)題但它的特殊之處在于目標(biāo)變量跨越一萬(wàn)元到上百萬(wàn)元誤差度量方式直接決定了你該優(yōu)化什么。2.1 任務(wù)定義與評(píng)估指標(biāo)你優(yōu)化的不是誤差而是對(duì)數(shù)誤差官方在賽題說(shuō)明里通常會(huì)把評(píng)估指標(biāo)定義成 RMSLERoot Mean Squared Logarithmic Error也就是對(duì)真實(shí)價(jià)格和預(yù)測(cè)價(jià)格分別取對(duì)數(shù)后計(jì)算 RMSE。為什么要這樣設(shè)計(jì)因?yàn)橐惠v 3 萬(wàn)的車(chē)少估 3 千和一輛 30 萬(wàn)的車(chē)少估 3 千在絕對(duì)誤差上是相同的但在買(mǎi)賣(mài)雙方的心理感知上完全不同。取對(duì)數(shù)后3 萬(wàn)車(chē)少估 3 千對(duì)應(yīng) log 誤差約 0.130 萬(wàn)車(chē)少估 3 千對(duì)應(yīng) log 誤差約 0.01這樣就把“相對(duì)誤差”作為懲罰核心更貼近二手車(chē)定價(jià)業(yè)務(wù)。所以在訓(xùn)練之前我一般會(huì)先寫(xiě)一個(gè) RMSLE 計(jì)算函數(shù)用作所有模型驗(yàn)證的統(tǒng)一標(biāo)尺。import numpy as np def rmsle(y_true, y_pred): # 將真實(shí)值和預(yù)測(cè)值都限制在非負(fù)范圍避免對(duì)負(fù)數(shù)取對(duì)數(shù) y_true np.maximum(y_true, 0) y_pred np.maximum(y_pred, 0) # 用 log1p 計(jì)算對(duì)數(shù)誤差的均方根等價(jià)于對(duì)價(jià)格取 log 后的 RMSE return np.sqrt(np.mean((np.log1p(y_true) - np.log1p(y_pred)) ** 2))這段代碼里有三個(gè)關(guān)鍵點(diǎn)np.maximum 是為了防止極端預(yù)測(cè)值出現(xiàn)負(fù)價(jià)格而做兜底np.log1p 是 log(x1)在價(jià)格接近 0 時(shí)比 log(x) 更穩(wěn)定整個(gè)函數(shù)返回的是一個(gè)標(biāo)量分?jǐn)?shù)分?jǐn)?shù)越低代表相對(duì)誤差越小。后續(xù)每一次交叉驗(yàn)證、特征篩選、融合權(quán)重調(diào)整我都用這個(gè)函數(shù)來(lái)打分不額外看別的指標(biāo)。明確了優(yōu)化目標(biāo)之后還需要知道訓(xùn)練數(shù)據(jù)長(zhǎng)什么樣。這里要提醒一下RMSLE 和 RMSE 的數(shù)值有很大差異不要拿 RMSE 的標(biāo)準(zhǔn)去評(píng)判 RMSLE。2.2 探索性數(shù)據(jù)分析先看價(jià)格分布、缺失值和異常值再談建模EDA 看起來(lái)是體力活但往往決定了后續(xù)特征工程的走向。我用 pandas 加載訓(xùn)練集后第一件事是看 shape、字段類(lèi)型和描述統(tǒng)計(jì)重點(diǎn)關(guān)注 price、mileage、reg_date 這三個(gè)字段的分布和缺失比例。常見(jiàn)的數(shù)據(jù)集里品牌、車(chē)系、上牌日期、行駛里程、排量、變速箱、燃料類(lèi)型、過(guò)戶(hù)次數(shù)、是否事故車(chē)等字段都會(huì)出現(xiàn)其中上牌日期和過(guò)戶(hù)次數(shù)的缺失率往往不低這部分要先記錄下來(lái)。價(jià)格分布是典型的右偏分布少量豪華品牌的高價(jià)車(chē)占據(jù)長(zhǎng)尾如果直接用原始價(jià)格做回歸模型會(huì)被那些幾十萬(wàn)的車(chē)主導(dǎo)忽略了幾萬(wàn)元區(qū)間的主流樣本。所以我會(huì)同時(shí)畫(huà)原始價(jià)格和 log 價(jià)格兩個(gè)直方圖確認(rèn)取對(duì)數(shù)后的分布是否接近正態(tài)。import pandas as pd import matplotlib.pyplot as plt train pd.read_csv(train.csv) print(train.shape) print(train.describe(percentiles[0.01, 0.25, 0.5, 0.75, 0.99])) plt.hist(train[price], bins100) plt.yscale(log) plt.show() train[log_price] np.log1p(train[price]) plt.hist(train[log_price], bins100) plt.show() missing train.isnull().sum() print(missing[missing 0])上面這段代碼里train.describe 的 percentiles 參數(shù)會(huì)額外給出 1% 和 99% 分位數(shù)方便快速發(fā)現(xiàn)極端價(jià)格plt.yscale(log) 讓長(zhǎng)尾更加直觀最后打印的 missing 列表是后續(xù)填充策略的依據(jù)。如果看到 price 的最小值是 0 或者接近 0大概率是樣本異?；蛘邤?shù)據(jù)采集錯(cuò)誤需要在特征工程階段處理。一個(gè)常見(jiàn)的數(shù)據(jù)集字段說(shuō)明可以整理成下面這樣方便后續(xù)寫(xiě)代碼時(shí)對(duì)照。字段名類(lèi)型業(yè)務(wù)含義預(yù)處理關(guān)注點(diǎn)brand_idint品牌編碼是否需要做目標(biāo)編碼reg_datedatetime上牌日期計(jì)算車(chē)齡mileagefloat行駛里程萬(wàn)公里缺失值、異常值powerint最大功率馬力缺失填充gearboxstr變速箱類(lèi)型轉(zhuǎn)類(lèi)別編碼fuel_typestr燃料類(lèi)型轉(zhuǎn)類(lèi)別編碼transfer_countfloat過(guò)戶(hù)次數(shù)缺失用 unknownpricefloat成交價(jià)萬(wàn)元僅訓(xùn)練集有需取對(duì)數(shù)從這張表可以直觀看出真正需要手工處理的字段并沒(méi)有多少但這不代表建模簡(jiǎn)單。price 和 mileage 之間是明顯的非線(xiàn)性關(guān)系和 reg_date 之間存在車(chē)齡的單調(diào)衰減這些關(guān)系都靠特征工程去表達(dá)。2.3 從原始字段到有效特征車(chē)齡、里程、品牌殘值率的構(gòu)造邏輯原始字段很少能直接進(jìn)模型。日期字段必須轉(zhuǎn)成車(chē)齡里程數(shù)要考慮單位是否統(tǒng)一品牌這種高基數(shù)類(lèi)別特征需要找到一種既能保留信息又不過(guò)擬合的編碼方式。車(chē)齡的構(gòu)造很簡(jiǎn)單用數(shù)據(jù)采集年份或者銷(xiāo)售年份減去上牌年份。為什么不用上牌日期本身因?yàn)闃?shù)模型無(wú)法理解“2017 年”這個(gè)數(shù)字的大小與價(jià)格衰減的關(guān)系但車(chē)齡“5 年”是一個(gè)連續(xù)變量模型可以學(xué)出“前 3 年貶值最快、5 年后貶值放緩”這種分段關(guān)系。里程也是一樣單純用“里程×車(chē)齡”不如“年均里程”更能反映車(chē)輛的使用強(qiáng)度。品牌殘值率是這類(lèi)賽題最重要的特征。不同品牌的三年保值率可能從 45% 到 75% 不等這種差異比單一品牌 ID 更有解釋力。常見(jiàn)做法是統(tǒng)計(jì)每個(gè)品牌在訓(xùn)練集中的平均成交價(jià)作為該品牌的價(jià)格基準(zhǔn)。import pandas as pd import numpy as np train[reg_year] pd.to_datetime(train[reg_date]).dt.year train[reg_month] pd.to_datetime(train[reg_date]).dt.month train[car_age] train[sale_year] - train[reg_year] train[mileage] train[mileage].astype(float) train[mileage_per_year] train[mileage] / (train[car_age] 1) brand_mean_price train.groupby(brand_id)[price].transform(mean) train[brand_price_mean] brand_mean_pricecar_age 單位是年sale_year 一般來(lái)自數(shù)據(jù)集提供的銷(xiāo)售年份字段如果沒(méi)有可以考慮用數(shù)據(jù)發(fā)布時(shí)間。mileage_per_year 的計(jì)算里加了一個(gè) 1是為了避免新車(chē)車(chē)齡為 0 時(shí)出現(xiàn)除零錯(cuò)誤同時(shí)也平滑了分母。brand_price_mean 用 transform 一次性映射到每一行方便后續(xù)直接作為特征。這里要注意brand_price_mean 是用全量訓(xùn)練集統(tǒng)計(jì)出來(lái)的如果直接用于交叉驗(yàn)證會(huì)出現(xiàn)標(biāo)簽泄漏某條樣本的預(yù)測(cè)值里包含了它自己所在品牌的平均價(jià)格信息。正確做法是在每一折內(nèi)重新統(tǒng)計(jì)或者使用后面會(huì)講到的目標(biāo)編碼。我在這里先展示特征構(gòu)造的思路后面章節(jié)會(huì)給出防泄漏的實(shí)現(xiàn)。數(shù)據(jù)認(rèn)知到此為止接下來(lái)進(jìn)入特征工程和清洗環(huán)節(jié)。這個(gè)環(huán)節(jié)決定了你最終是站在排行榜中游還是上游。3. 特征工程與數(shù)據(jù)清洗決定名次的是特征不是調(diào)參特征工程是最能拉開(kāi)排名差距的部分而它也是最容易被新手忽略的部分。很多參賽者拿著同一個(gè) LightGBM 參數(shù)跑完就去看排名卻不知道別人在特征上多花了兩倍時(shí)間。3.1 缺失值填充與異常價(jià)格處理避免把事故車(chē)當(dāng)正常車(chē)缺失值處理常常被一句 fillna(0) 帶過(guò)但二手車(chē)數(shù)據(jù)里的缺失往往帶有業(yè)務(wù)含義。比如過(guò)戶(hù)次數(shù)缺失可能是車(chē)商沒(méi)有錄入也可能是數(shù)據(jù)源本身沒(méi)有這項(xiàng)記錄如果直接用 0 填充模型會(huì)學(xué)到“缺失從未過(guò)戶(hù)”這種錯(cuò)誤信號(hào)。我習(xí)慣對(duì)類(lèi)別型缺失單獨(dú)標(biāo)記一個(gè) unknown 類(lèi)別讓樹(shù)模型自己去判斷缺失與目標(biāo)的關(guān)系。數(shù)值型字段的缺失要分情況排量、功率這類(lèi)連續(xù)值往往和車(chē)型定位相關(guān)用中位數(shù)填充比均值更穩(wěn)因?yàn)橹形粩?shù)不受極端值影響。如果字段缺失率超過(guò) 40%我傾向于直接剔除而不是強(qiáng)行填充因?yàn)樘畛湟粋€(gè)半數(shù)以上都是缺失的字段等于是在制造噪聲。價(jià)格異常值是另一個(gè)坑。有些樣本成交價(jià)低到幾百元對(duì)應(yīng)的卻是正常描述的車(chē)況這大概率是數(shù)據(jù)采集錯(cuò)誤或者特殊交易情形。如果不處理模型會(huì)為了擬合這些離群點(diǎn)而扭曲整個(gè)分裂邏輯。同時(shí)還要留意價(jià)格和里程的聯(lián)合異常比如里程只有 1 萬(wàn)公里但價(jià)格只有同款車(chē)的 20%可能是事故車(chē)如果數(shù)據(jù)集里帶有事故車(chē)標(biāo)記可以直接利用。train[transfer_count] train[transfer_count].fillna(unknown) train[displacement] train[displacement].fillna(train[displacement].median()) train train[(train[price] 0.5) (train[price] 100)] train train[~((train[mileage] 2) (train[price] train[price].quantile(0.1)))]第一行把過(guò)戶(hù)次數(shù)缺失變成獨(dú)立的 unknown 類(lèi)別第二行用中位數(shù)填充排量避免均值被大排量車(chē)型拉高。后面的過(guò)濾條件我是按價(jià)格在 0.5 萬(wàn)到 100 萬(wàn)之間來(lái)篩具體閾值根據(jù)賽題的價(jià)格分位數(shù)調(diào)整最后一行過(guò)濾掉“低里程但極低價(jià)”的矛盾樣本這類(lèi)樣本十有八九是異常數(shù)據(jù)。過(guò)濾比例如果超過(guò)訓(xùn)練集的 5%就要回頭檢查是否誤殺了真實(shí)的特價(jià)車(chē)。3.2 類(lèi)別特征編碼與組合特征品牌、車(chē)系、變速箱如何進(jìn)入樹(shù)模型類(lèi)別特征的編碼方式直接影響樹(shù)模型的表達(dá)能力。簡(jiǎn)單高基數(shù)類(lèi)別比如車(chē)系如果直接用 LabelEncoder等于給車(chē)系賦予了一組任意整數(shù)編號(hào)樹(shù)模型會(huì)誤以為編號(hào)之間有大小關(guān)系。LightGBM 支持直讀類(lèi)別特征但需要在 Dataset 中指定 feature_name 和 categorical_feature 參數(shù)否則也會(huì)自動(dòng)按數(shù)值處理。對(duì)于高基數(shù)類(lèi)別我更推薦做目標(biāo)編碼用該類(lèi)別下的價(jià)格均值作為特征。這樣既編碼了類(lèi)別本身又編碼了該類(lèi)別的價(jià)格水平。但目標(biāo)編碼必須防泄漏不能直接在全體訓(xùn)練集上計(jì)算均值否則驗(yàn)證分?jǐn)?shù)會(huì)虛高。from sklearn.model_selection import KFold def target_encoding(df, col, target, n_splits5, seed42): kf KFold(n_splitsn_splits, shuffleTrue, random_stateseed) df[te_ col] np.nan for tr_idx, va_idx in kf.split(df): tr df.iloc[tr_idx] va df.iloc[va_idx] mean_map tr.groupby(col)[target].mean() df.loc[df.index[va_idx], te_ col] va[col].map(mean_map) # 測(cè)試集中出現(xiàn)但訓(xùn)練集中沒(méi)出現(xiàn)過(guò)的類(lèi)別用全局均值兜底 df[te_ col] df[te_ col].fillna(df[target].mean()) return df這個(gè)函數(shù)的邏輯是把數(shù)據(jù)分成 5 折對(duì)每一折都用其余 4 折的類(lèi)別均值去填當(dāng)前折的對(duì)應(yīng)取值。這樣每一行的目標(biāo)編碼都只依賴(lài)不在這行本身的歷史信息從機(jī)制上避免了泄漏。n_splits 用 5 還是 10 取決于數(shù)據(jù)量數(shù)據(jù)量在幾萬(wàn)條以上時(shí) 5 折足夠折數(shù)越多偏差越小但計(jì)算越慢。seed 固定后每次運(yùn)行結(jié)果可復(fù)現(xiàn)。除了編碼組合特征也有很大作用。我一般會(huì)構(gòu)造品牌和車(chē)齡的交互、品牌和里程的交互以及排量和變速箱的組合。品牌殘值率明顯不同而同一品牌下5 年 10 萬(wàn)公里的車(chē)和 5 年 5 萬(wàn)公里的車(chē)價(jià)格差可能超過(guò) 15%這種差異只有通過(guò)交互特征才能被樹(shù)模型捕捉到。train[brand_age] train[brand_id].astype(str) _ train[car_age].astype(str) train[brand_mileage_clip] train[brand_id].astype(str) _ pd.cut(train[mileage], 10).astype(str)brand_age 是一個(gè)字符串拼接得到的組合類(lèi)別用來(lái)表達(dá)“某品牌在某車(chē)齡區(qū)間”的交叉效應(yīng)brand_mileage_clip 把里程分成 10 檔后再和品牌拼接相當(dāng)于把里程分箱和品牌做了交互。這種手工組合特征在樹(shù)模型里往往有奇效因?yàn)樗鼈儽葮?shù)模型自己找的 split 更加貼近業(yè)務(wù)邏輯。3.3 價(jià)格對(duì)數(shù)變換與標(biāo)簽編碼讓回歸目標(biāo)更接近正態(tài)分布標(biāo)簽變換是最后一個(gè)關(guān)鍵動(dòng)作。前面看到價(jià)格是長(zhǎng)尾分布直接把原始價(jià)格作為目標(biāo)模型在迭代中的梯度會(huì)被大價(jià)格樣本主宰導(dǎo)致小價(jià)格樣本擬合不足。取對(duì)數(shù)后目標(biāo)分布變得對(duì)稱(chēng)梯度更均衡。在實(shí)現(xiàn)上我會(huì)把標(biāo)簽轉(zhuǎn)換和特征編碼放在同一個(gè)流水線(xiàn)里from sklearn.preprocessing import LabelEncoder le LabelEncoder() for col in [gearbox, fuel_type, color]: train[col] le.fit_transform(train[col].astype(str)) train[log_price] np.log1p(train[price]) feature_cols [car_age, mileage, power, displacement, gearbox, fuel_type, transfer_count, brand_price_mean, mileage_per_year, te_brand_id, te_model_id, brand_age] X train[feature_cols] y train[log_price]LabelEncoder 會(huì)把字符串類(lèi)別轉(zhuǎn)成從 0 開(kāi)始的整數(shù)對(duì)樹(shù)模型足夠用。注意要保證訓(xùn)練集和測(cè)試集使用同一個(gè) LabelEncoder 對(duì)象最好在訓(xùn)練完成后把訓(xùn)練數(shù)據(jù)中的類(lèi)別到整數(shù)的映射保存下來(lái)推理時(shí)復(fù)用否則類(lèi)別集合不同會(huì)導(dǎo)致編碼錯(cuò)位。log_price 是后續(xù)所有模型訓(xùn)練的標(biāo)簽?zāi)Ｐ皖A(yù)測(cè)出來(lái)的是 log 空間的數(shù)值最終提交前要執(zhí)行 np.expm1 還原成價(jià)格。特征工程做完后不要急著訓(xùn)模型先檢查一下特征之間是否有多重共線(xiàn)性或泄漏。比如 brand_price_mean 和 te_brand_id 都表達(dá)了品牌價(jià)格水平兩者高度相關(guān)樹(shù)模型雖然不怕共線(xiàn)性但冗余特征會(huì)讓重要性評(píng)估變得混亂。我的習(xí)慣是先跑一個(gè) LightGBM 看特征重要性把重要性很低且確實(shí)業(yè)務(wù)重復(fù)的特征刪掉這樣后續(xù)模型收斂更快。現(xiàn)在進(jìn)入模型訓(xùn)練和驗(yàn)證階段。這一章會(huì)告訴你為什么選 LightGBM、交叉驗(yàn)證怎么做才不失真、融合到底該加權(quán)還是 Stacking。4. 模型訓(xùn)練與交叉驗(yàn)證從單模型到融合優(yōu)勝方案是這樣煉成的特征做到位之后模型選擇變得相對(duì)簡(jiǎn)單。二手車(chē)價(jià)格預(yù)測(cè)這類(lèi)表格任務(wù)樹(shù)模型是當(dāng)之無(wú)愧的主力而樹(shù)模型里我優(yōu)先選 LightGBM。4.1 基線(xiàn)模型選擇為什么優(yōu)先選 LightGBM 而不是線(xiàn)性回歸線(xiàn)性回歸的問(wèn)題在于它假設(shè)特征和目標(biāo)之間是線(xiàn)性關(guān)系。二手車(chē)價(jià)格和里程的關(guān)系顯然不是線(xiàn)性的前 5 萬(wàn)公里折舊快過(guò)了這個(gè)區(qū)間折舊放緩。要讓線(xiàn)性模型 work你需要手工構(gòu)造分箱、交互、多項(xiàng)式特征這個(gè)成本非常高。LightGBM 通過(guò)梯度提升和直方圖分裂自動(dòng)學(xué)習(xí)分段常數(shù)函數(shù)正好匹配這種非線(xiàn)性關(guān)系。另一個(gè)理由是工程效率。LightGBM 的內(nèi)存占用低訓(xùn)練速度快自帶處理缺失值的邏輯還支持類(lèi)別特征直讀。在同樣的特征集上LightGBM 的基線(xiàn) RMSLE 通常比線(xiàn)性回歸低 20% 到 40%這個(gè)差距不是靠調(diào)參能追回來(lái)的。我一般會(huì)先把下面這組參數(shù)作為起點(diǎn)而不是一上來(lái)就去搜索超參數(shù)。params { objective: regression, metric: rmse, learning_rate: 0.05, num_leaves: 31, max_depth: -1, feature_fraction: 0.8, bagging_fraction: 0.8, bagging_freq: 1, lambda_l2: 1.0, verbose: -1, seed: 42, }learning_rate 設(shè) 0.05 是比較穩(wěn)的起點(diǎn)如果想追求精度可以降到 0.02但需要增大迭代次數(shù)。num_leaves 是主要復(fù)雜度控制參數(shù)31 對(duì)應(yīng) 2^5-1適合中低維特征如果特征很多可以適當(dāng)加大到 63 或者 127但要注意過(guò)擬合。feature_fraction 和 bagging_fraction 都設(shè) 0.8相當(dāng)于每棵樹(shù)只用 80% 的特征和 80% 的樣本是兩種并行正則化。lambda_l2 加一點(diǎn) L2 正則讓權(quán)重不要走極端。這些參數(shù)不是固定的但作為基線(xiàn)已經(jīng)能跑出不錯(cuò)的分?jǐn)?shù)。4.2 K 折交叉驗(yàn)證與早停讓驗(yàn)證分?jǐn)?shù)真實(shí)反映線(xiàn)上表現(xiàn)交叉驗(yàn)證是評(píng)估模型的唯一可信標(biāo)尺。單次留出驗(yàn)證的波動(dòng)太大隨機(jī)選一批數(shù)據(jù)當(dāng)驗(yàn)證集運(yùn)氣好就高運(yùn)氣差就低。K 折交叉驗(yàn)證把訓(xùn)練集切成 K 份每份輪流當(dāng)驗(yàn)證最后取 K 次驗(yàn)證分?jǐn)?shù)的平均這樣能減少評(píng)估方差。在二手車(chē)價(jià)格賽題里數(shù)據(jù)通常不是嚴(yán)格的時(shí)間序列隨機(jī) K 折是常見(jiàn)做法。但如果數(shù)據(jù)里有明顯的采集日期字段而且價(jià)格隨時(shí)間有趨勢(shì)性變化就要改成按時(shí)間切分用較早的數(shù)據(jù)訓(xùn)練較晚的數(shù)據(jù)驗(yàn)證否則模型會(huì)偷看未來(lái)信息。import lightgbm as lgb from sklearn.model_selection import KFold from sklearn.metrics import mean_squared_error kf KFold(n_splits5, shuffleTrue, random_state42) oof np.zeros(len(X)) for fold, (tr_idx, va_idx) in enumerate(kf.split(X)): tr_X, tr_y X.iloc[tr_idx], y.iloc[tr_idx] va_X, va_y X.iloc[va_idx], y.iloc[va_idx] dtr lgb.Dataset(tr_X, labeltr_y) dva lgb.Dataset(va_X, labelva_y) model lgb.train( params, dtr, num_boost_round5000, valid_sets[dva], callbacks[lgb.early_stopping(100), lgb.log_evaluation(0)] ) oof[va_idx] model.predict(va_X, num_iterationmodel.best_iteration) score np.sqrt(mean_squared_error(y, oof)) print(fCV RMSLE: {score:.5f})這段代碼有幾個(gè)細(xì)節(jié)值得注意。dtr 和 dva 分屬訓(xùn)練部分和驗(yàn)證部分early_stopping 在驗(yàn)證集上連續(xù) 100 輪沒(méi)有提升時(shí)停止訓(xùn)練避免過(guò)擬合的同時(shí)不需要手動(dòng)指定迭代輪數(shù)。predict 時(shí)加上 num_iterationmodel.best_iteration確保使用的是早停時(shí)的最佳模型而不是最后一次迭代的模型。每折訓(xùn)練完都把對(duì)驗(yàn)證集的預(yù)測(cè)存進(jìn) oof最后統(tǒng)一計(jì)算 RMSLE這個(gè)分?jǐn)?shù)就是模型在隨機(jī) K 折下的真實(shí)估計(jì)。如果 CV 分?jǐn)?shù)和線(xiàn)上分?jǐn)?shù)差距很大優(yōu)先檢查是不是交叉驗(yàn)證切分方式與賽題數(shù)據(jù)的生成方式不一致。比如賽題數(shù)據(jù)本身是分多個(gè)批次的或者價(jià)格標(biāo)簽有時(shí)間聚集效應(yīng)這時(shí)候隨機(jī) K 折的 CV 分?jǐn)?shù)會(huì)虛高。4.3 多模型融合策略加權(quán)平均與 Stacking 的取舍單模型跑出合適的 CV 分?jǐn)?shù)后融合是往上走的常見(jiàn)手段。融合的基礎(chǔ)是多樣性不同模型看到的數(shù)據(jù)視角不同它們的錯(cuò)誤模式不同加權(quán)平均后誤差會(huì)互相抵消。常見(jiàn)的組合是 LightGBM、XGBoost、CatBoost也可以加入嶺回歸模型專(zhuān)門(mén)擬合線(xiàn)性部分。簡(jiǎn)單加權(quán)平均是最穩(wěn)的融合方式實(shí)現(xiàn)成本低不容易過(guò)擬合。權(quán)重不一定要精確搜索我會(huì)先看每個(gè)模型單獨(dú)的 CV 分?jǐn)?shù)分?jǐn)?shù)越好的給越大權(quán)重。一般權(quán)重控制在 0.5、0.3、0.2 這種粗糙的比例即可過(guò)度調(diào)權(quán)重反而是在擬合驗(yàn)證集。pred_lgb model_lgb.predict(test_X, num_iterationmodel_lgb.best_iteration) pred_xgb model_xgb.predict(test_X) pred_cat model_cat.predict(test_X) final_pred 0.5 * pred_lgb 0.3 * pred_xgb 0.2 * pred_cat final_price np.expm1(final_pred)這里三個(gè)模型都輸出 log 價(jià)格直接加權(quán)最后 expm1 還原。如果你手頭只有兩個(gè)模型權(quán)重可以改成 0.6/0.4。要注意的是融合前一定要確認(rèn)所有模型用的是同一份測(cè)試集特征并且在相同的 log 空間里輸出否則加權(quán)沒(méi)有意義。Stacking 比加權(quán)平均更強(qiáng)但風(fēng)險(xiǎn)也更大。做法是把每折 OOF 預(yù)測(cè)作為第二層的特征然后用一個(gè)簡(jiǎn)單模型比如 Ridge去擬合真實(shí)標(biāo)簽。Stacking 的問(wèn)題在于第二層很容易過(guò)擬合尤其是訓(xùn)練數(shù)據(jù)量不足一萬(wàn)條時(shí)融合收益會(huì)被過(guò)擬合吃掉。我的經(jīng)驗(yàn)是如果 OOF 分?jǐn)?shù)提升不超過(guò) 0.001就優(yōu)先用加權(quán)平均只有數(shù)據(jù)量超過(guò) 5 萬(wàn)條或者單模型差異足夠大時(shí)才值得上 Stacking。下面是一個(gè)在實(shí)踐中被反復(fù)驗(yàn)證過(guò)的結(jié)論把交叉驗(yàn)證做扎實(shí)比調(diào) 100 組超參數(shù)都有效。CV 分?jǐn)?shù)和線(xiàn)上分?jǐn)?shù)的相關(guān)性是你判斷一切特征和模型改動(dòng)是否有效的唯一標(biāo)準(zhǔn)。只要 CV 和線(xiàn)上相關(guān)性好你的每次改進(jìn)才是真的改進(jìn)否則你只是在對(duì)著排行榜碰運(yùn)氣。5. 二手車(chē)價(jià)格預(yù)測(cè)的 5 個(gè)常見(jiàn)坑翻車(chē)現(xiàn)場(chǎng)與后悔藥前面講的都是“正確做法”但真正讓你排位靠后的往往是那些看起來(lái)無(wú)害的處理習(xí)慣。這 5 個(gè)坑我都在復(fù)現(xiàn)這類(lèi)賽題時(shí)踩過(guò)或者見(jiàn)別人踩過(guò)每一個(gè)都配了后悔藥。5.1 標(biāo)簽泄漏把“新車(chē)指導(dǎo)價(jià)”直接當(dāng)特征現(xiàn)象交叉驗(yàn)證分?jǐn)?shù)極低單模型 RMSLE 能到 0.30 以?xún)?nèi)自己都覺(jué)得要拿獎(jiǎng)了結(jié)果一提交線(xiàn)上分?jǐn)?shù)比 CV 高出一大截排名還不如隨機(jī)猜測(cè)。原因數(shù)據(jù)里通常會(huì)有“新車(chē)指導(dǎo)價(jià)”或者“廠商建議價(jià)”這類(lèi)字段。它確實(shí)是很有用的價(jià)格錨點(diǎn)但它和目標(biāo)成交價(jià)高度相關(guān)甚至可以說(shuō)指導(dǎo)價(jià)已經(jīng)包含了價(jià)格信息。當(dāng)你把指導(dǎo)價(jià)原封不動(dòng)作為特征時(shí)模型學(xué)到的是“成交價(jià)≈指導(dǎo)價(jià)×0.8”之類(lèi)的映射可測(cè)試集里同樣有這個(gè)字段所以訓(xùn)練時(shí)看似正確但實(shí)際上模型并沒(méi)有學(xué)習(xí)到車(chē)況、里程這些真正的定價(jià)因素。一旦線(xiàn)上數(shù)據(jù)的指導(dǎo)價(jià)和成交價(jià)關(guān)系發(fā)生漂移立刻翻車(chē)。解決不要直接用指導(dǎo)價(jià)把它變成“貶值率”或“價(jià)格折扣”再作為特征貶值率成交價(jià)/指導(dǎo)價(jià)這樣目標(biāo)就和指導(dǎo)價(jià)解耦了。如果這個(gè)字段確實(shí)要保留也要在交叉驗(yàn)證時(shí)做敏感性分析看看去掉它對(duì) CV 分?jǐn)?shù)的影響。還有一種更保險(xiǎn)的做法凡是和目標(biāo)強(qiáng)相關(guān)且業(yè)務(wù)上屬于“結(jié)果”的字段全部剔除。在復(fù)現(xiàn)階段我還會(huì)單獨(dú)算一下指導(dǎo)價(jià)和成交價(jià)的斯皮爾曼相關(guān)系數(shù)如果超過(guò) 0.9就提醒自己一定要做變換。5.2 缺失值填充太粗暴用 0 填充類(lèi)別特征現(xiàn)象模型不報(bào)錯(cuò)特征重要性排名很高CV 分?jǐn)?shù)卻上不去而且在某些細(xì)分品牌上的預(yù)測(cè)嚴(yán)重偏離。原因0 在類(lèi)別編碼里成為了一個(gè)新類(lèi)別但缺失并不等于“無(wú)”或“手動(dòng)擋”這類(lèi)含義。以變速箱字段為例如果缺失的車(chē)輛其實(shí)是自動(dòng)擋你填 0 后模型可能把“0”分裂成一個(gè)單獨(dú)分支專(zhuān)門(mén)預(yù)測(cè)一個(gè)奇怪的中間價(jià)格。樹(shù)模型雖然能處理缺失但那是基于模型自己的分裂決策而不是你預(yù)先填充的武斷值。解決類(lèi)別字段的缺失統(tǒng)一用一個(gè)單獨(dú)字符串 missing 填充然后再編碼數(shù)值字段用中位數(shù)而不是 0 填充如果是布爾型字段比如“是否有事故”缺失就填 unknown。這樣做的核心思想是讓模型自己判斷缺失模式與目標(biāo)的關(guān)系而不是強(qiáng)加一個(gè)業(yè)務(wù)含義。如果數(shù)據(jù)量大我還會(huì)跑兩個(gè)版本做對(duì)比一個(gè)用 0 填充一個(gè)用 missing 填充看 CV 分?jǐn)?shù)的差異是否明顯用數(shù)據(jù)說(shuō)話(huà)而不是拍腦袋。5.3 交叉驗(yàn)證與線(xiàn)上不一致隨機(jī) K 折遇上時(shí)間漂移現(xiàn)象隨機(jī) 5 折 CV 分?jǐn)?shù)穩(wěn)定在 0.25線(xiàn)上分?jǐn)?shù)卻是 0.36而且每次提交都穩(wěn)定差 0.1 左右。原因賽題數(shù)據(jù)如果是按時(shí)間分批收集的汽車(chē)價(jià)格會(huì)受市場(chǎng)行情、新車(chē)降價(jià)、政策變化等多種因素影響。隨機(jī) K 折把所有樣本混在一起等于讓模型用后幾個(gè)月的數(shù)據(jù)去“訓(xùn)練”前幾個(gè)月的樣本或者反過(guò)來(lái)說(shuō)驗(yàn)證集里的樣本在訓(xùn)練集里找到了來(lái)自未來(lái)的同類(lèi)信息CV 分?jǐn)?shù)自然虛高。線(xiàn)上評(píng)估時(shí)用的是嚴(yán)格按時(shí)間劃分的新數(shù)據(jù)這種信息被切斷分?jǐn)?shù)就崩了。解決先確認(rèn)數(shù)據(jù)里有沒(méi)有時(shí)間戳比如上牌日期、采集日期。如果有按時(shí)間排序后對(duì)樣本編號(hào)取前 80% 做訓(xùn)練、后 20% 做驗(yàn)證。如果你用的是隨機(jī) K 折至少保證 KFold 的 shuffleTrue并且固定 seed方便排查。還有一個(gè)驗(yàn)證方法是把數(shù)據(jù)按月份分組畫(huà)一張“每個(gè)月平均成交價(jià)”的曲線(xiàn)看看是否存在明顯趨勢(shì)有趨勢(shì)就按時(shí)間切分沒(méi)有趨勢(shì)才可以用隨機(jī) K 折。這個(gè)檢查 10 分鐘就能做完卻能避免后面幾天的無(wú)效工作。5.4 對(duì)數(shù)變換的陷阱預(yù)測(cè)值取 exp 后系統(tǒng)性偏低現(xiàn)象RMSLE 看起來(lái)合格但把預(yù)測(cè)價(jià)格從 log 空間還原后發(fā)現(xiàn)平均預(yù)測(cè)值比真實(shí)平均值低 5% 到 10%整體偏移。原因在 log 空間用 MSE 做優(yōu)化等價(jià)于擬合目標(biāo)的對(duì)數(shù)幾何均值。當(dāng)你把對(duì)數(shù)均值變換回原始空間時(shí)得到的是幾何均值而真實(shí)數(shù)據(jù)的均值是算術(shù)均值兩者天然存在差距。尤其當(dāng)價(jià)格分布右偏時(shí)這個(gè)差距會(huì)更明顯。LightGBM 的 objectiveregression 直接作用于 log 目標(biāo)所以預(yù)測(cè)的 log 均值天然是偏低的。解決常見(jiàn)做法是做一個(gè)偏差校正系數(shù)。先用訓(xùn)練集每個(gè)測(cè)試樣本的預(yù)測(cè)值乘以一個(gè)系數(shù) cc 真實(shí)價(jià)格均值 / 預(yù)測(cè)價(jià)格均值這個(gè)系數(shù)用 OOF 預(yù)測(cè)計(jì)算得到然后套在測(cè)試集預(yù)測(cè)上。也可以嘗試在訓(xùn)練時(shí)把目標(biāo)換成原始價(jià)格配合 huber loss 等對(duì)異常值魯棒的損失函數(shù)看 CV 分?jǐn)?shù)的變化。我個(gè)人習(xí)慣用 OOF 校正系數(shù)簡(jiǎn)單有效。具體實(shí)現(xiàn)時(shí)我會(huì)把 OOF 預(yù)測(cè)的 exp 值和真實(shí)價(jià)格放在同一張表里算一個(gè)加權(quán)平均系數(shù)再把這個(gè)系數(shù)固化到 predict 腳本里避免每次提交時(shí)手動(dòng)改。5.5 融合時(shí)權(quán)重拍腦袋沒(méi)有考慮相關(guān)性現(xiàn)象兩個(gè)單模型 CV 分?jǐn)?shù)都是 0.26融合之后 CV 分?jǐn)?shù)反而變成 0.27還不如取最好的單模型。原因融合的前提是模型之間具有多樣性。如果你把同一個(gè) LightGBM 用不同的隨機(jī)種子跑了兩次這兩個(gè)模型的預(yù)測(cè)高度相關(guān)錯(cuò)誤模式幾乎一樣加權(quán)平均不僅不會(huì)糾錯(cuò)還可能把某些正確預(yù)測(cè)平均偏。如果再加一個(gè) CatBoost但它和 LightGBM 在特征使用上太接近融合收益也有限。解決在融合前先計(jì)算各模型 OOF 預(yù)測(cè)之間的皮爾遜相關(guān)系數(shù)。只保留相關(guān)系數(shù)低于 0.95 的模型進(jìn)入融合如果兩個(gè)模型相關(guān)系數(shù)超過(guò) 0.97說(shuō)明它們幾乎等價(jià)留一個(gè)就行。權(quán)重不要純靠感覺(jué)可以用一個(gè)簡(jiǎn)單的網(wǎng)格搜索在驗(yàn)證集上遍歷權(quán)重組合選出 CV 分?jǐn)?shù)最低的組合但要在多折上確認(rèn)穩(wěn)定性防止過(guò)擬合驗(yàn)證集。我一般把權(quán)重搜索步長(zhǎng)設(shè)為 0.1組合數(shù)量控制在 100 以?xún)?nèi)跑完后的最優(yōu)權(quán)重如果和啟發(fā)式權(quán)重差距很大反而要警惕是不是驗(yàn)證集太小。6. 把項(xiàng)目說(shuō)明寫(xiě)成別人能復(fù)現(xiàn)的東西源碼結(jié)構(gòu)、運(yùn)行順序與你的第一個(gè)改進(jìn)點(diǎn)一個(gè)能拿獎(jiǎng)的方案源碼質(zhì)量和項(xiàng)目說(shuō)明同樣重要。很多人跑完模型就丟在一堆 Untitled.ipynb 里等到想復(fù)現(xiàn)的時(shí)候發(fā)現(xiàn)忘了哪步在前哪步在后。我習(xí)慣把代碼拆成幾個(gè)獨(dú)立模塊每個(gè)模塊只干一件事然后通過(guò) README 把整條流水線(xiàn)串起來(lái)。car_price_prediction/ ├── data/ │ ├── train.csv │ └── test.csv ├── src/ │ ├── preprocess.py │ ├── features.py │ ├── train.py │ └── predict.py ├── notebooks/ │ └── EDA.ipynb ├── README.md └── requirements.txtpreprocess.py 負(fù)責(zé)加載數(shù)據(jù)、缺失值填充、異常值過(guò)濾features.py 負(fù)責(zé)構(gòu)造車(chē)齡、目標(biāo)編碼、組合特征并輸出特征矩陣train.py 負(fù)責(zé) K 折訓(xùn)練和保存模型每個(gè)模型存成 pkl 或 txtpredict.py 讀取模型拼接測(cè)試集特征輸出提交格式。運(yùn)行順序就是 preprocess 到 features 到 train 再到 predict每一步都從上一部的輸出讀數(shù)據(jù)避免重復(fù)執(zhí)行。README 里我會(huì)寫(xiě)清楚四件事賽題任務(wù)和評(píng)估指標(biāo)、依賴(lài)庫(kù)版本說(shuō)明、一條命令從頭訓(xùn)練到預(yù)測(cè)的執(zhí)行方式、以及復(fù)現(xiàn)時(shí)需要注意的坑比如目標(biāo)編碼必須用訓(xùn)練集的映射。不需要寫(xiě)成論文只要讓另一個(gè)工程師照著做能在半小時(shí)內(nèi)跑出和賽題排名對(duì)應(yīng)的分?jǐn)?shù)就算合格。如果你想在這個(gè)基礎(chǔ)上做第一個(gè)改進(jìn)我建議從驗(yàn)證策略開(kāi)始把隨機(jī) K 折改成按時(shí)間切分或者加入 GroupKFold 按品牌分組往往比調(diào)模型參數(shù)更有效。我在最初做這類(lèi)賽題時(shí)總把時(shí)間花在調(diào)參上后來(lái)發(fā)現(xiàn)把驗(yàn)證策略做扎實(shí)比調(diào) 100 組參數(shù)都管用。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取