做推薦系統(tǒng)這些年我最喜歡跟新人聊的一條演進(jìn)線就是CTR預(yù)估模型是怎么一步一步走到今天的。CTR點(diǎn)擊率預(yù)估這個指標(biāo)聽起來很樸素?zé)o非是“展示之后用戶點(diǎn)沒點(diǎn)”但它是推薦系統(tǒng)里最核心的預(yù)測目標(biāo)之一直接決定一個物品排在哪個位置、一條廣告值多少錢、一個視頻能獲得多少流量。我一直覺得把CTR技術(shù)的歷史脈絡(luò)讀透比單純背模型公式有價值得多因?yàn)槟憧吹降牟皇且欢压铝⒛Ｐ投且惶淄暾?、圍繞“如何理解用戶興趣”展開的問題求解思路。這篇內(nèi)容適合三類人看一是剛?cè)胄胁痪玫耐扑]算法工程師需要一個清晰的技術(shù)坐標(biāo)知道當(dāng)前各種花哨模型從哪里來、到哪里去二是做數(shù)據(jù)產(chǎn)品和增長運(yùn)營的同學(xué)明白點(diǎn)擊率背后連著什么樣的商業(yè)價值三是已經(jīng)在工業(yè)界做特征、做訓(xùn)練的資深研發(fā)哪怕你每天在調(diào)某個模型回頭看一遍演變史也會發(fā)現(xiàn)很多當(dāng)年沒想通的細(xì)節(jié)其實(shí)早在若干年前就被前人踩過了。1. 為什么CTR預(yù)估是推薦系統(tǒng)里最值得深挖的一條線1.1 從點(diǎn)擊率到商業(yè)價值的鏈路推薦系統(tǒng)的完整鏈路通常是召回 → 粗排 → 精排 → 重排 → 展示。召回負(fù)責(zé)從百萬甚至億級候選里選出幾百個可能感興趣的物品粗排用輕量模型快速過濾精排則是對剩下的幾十個物品做精細(xì)打分這個打分結(jié)果基本決定了用戶最終看到什么。CTR預(yù)估主要發(fā)生在粗排和精排這兩層。精排模型估計(jì)用戶點(diǎn)擊某個物品的概率重排階段再結(jié)合多樣性、業(yè)務(wù)規(guī)則、商業(yè)約束做最終調(diào)整。這里出現(xiàn)一個很關(guān)鍵的道理點(diǎn)擊率雖然是“點(diǎn)沒點(diǎn)”的二分類問題但它背后代表的是用戶在當(dāng)前場景下對內(nèi)容的迫切程度。一個CTR高的物品不一定用戶真的喜歡但它至少說明推薦系統(tǒng)給出的排序符合用戶當(dāng)下的注意力分布。從商業(yè)角度看點(diǎn)擊率往往直接連到廣告計(jì)費(fèi)、內(nèi)容消耗和商品成交。很多廣告系統(tǒng)采用點(diǎn)擊計(jì)費(fèi)模式預(yù)估CTR稍微偏差一點(diǎn)平臺和廣告主兩側(cè)的收益波動都會被放大。正因如此CTR模型的每一次提升哪怕是零點(diǎn)幾個點(diǎn)的AUC漲幅放到幾億用戶的規(guī)模上都可能轉(zhuǎn)化成巨大的商業(yè)價值。這也是為什么這么多團(tuán)隊(duì)愿意投入大量人力去研究CTR模型結(jié)構(gòu)。1.2 看懂演變的兩個視角特征組合與表達(dá)能力的延伸如果只記模型名字看歷史很容易變成“一頭霧水”。我通常建議大家用兩個視角串起整條線第一個視角是特征組合能力。早期邏輯回歸完全依賴人工做特征交叉后來FM用隱向量自動建模二階交叉GBDT用樹結(jié)構(gòu)自動生成高階交叉深度學(xué)習(xí)則直接把特征扔進(jìn)Embedding和神經(jīng)網(wǎng)絡(luò)讓高維非線性的特征交互自動涌現(xiàn)。你會發(fā)現(xiàn)整個演變過程就是“人工特征工程”不斷被替代、被自動化的過程。第二個視角是模型的表達(dá)能力。從線性模型到淺層非線性模型再到深層神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制、序列模型、多任務(wù)學(xué)習(xí)、生成式模型模型能感知的信息范圍越來越廣從單個樣本的靜態(tài)特征到用戶歷史行為序列再到跨任務(wù)、跨場景的全局信息。這兩個視角一旦建立后面所有的技術(shù)節(jié)點(diǎn)都能掛上去不會迷路。2. 傳統(tǒng)CTR模型時代特征工程就是模型的全部2.1 邏輯回歸為什么能統(tǒng)治那么多年在深度學(xué)習(xí)普及之前邏輯回歸Logistic RegressionLR是CTR預(yù)估的絕對主力后來很長一段時間里也依然是工業(yè)界的基線模型。它的形式非常簡潔對特征加權(quán)求和再套一個Sigmoid函數(shù)輸出0到1之間的點(diǎn)擊概率。邏輯回歸能統(tǒng)治多年靠的不是表達(dá)能力而是工程友好性。線上打分只需要做一次大規(guī)模稀疏向量點(diǎn)積延遲極低模型參數(shù)可以隨著新樣本增量更新非常適合廣告和推薦這種數(shù)據(jù)源源不斷產(chǎn)生的場景而且每個特征的權(quán)重都有明確含義運(yùn)營和算法同學(xué)能直接解釋“這個特征讓點(diǎn)擊率漲了還是降了”這在業(yè)務(wù)協(xié)作中非常寶貴。當(dāng)時的核心工作幾乎全在特征工程上。工程師們要做特征離散化把連續(xù)值切分成多個區(qū)間再把類別特征做one-hot編碼變成高維稀疏向量。常見的特征包括用戶ID、物品ID、用戶年齡段、商品類目、當(dāng)前時間、歷史點(diǎn)擊次數(shù)等。為了讓模型記住組合信息大家還會手動構(gòu)造大量交叉特征比如“用戶品類偏好 × 當(dāng)前場景”這類看起來很有腦洞的組合。訓(xùn)練方面早期常用SGD隨機(jī)梯度下降做大規(guī)模稀疏模型的訓(xùn)練后來FTRL這類在線優(yōu)化算法因?yàn)槟芗骖櫹∈栊院褪諗克俣瘸蔀楦鞔笃脚_處理海量點(diǎn)擊日志的標(biāo)配。損失函數(shù)就是經(jīng)典的交叉熵模型對正樣本預(yù)測概率越接近1、對負(fù)樣本預(yù)測概率越接近0損失越小。整個流程很成熟但問題也很明顯人工特征組合的規(guī)模是有限的線上業(yè)務(wù)一多特征列表容易膨脹到失控而且很多隱性交叉關(guān)系是人工難以預(yù)設(shè)的。提示LR雖然簡單但不要小看它。很多團(tuán)隊(duì)用深度學(xué)習(xí)替換LR后線上收益并不明顯原因往往不是模型不好而是特征工程做糙了。LR加好特征通常能打贏結(jié)構(gòu)花哨但特征稀疏的深度模型。2.2 FM與FFM給特征組合加上隱向量邏輯回歸最大的痛點(diǎn)是無法自動學(xué)習(xí)特征之間的二階交叉關(guān)系。如果數(shù)據(jù)里“年輕用戶 游戲品類”這個組合很重要但樣本中這個組合出現(xiàn)次數(shù)很少人工構(gòu)造的交叉特征可能根本沒能覆蓋到或者參數(shù)估計(jì)很不穩(wěn)定。FM因子分解機(jī)的核心思路是不再為每個特征組合單獨(dú)學(xué)習(xí)一個參數(shù)而是為每個特征學(xué)習(xí)一個低維隱向量兩個特征的交叉權(quán)重直接用它們隱向量的內(nèi)積來表示。舉個例子用戶年齡段取值為“20~25歲”物品品類取值為“游戲”只要分別學(xué)到這兩個特征的向量它們的交互就能被推斷出來。即使“20~25歲 游戲”這個組合在樣本里很稀疏也能從其他組合中借到信息這就大大緩解了稀疏特征場景下二階組合參數(shù)無法可靠估計(jì)的問題。FM還有一個讓工程師很喜歡的特性二階交叉部分可以寫成平方項(xiàng)減去向量內(nèi)積平方的形式計(jì)算復(fù)雜度能從O(n2)降到O(kn)其中k是隱向量維度。這意味著在特征數(shù)量很大的點(diǎn)擊日志上依然可以用相對低的成本完成訓(xùn)練和推理。FFMField-aware Factorization Machine是FM的一個重要升級它進(jìn)一步考慮了“場”Field的概念。在FFM中每個特征對不同場要有不同的隱向量比如“用戶ID”這個特征在和“物品ID”交叉、和“時間特征”交叉時應(yīng)該使用不同的向量表示。這種細(xì)化讓模型表達(dá)能力更強(qiáng)在不少CTR比賽和工業(yè)場景中效果優(yōu)于FM但參數(shù)量和計(jì)算復(fù)雜度也隨之漲了一截線上部署時要做更多工程優(yōu)化。2.3 GBDT自動交叉那時候的“手動大模型”在深度神經(jīng)網(wǎng)絡(luò)大規(guī)模應(yīng)用之前GBDT梯度提升決策樹是特征工程領(lǐng)域的一把利器尤其是“GBDT LR”的組合方案曾經(jīng)在一段時間里代表了傳統(tǒng)CTR模型的天花板被很多平臺拿去打榜并驗(yàn)證了線上效果。GBDT做的事情是通過多輪迭代訓(xùn)練一組決策樹每棵樹擬合前面所有樹預(yù)測結(jié)果的殘差。對CTR問題來說把所有樣本的連續(xù)特征比如用戶歷史點(diǎn)擊次數(shù)、活躍天數(shù)等和部分稀疏特征喂進(jìn)去經(jīng)過若干輪迭代每棵樹的葉子節(jié)點(diǎn)實(shí)際上代表了一條自動學(xué)到的特征組合規(guī)則。為了把樹模型變成線性的可組合特征常見做法是對訓(xùn)練好的若干棵樹取每個樣本落在每棵樹的葉子節(jié)點(diǎn)編號然后做one-hot編碼生成一個高維稀疏特征向量。比如有10棵樹、每棵64個葉子那么每個樣本就會得到一個640維的稀疏特征其中只有10個位置是1。這些編碼后的特征再送給LR就構(gòu)成了GBDT LR的兩階段模型。實(shí)際操作中這個方案有兩個非常關(guān)鍵的經(jīng)驗(yàn)點(diǎn)一是樹的數(shù)量和葉子數(shù)不能盲目加大否則編碼后的特征會極度稀疏LR訓(xùn)練時容易過擬合二是GBDT這種樹模型不能頻繁在線更新通常是每天或每小時離線訓(xùn)練一次再同步給線上LR使用。# 偽代碼用GBDT產(chǎn)出交叉特征并交給線性模型 import numpy as np # gbdt是訓(xùn)練好的多棵樹x_raw是單條樣本的原始連續(xù)特征 def gbdt_feature_transform(gbdt, x_raw): leafs [] for tree in gbdt.trees: leaf_idx tree.apply(x_raw) # 得到該樣本在當(dāng)前樹的葉子編號 leafs.append(leaf_idx) # 把所有葉子編號拼接成一個稠密整數(shù)序列再用one-hot編碼 return to_onehot(leafs) # 將轉(zhuǎn)換后的特征拼接上原始特征一起送給LR訓(xùn)練 train_feature np.hstack([raw_feature, gbdt_feature_transform(gbdt, X_train)])回到當(dāng)時的視角GBDTLR已經(jīng)讓模型具備了“自動做高階交叉特征”的能力但距離真正的端到端還有距離因?yàn)闃淠Ｐ捅旧硪廊皇请x線訓(xùn)練、離線產(chǎn)出的結(jié)構(gòu)無法像神經(jīng)網(wǎng)絡(luò)那樣直接在點(diǎn)擊日志上反復(fù)打磨每個參數(shù)。這個時代很像“手動大模型”人要負(fù)責(zé)設(shè)計(jì)樹的數(shù)量、深度、學(xué)習(xí)率還要不斷調(diào)整LR側(cè)的稀疏特征處理邏輯。3. 深度學(xué)習(xí)CTR模型從Embedding開始的表達(dá)革命3.1 Embedding層把所有特征拉進(jìn)同一個語義空間深度學(xué)習(xí)給CTR模型帶來的第一個根本性變化不是神經(jīng)網(wǎng)絡(luò)本身而是Embedding嵌入機(jī)制。傳統(tǒng)one-hot編碼會把每個ID變成一個幾萬維的稀疏向量特征之間彼此孤立模型根本看不出兩個不同ID有什么相似性。Embedding則是把每個ID映射成一個幾百維的稠密向量維度遠(yuǎn)小于原始特征空間但能表達(dá)更豐富的語義關(guān)系。打個比方one-hot像是每個人都有一個完全不同的ID編號模型無法根據(jù)編號判斷兩個人的相似程度Embedding則像給人發(fā)了一張性格評分表評分接近的人就被認(rèn)為是相似的用戶。推薦系統(tǒng)里用戶ID和物品ID的Embedding會在訓(xùn)練中不斷調(diào)整逐漸讓“點(diǎn)擊過同一類物品的用戶”共享相似向量空間。這一機(jī)制的工程意義極其重要。它讓模型可以在超高維稀疏特征上訓(xùn)練同時把參數(shù)量控制在可接受范圍內(nèi)。一個大型電商平臺可能有上億用戶、幾千萬商品如果都用稠密的Embedding表示模型整體參數(shù)量可能達(dá)到幾十億甚至上百億這直接推動了大規(guī)模分布式訓(xùn)練框架和Embedding參數(shù)服務(wù)器的發(fā)展。Embedding落地時有個常見問題頻率極低的ID無法學(xué)習(xí)到有意義的向量。業(yè)界通用做法是設(shè)置最小出現(xiàn)次數(shù)閾值過濾掉出現(xiàn)次數(shù)過少的ID或者讓它們共享一個“默認(rèn)Embedding向量”。這個細(xì)節(jié)看起來小處理不好會讓模型在冷門物品上做出很離譜的預(yù)測。3.2 WideDeep、DeepFM、DCN、xDeepFM各自解決什么問題深度學(xué)習(xí)CTR模型百花齊放的第一波主要是圍繞“如何把線性記憶能力和神經(jīng)網(wǎng)絡(luò)泛化能力結(jié)合”展開的。這里最值得記住的幾款模型放在一起看其實(shí)非常清晰我用一張表來梳理對比。模型核心思想特征交互方式典型適合場景Wide Deep線性Wide負(fù)責(zé)記憶深度DNN負(fù)責(zé)泛化淺層線性 深層非線性既需要強(qiáng)記憶用戶歷史偏好又需要自動泛化新組合的場景比如推薦中的個性化召回與排序DeepFM用FM替換Wide側(cè)實(shí)現(xiàn)端到端自動交叉FM做低階交互DNN做高階交互大規(guī)模稀疏CTR場景希望減少人工交叉特征DCN提出Cross網(wǎng)絡(luò)顯式做高階特征交叉多層Cross層做bit-level交叉特征維度高、交叉關(guān)系強(qiáng)的搜索和廣告排序xDeepFM在向量級別做顯式高階交叉壓縮交互網(wǎng)絡(luò)做vector-level交叉需要精細(xì)建模多特征向量交互的復(fù)雜場景WideDeep的思路非常工程化Wide側(cè)就是一個小型LR能精準(zhǔn)記住用戶過去點(diǎn)擊過的組合比如“晚上 長視頻”Deep側(cè)是一個全連接神經(jīng)網(wǎng)絡(luò)能把沒見過的組合泛化出來比如“用戶喜歡A類視頻可能也喜歡類似的B類視頻”。兩者共享輸入特征和Embedding一起訓(xùn)練。這套結(jié)構(gòu)后來成為許多深度推薦系統(tǒng)的地基。DeepFM則干脆把Wide側(cè)換成FM這樣不僅保留了低階特征交叉能力還能和DNN一起端到端訓(xùn)練不需要像WideDeep那樣手動設(shè)計(jì)Wide側(cè)的特征組合。DCN和xDeepFM則在“高階交叉”上做文章DCN的Cross網(wǎng)絡(luò)通過多層運(yùn)算讓特征維度之間直接交互xDeepFM進(jìn)一步把交叉提升到向量級別。這幾款模型并沒有絕對優(yōu)劣更多是看特征形態(tài)和業(yè)務(wù)目標(biāo)。3.3 深度模型上線后工程鏈路發(fā)生了什么變化用上深度學(xué)習(xí)CTR之后整個工程鏈路和傳統(tǒng)時代幾乎是兩個物種。特征處理從人人可手寫的腳本變成了需要統(tǒng)一管理和版本控制的特征平臺模型訓(xùn)練從單機(jī)或者簡單參數(shù)服務(wù)器變成了支持?jǐn)?shù)百億Embedding參數(shù)的分布式訓(xùn)練集群線上打分從每次幾十微秒的稀疏向量點(diǎn)積變成了包含多層神經(jīng)網(wǎng)絡(luò)前向推理的計(jì)算過程。我記得做第一個深度CTR項(xiàng)目的時候最難受的其實(shí)不是模型結(jié)構(gòu)而是Embedding字典同步。訓(xùn)練服務(wù)器上維護(hù)一份很大的Embedding表線上服務(wù)又需要實(shí)時讀取最新版本。如果同步機(jī)制做得不好線上拿到的Embedding還是舊版本模型預(yù)測就會和離線評測差一大截。后來很多團(tuán)隊(duì)都靠“雙緩沖”或“增量快照”機(jī)制解決這個問題也就是同時維護(hù)當(dāng)前版本和影子版本切換時保證線上請求不受影響。另一個容易被忽視的點(diǎn)是特征覆蓋度。深度模型對每一維特征的質(zhì)量都更敏感如果一個特征在離線訓(xùn)練數(shù)據(jù)里覆蓋率為90%在生產(chǎn)環(huán)境只有60%那么模型訓(xùn)練出來的Embedding天然就會有偏。這個問題的排查難度比想象中大得多經(jīng)常表現(xiàn)為“離線AUC很高上線A/B測試卻沒有效果”。4. 用戶興趣的動態(tài)建模注意力機(jī)制與序列模型4.1 DIN用戶的興趣不是靜態(tài)的到了這個階段CTR模型不再滿足于只看“用戶是誰、物品是什么、今天幾點(diǎn)”而是開始認(rèn)真考慮一個本質(zhì)問題用戶的興趣是動態(tài)的并且會隨候選物品變化。DINDeep Interest Network提出了一個非常直覺的機(jī)制當(dāng)模型預(yù)測用戶對某個候選物品的點(diǎn)擊率時不應(yīng)該把用戶所有歷史行為一視同仁地做平均而是應(yīng)該讓與候選物品更相關(guān)的歷史行為起到更大作用。這個“更大作用”就是注意力權(quán)重。舉個電商場景例子用戶今天既看了手機(jī)殼又看了跑鞋?，F(xiàn)在來了一條新款手機(jī)的候選模型應(yīng)該更關(guān)注用戶最近看手機(jī)殼的行為而不是運(yùn)動鞋的歷史換一條籃球鞋候選時注意力則應(yīng)該轉(zhuǎn)移到跑鞋那部分歷史。DIN的做法是對候選物品Embedding和用戶每條歷史行為Embedding做內(nèi)積得到相似度分?jǐn)?shù)再通過Softmax歸一化為注意力權(quán)重最后對歷史行為向量做加權(quán)求和作為用戶的“動態(tài)興趣表示”。我個人的經(jīng)驗(yàn)是DIN類結(jié)構(gòu)在行為歷史比較豐富的用戶身上提升尤其明顯但遇到新用戶行為稀疏時注意力機(jī)制很容易退化基本退化成簡單的平均Pooling。這時候需要靠ID類特征和物品內(nèi)容特征去兜底不要指望注意力能解決冷啟動問題。4.2 DIEN把點(diǎn)擊行為看作一個過程DIN雖然給歷史行為加了權(quán)重但本質(zhì)上還是把所有歷史行為當(dāng)成一組獨(dú)立的、無序的向量。可真實(shí)的用戶瀏覽行為是有先后順序的用戶先看了A再看了B然后點(diǎn)擊了C這個時間順序本身就是興趣變化的重要信號。DIENDeep Interest Evolution Network在這條路上走得非常徹底它用GRU門控循環(huán)單元之類的循環(huán)結(jié)構(gòu)來建模用戶歷史行為的序列演變過程讓模型能夠捕捉“用戶在當(dāng)前候選物品出現(xiàn)之前興趣是如何一步步演變過來的”。除了結(jié)構(gòu)上的序列建模DIEN還有一個很有意思的工程細(xì)節(jié)引入輔助損失。因?yàn)镃TR樣本只能告訴我們用戶是否點(diǎn)擊這個候選并沒有直接告訴模型“用戶的興趣向量應(yīng)該是怎樣的”梯度信號其實(shí)很弱。輔助損失的做法是拿每一時刻的隱藏狀態(tài)去預(yù)測用戶下一個行為相當(dāng)于用行為預(yù)測來額外監(jiān)督興趣向量的學(xué)習(xí)。這樣訓(xùn)練出來的興趣表示會更貼合真實(shí)行為演化。這里要提醒一句序列模型比靜態(tài)DIN結(jié)構(gòu)訓(xùn)練慢不少而且線上推理時需要對用戶歷史行為做一個截?cái)嘁话闳∽罱鼛资綆装贄l行為即可。序列長度一經(jīng)設(shè)定就相當(dāng)于做了一個強(qiáng)假設(shè)太短可能丟失早期興趣太長又會帶來噪音和計(jì)算壓力。真實(shí)項(xiàng)目里可以根據(jù)行為均值數(shù)和延遲預(yù)算來調(diào)。4.3 Transformer結(jié)構(gòu)如何接管行為序列建模循環(huán)神經(jīng)網(wǎng)絡(luò)GRU雖然能建模順序但只能從左到右逐步傳遞信息越靠前的影響越容易衰減。后來者把自然語言處理領(lǐng)域大放異彩的Transformer結(jié)構(gòu)引入了行為序列建模用多頭自注意力機(jī)制讓序列里任意兩個行為之間都能直接交互一步到位捕捉長距離依賴。用Transformer做用戶行為序列建模大致流程是把用戶歷史行為對應(yīng)的物品Embedding加上位置編碼然后經(jīng)過若干層自注意力編碼器得到每個位置的新表示再把這些表示匯總成用戶的序列興趣向量和候選物品特征一起進(jìn)入最終CTR預(yù)測層。這種結(jié)構(gòu)對“行為之間互相影響”的建模能力非常強(qiáng)比如用戶看完手機(jī)后又看了耳機(jī)歷史序列里這兩個行為會相互增強(qiáng)上下文信息。但在工業(yè)落地時傳統(tǒng)Transformer的計(jì)算復(fù)雜度是序列長度的平方行為序列拉長后開銷會快速上升。很多平臺在實(shí)踐中的做法是限制最長序列長度、只取最近一段行為同時用多層蒸餾把大模型壓縮成線上可以承受的小模型。注意當(dāng)用戶行為序列越變越長與其盲目加長輸入不如認(rèn)真做行為篩選。比如優(yōu)先保留與候選品類相關(guān)的歷史行為再做注意力建模效果往往比堆長度更好。5. 轉(zhuǎn)化鏈路與多任務(wù)建模CTR不再是孤立指標(biāo)5.1 CVR預(yù)估為什么更難CTR預(yù)估預(yù)測的是點(diǎn)擊但很多業(yè)務(wù)真正關(guān)心的是更深一層的轉(zhuǎn)化比如電商里的購買、內(nèi)容平臺里的完播、廣告里的下單。CVR轉(zhuǎn)化率預(yù)估算起來比CTR難得多主要有三個原因。第一是樣本稀疏。點(diǎn)擊已經(jīng)是一個低頻事件轉(zhuǎn)化比點(diǎn)擊還要稀疏得多尤其在短視頻或信息流廣告場景可能幾百上千次曝光才產(chǎn)生一次轉(zhuǎn)化。模型能在稀疏樣本上學(xué)到的有效信號非常有限。第二是樣本選擇偏差。傳統(tǒng)CVR模型如果只用點(diǎn)擊后的樣本訓(xùn)練訓(xùn)練數(shù)據(jù)本身就是被“點(diǎn)擊”篩選過的這會讓模型低估那些“小概率被點(diǎn)擊但一旦點(diǎn)擊就很容易轉(zhuǎn)化”的優(yōu)質(zhì)物品。第三是延遲反饋。用戶點(diǎn)擊之后可能過很久才發(fā)生轉(zhuǎn)化今天是點(diǎn)擊樣本明天可能就變成轉(zhuǎn)化樣本了。這在實(shí)時訓(xùn)練系統(tǒng)中會造成標(biāo)簽偏差如果處理不好模型會誤判很多待轉(zhuǎn)化的點(diǎn)擊為負(fù)樣本。5.2 ESMM與MMoE兩種典型的多任務(wù)解法解決CVR預(yù)測困難的一個重要思路是把相關(guān)知識從數(shù)據(jù)更豐富的任務(wù)中遷移過來也就是多任務(wù)學(xué)習(xí)。ESMMEntire Space Multi-Task Model是一個非常經(jīng)典的解法。它將“曝光 → 點(diǎn)擊 → 轉(zhuǎn)化”這一整條鏈路拆成兩個同時訓(xùn)練的任務(wù)CTR任務(wù)和CTCVR點(diǎn)擊且轉(zhuǎn)化任務(wù)。模型同時接收全量曝光樣本而不是只從點(diǎn)擊樣本中訓(xùn)練CVR這就在很大程度上解決了樣本選擇偏差問題。兩個任務(wù)共享底層Embedding轉(zhuǎn)化率可以間接表示為CTCVR除以CTR從數(shù)學(xué)上形成了一個完整一致的目標(biāo)體系。MMoEMulti-gate Mixture-of-Experts則是另一類常見做法。它設(shè)計(jì)了多個專家網(wǎng)絡(luò)每個專家都能從不同角度處理輸入特征再用一個門控網(wǎng)絡(luò)根據(jù)當(dāng)前樣本的特點(diǎn)動態(tài)決定各專家的權(quán)重組合。這個結(jié)構(gòu)很適合任務(wù)差異比較大的場景比如既要預(yù)測點(diǎn)擊率又要預(yù)測視頻完播時長兩者背后的用戶動機(jī)差異很大時完全共享底層就可能互相拖累。MMoE讓模型在共享與獨(dú)立之間找到一個平衡點(diǎn)。從我實(shí)踐的角度看多任務(wù)模型上線前一定要厘清各任務(wù)之間的尺度關(guān)系。點(diǎn)擊率是0到1的概率完播時長是一個秒數(shù)GMV是一個金額它們要經(jīng)過適當(dāng)?shù)淖儞Q或獨(dú)立塔處理才能在統(tǒng)一Loss里被公平優(yōu)化否則容易陷入“大數(shù)值任務(wù)壓過小數(shù)值任務(wù)”的問題。5.3 全域建模與冷啟動的現(xiàn)實(shí)意義多任務(wù)建模的升級版思路是全域建模不再針對單個CTR或者單個CVR單獨(dú)打分而是直接建模一個統(tǒng)一目標(biāo)比如電商里的商品成交總額GMV或者短視頻里的綜合消費(fèi)時長。這類模型會根據(jù)業(yè)務(wù)目標(biāo)給點(diǎn)擊率、轉(zhuǎn)化率、客單價分別估計(jì)再通過公式組合成一個最終分。這里的難點(diǎn)在于不同指標(biāo)之間存在復(fù)雜的相互影響轉(zhuǎn)化率可能很高但客單價很低點(diǎn)擊率高但退貨率也高。全域建模還帶來另一個好處冷啟動。當(dāng)一個新物品上線時它的點(diǎn)擊樣本很少但平臺可以從相似品類的轉(zhuǎn)化統(tǒng)計(jì)中獲得先驗(yàn)知識。于是很多系統(tǒng)開始引入“相似物品Embedding平均”策略新物品與若干歷史商品計(jì)算相似度用相似商品的Embedding均值作為初始表示再疊加少量內(nèi)容側(cè)特征標(biāo)題、圖片、品牌、類目讓其在第一天就能獲得一個不算離譜的排序位置。這是工程上非常實(shí)用的一招。6. 生成式推薦與大規(guī)模預(yù)訓(xùn)練CTR的下一個形態(tài)6.1 大模型在推薦系統(tǒng)里能做什么這兩年大規(guī)模預(yù)訓(xùn)練模型開始滲透到推薦系統(tǒng)的各個角落。很多人問大模型是不是要替代傳統(tǒng)CTR模型我的判斷是短期不會但它確實(shí)在改變CTR模型的“外圈”能力。大模型目前在推薦系統(tǒng)里能干的事情至少有三類。第一類是特征編碼和語義理解把物品的標(biāo)題、圖片描述、類目名稱等文本信息交給大模型生成富含語義的向量表示然后作為CTR模型里的額外特征輸入。第二類是行為序列的深層理解用預(yù)訓(xùn)練模型先對用戶歷史行為做無監(jiān)督重建訓(xùn)練再遷移到CTR精排任務(wù)上往往能學(xué)到更通用的興趣表示。第三類是輔助推薦流程比如用大模型生成推薦理由、自動解釋推薦結(jié)果、輔助運(yùn)營編輯撰寫活動文案這些都能提升產(chǎn)品體驗(yàn)。但要注意一個現(xiàn)實(shí)約束大模型推理成本遠(yuǎn)高于傳統(tǒng)CTR模型線上幾萬QPS的場景根本扛不住直接調(diào)用大模型。實(shí)踐中通常是離線用大模型做特征和候選增強(qiáng)線上繼續(xù)使用輕量模型做實(shí)時打分。這也是我強(qiáng)烈建議工程團(tuán)隊(duì)遵循的路徑。6.2 生成式推薦把“排序”變“生成”更進(jìn)一步的方向是生成式推薦。傳統(tǒng)推薦是把候選集里的每個物品分別打分再按分?jǐn)?shù)排序生成式推薦則把推薦問題看作一個條件生成問題直接根據(jù)用戶的歷史行為生成下一步最可能感興趣的若干物品或者直接生成一個有序推薦序列。這里可以借用自然語言生成的基本理解用戶行為序列里的每一個點(diǎn)擊、每一個交互行為可以看成一條由物品ID組成的“語句”中的Token生成式模型根據(jù)這條“語句”預(yù)測下一個Token也就是用戶最可能產(chǎn)生交互的下一個物品。系統(tǒng)輸出的是一串候選物品ID而不是一個排序分。生成式推薦的魅力在于它跳過了傳統(tǒng)“候選生成 打分排序”的割裂流程讓整個推薦過程在同一個模型里端到端完成。挑戰(zhàn)也很直接物品ID空間極大生成輸出很容易出現(xiàn)不在候選空間里的ID必須配合受限解碼和候選校驗(yàn)。目前這個方向還在快速演化中我更愿意把它看作CTR技術(shù)的一種自然延伸而不是完全推翻。6.3 趨勢判斷CTR會消失還是會轉(zhuǎn)型我個人的判斷是CTR這種預(yù)測形式不會消失但它會從“一個簡單的概率數(shù)字”轉(zhuǎn)型為“一個完整決策體系里的基礎(chǔ)組件”。因?yàn)闊o論推薦系統(tǒng)最終用多復(fù)雜的生成模型商業(yè)決策最終還是要落到期望收益的計(jì)算上而期望收益本身就包含了對用戶行動概率的估計(jì)。CTR模型演變了這么多年底層的問題沒有變只是答案的形態(tài)在不斷變化。未來的CTR模型一定會越來越多地結(jié)合多模態(tài)信息、長期行為記憶、跨場景共享和大模型推理能力。但越是這樣越需要從業(yè)者理解歷史為什么FM能解決稀疏交叉問題為什么Attention能建模動態(tài)興趣為什么多任務(wù)能緩解樣本偏差這些底層規(guī)律不會因?yàn)槟Ｐ徒Y(jié)構(gòu)改變而失效反而是你做技術(shù)判斷時真正能依賴的錨點(diǎn)。7. 從模型演變中總結(jié)出來的工程經(jīng)驗(yàn)7.1 評估指標(biāo)與離線在線的一致性陷阱CTR模型迭代中最容易出現(xiàn)的問題就是離線指標(biāo)漲得很好上線一測卻沒效果甚至負(fù)向。這里最常見的原因有三個。第一個是評估方式太粗。全局AUC雖然便于對比但推薦場景用戶差異很大更有參考價值的常常是GAUC也就是按用戶分組計(jì)算的AUC加權(quán)平均。同一模型在不同用戶群體上表現(xiàn)差異巨大全局AUC很容易掩蓋這個問題。第二個是離線樣本與線上分布不一致最典型的就是特征穿越。比如用了當(dāng)日的統(tǒng)計(jì)特征去預(yù)測當(dāng)日點(diǎn)擊離線表現(xiàn)必然虛高因?yàn)闃?biāo)簽信息被泄露進(jìn)特征了。做特征時必須嚴(yán)格保證訓(xùn)練時該特征只能使用標(biāo)簽時刻之前的信息。第三個是簡單用LogLoss判斷模型。CTR數(shù)據(jù)里負(fù)樣本占比極高模型如果總是預(yù)測很小的概率LogLoss會比自己想的更敏感。建議同時看AUC、GAUC、校準(zhǔn)度、PCOC等多個指標(biāo)綜合判斷。7.2 線上延遲與模型復(fù)雜度的取舍模型效果和線上延遲之間永遠(yuǎn)存在矛盾。一次精排請求通常有幾十毫秒的預(yù)算其中特征獲取、模型推理、業(yè)務(wù)規(guī)則都要占時間。如果精排模型用的是類似Transformer的大結(jié)構(gòu)很可能光推理就要幾十毫秒用戶感受到的就是卡頓。我踩過幾次坑之后總結(jié)出幾條實(shí)用經(jīng)驗(yàn)一是線上工程量級估不準(zhǔn)時先用小模型跑通全鏈路再逐步替換復(fù)雜模塊二是能用特征篩選解決的盡量不要加模型復(fù)雜度三是如果模型真的很大考慮蒸餾方案用一個輕量學(xué)生模型模仿大模型的輸出兩個模型的效果差距通常能控制在可接受范圍內(nèi)。還有一個非常容易被忽略的點(diǎn)模型推理時KV Cache和Batch顯存占用也要提前壓測否則模型還沒上線GPU先被壓垮了。7.3 特征管理與數(shù)據(jù)治理特征工程永遠(yuǎn)不會消失只是從“手工設(shè)計(jì)”變成了“平臺化管理”。我見過太多深層模型因?yàn)橐粋€垃圾特征翻車。特征上線之前至少要查三樣?xùn)|西覆蓋率、穩(wěn)定度、與標(biāo)簽的時間先后關(guān)系。覆蓋率低于某閾值比如60%的特征對模型貢獻(xiàn)很小卻會拖慢訓(xùn)練穩(wěn)定度差的特征比如一周內(nèi)分布劇烈變化線上使用起來風(fēng)險(xiǎn)極高時間先后關(guān)系錯位的特征就更不用說了屬于數(shù)據(jù)事故。另外一個必須強(qiáng)調(diào)的點(diǎn)是在線離線特征一致性。訓(xùn)練時同一套特征邏輯和線上打分時用的必須是同一份代碼、同一個版本否則模型學(xué)到的分布和線上輸入分布根本對不上。最好建立特征校驗(yàn)流水線每天自動對比離線特征統(tǒng)計(jì)和線上采樣特征統(tǒng)計(jì)差異超閾值時及時告警。這個工作很枯燥但對推薦系統(tǒng)的穩(wěn)定性來說價值比無腦調(diào)模型結(jié)構(gòu)大得多。7.4 速查表一代模型一代路最后把這套演進(jìn)史總結(jié)成一張速查表方便大家按場景選型時快速定位。模型時代代表方法核心優(yōu)勢主要代價適合場景線性時代LR、FTRL簡單、可解釋、快速更新需要大量人工特征和交叉新團(tuán)隊(duì)快速上線基線、預(yù)算有限的場景淺層組合FM、FFM、GBDTLR自動二階交叉、部分高階交叉工程鏈路復(fù)雜、離線在線模式割裂特征稀疏、有強(qiáng)交叉關(guān)系的傳統(tǒng)推薦深度表示DeepFM、DCN、xDeepFM端到端、非線性表達(dá)、自動高階特征訓(xùn)練成本大、Embedding同步復(fù)雜大規(guī)模ID特征、復(fù)雜業(yè)務(wù)的中大型系統(tǒng)興趣建模DIN、DIEN、Transformer序列動態(tài)興趣、長短期行為建模序列長度敏感、推理成本高行為豐富、時效性強(qiáng)的電商和內(nèi)容平臺多任務(wù)與全域ESMM、MMoE解決稀疏與選擇偏差、統(tǒng)一商業(yè)目標(biāo)目標(biāo)之間容易互相干擾轉(zhuǎn)化鏈路長、多業(yè)務(wù)指標(biāo)并存場景生成式與大模型生成式推薦、預(yù)訓(xùn)練增強(qiáng)語義強(qiáng)、序列建模強(qiáng)、端到端生成成本高、穩(wěn)定性有待驗(yàn)證內(nèi)容理解要求高、長期探索型業(yè)務(wù)這個表不是標(biāo)準(zhǔn)答案只是給了一個選型坐標(biāo)系。真實(shí)業(yè)務(wù)中很多團(tuán)隊(duì)是同時使用多個時代模型形成級聯(lián)結(jié)構(gòu)粗排用LR或FM快速過濾精排用深度興趣模型重排再套多目標(biāo)模型和大模型增強(qiáng)的規(guī)則。演變史從來不是一條單行道更像是層層疊加的地層。8. 我的個人體會與給新人的建議如果讓我壓縮所有經(jīng)驗(yàn)給正在學(xué)習(xí)CTR的新人三條建議我會說先吃透業(yè)務(wù)鏈路再談模型結(jié)構(gòu)。我在實(shí)際項(xiàng)目里見過太多同學(xué)一上來就追最新的模型結(jié)果連“這個候選是怎么進(jìn)來的”“這個轉(zhuǎn)化指標(biāo)怎么歸因”都沒搞清最后做出的模型效果自然一般。第二條是不要迷信復(fù)雜度。模型結(jié)構(gòu)不是越復(fù)雜越好一個DeepFM加一套扎實(shí)的特征管理往往比一個復(fù)雜的多任務(wù)大模型更容易見到收益。優(yōu)先把數(shù)據(jù)管好把離線在線一致性搞定把樣本質(zhì)量提上去這些基礎(chǔ)的收益天花板比模型層更高。第三條是重視從歷史里找答案。很多當(dāng)下看起來全新的問題回到十幾年前甚至幾十年前的模型思想里都能找到影子。LR時代的特征離散化經(jīng)驗(yàn)放到深度學(xué)習(xí)CTR里一樣適用FM解決稀疏交互的思路至今仍是很多新模型的理論底色。理解了這些你才不會被一波又一波的概念反復(fù)收割。最后再分享一個實(shí)際操作的小技巧每次要換模型結(jié)構(gòu)時先給自己設(shè)定一個“增量下限”。比如要求新模型離線GAUC至少提升0.5個點(diǎn)否則不考慮上線。這個閾值看起來簡單卻能逼著團(tuán)隊(duì)把精力放在真正有效的改進(jìn)上而不是為了換結(jié)構(gòu)而換結(jié)構(gòu)。CTR技術(shù)演變了這么多年最珍貴的東西從來不是某個模型的名字而是推動每個模型出現(xiàn)的真實(shí)問題和解決問題的耐心。