做搜索的人大概都有過(guò)這種經(jīng)歷被人問(wèn)“你這里有向量檢索嗎”問(wèn)得多了自己也開(kāi)始懷疑——是不是不上向量數(shù)據(jù)庫(kù)搜索就是原始人。但我在實(shí)際項(xiàng)目里反復(fù)試過(guò)幾輪之后結(jié)論反而變了大多數(shù)業(yè)務(wù)場(chǎng)景需要的根本不是另一個(gè)向量空間而是一個(gè)能根據(jù)用戶行為不斷修正自己的搜索系統(tǒng)。關(guān)鍵詞能解決大部分問(wèn)題真正缺的是反饋回路。于是就有了Sirchmunk這個(gè)實(shí)驗(yàn)項(xiàng)目它完全不走向量數(shù)據(jù)庫(kù)路線核心是一套自進(jìn)化排序機(jī)制讓一個(gè)普通的倒排索引系統(tǒng)越用越聰明。這篇文章是深度解析系列的第一篇我把整體架構(gòu)和核心設(shè)計(jì)思路完整拆開(kāi)講。適合誰(shuí)看被向量檢索成本折騰得頭疼的工程師、想自建站內(nèi)搜索或垂直搜索引擎的人、還有做文檔檢索和知識(shí)庫(kù)工具的技術(shù)同學(xué)。不需要你有多少算法背景只要寫(xiě)過(guò)搜索相關(guān)代碼就能跟上思路。1. 為什么我選擇拋棄向量數(shù)據(jù)庫(kù)1.1 向量檢索聽(tīng)起來(lái)很美落地卻是一堆維護(hù)債先聲明我不反對(duì)向量檢索也不覺(jué)得它沒(méi)有應(yīng)用場(chǎng)景。但很多情況下引入向量庫(kù)的決策根本經(jīng)不起推敲。向量庫(kù)要解決的核心問(wèn)題是“語(yǔ)義相似”也就是說(shuō)用戶輸入“怎么修水管”系統(tǒng)能檢索到“管道疏通技巧”這種沒(méi)有共同關(guān)鍵詞的文檔。聽(tīng)起來(lái)確實(shí)很誘人仿佛搜索瞬間有了理解力。可一旦實(shí)際部署問(wèn)題就來(lái)了。首先是存儲(chǔ)和內(nèi)存開(kāi)銷向量維度動(dòng)輒幾百上千一千萬(wàn)條文檔就是幾十億個(gè)浮點(diǎn)數(shù)光是內(nèi)存成本和分片規(guī)劃就能讓人頭疼半天。其次是召回穩(wěn)定性問(wèn)題向量檢索的結(jié)果隨數(shù)據(jù)分布波動(dòng)極大經(jīng)常出現(xiàn)“看起來(lái)相關(guān)、實(shí)則答非所問(wèn)”的情況而且很難排查原因。最麻煩的是冷啟動(dòng)語(yǔ)義模型需要大量領(lǐng)域語(yǔ)料訓(xùn)練小團(tuán)隊(duì)冷啟動(dòng)根本訓(xùn)不出好效果。我見(jiàn)過(guò)不少項(xiàng)目花大力氣把向量庫(kù)接入主鏈路結(jié)果因?yàn)檎Z(yǔ)義召回質(zhì)量不穩(wěn)定線上效果反而比原來(lái)倒排索引還差。最后不得不把向量召回比例從50%降到10%再后來(lái)退化成“只在搜索無(wú)結(jié)果時(shí)兜底”。這不是向量技術(shù)本身的問(wèn)題而是場(chǎng)景不匹配。1.2 倒排索引能把多少事干好把向量庫(kù)請(qǐng)出主鏈路之后我重新審視了傳統(tǒng)的倒排索引發(fā)現(xiàn)它被嚴(yán)重低估了。關(guān)鍵詞精確匹配、布爾過(guò)濾、字段加權(quán)、短語(yǔ)匹配、結(jié)構(gòu)化過(guò)濾這些能力在絕大多數(shù)業(yè)務(wù)搜索里已經(jīng)能扛住80%以上的需求。比如電商搜索“男士白色T恤”用戶真正想要的就是標(biāo)題和類目里同時(shí)命中這三個(gè)詞的商品。你給他做語(yǔ)義向量反而會(huì)把一些只看過(guò)“純棉上衣”的奇怪結(jié)果推上來(lái)。倒排索引的優(yōu)勢(shì)在于可控和透明。每個(gè)結(jié)果為什么被召回是因?yàn)槟膫€(gè)詞命中了權(quán)重加在哪個(gè)字段上了全部可以查清楚。性能也好內(nèi)存索引加合理分片單機(jī)能支撐很大的數(shù)據(jù)量。更重要的是倒排索引天然支持結(jié)構(gòu)化信息融合比如發(fā)布時(shí)間、內(nèi)容熱度、作者權(quán)重這些字段可以一起加入打分。那倒排索引的短板在哪在于靜態(tài)。文檔一旦建好索引TF-IDF、BM25這些權(quán)重就固定了?！坝脩羲咽裁词菬衢T(mén)詞”“哪些詞組合經(jīng)常一起出現(xiàn)”“不同用戶群對(duì)同一結(jié)果的偏好差異”這些信息完全沒(méi)有被利用起來(lái)。傳統(tǒng)搜索引擎花了三十年優(yōu)化靜態(tài)相關(guān)性但始終缺一個(gè)自我修正的旋鈕。1.3 真正的差距在“反饋回路”不在“向量空間”把向量庫(kù)去掉之后我把注意力轉(zhuǎn)移到了一個(gè)更本質(zhì)的問(wèn)題上如果說(shuō)傳統(tǒng)倒排索引是“一錘子買賣”那搜索系統(tǒng)能不能像人一樣通過(guò)每次查詢和點(diǎn)擊的結(jié)果來(lái)調(diào)整自己的判斷用戶搜了“冰箱不制冷”點(diǎn)開(kāi)了某篇文章下次再有類似查詢系統(tǒng)應(yīng)該更傾向于把這類文章往前提。用戶搜“手機(jī)”卻反復(fù)點(diǎn)開(kāi)“手機(jī)殼”的鏈接那系統(tǒng)應(yīng)該學(xué)到這個(gè)領(lǐng)域里“手機(jī)”和“手機(jī)殼”存在強(qiáng)關(guān)聯(lián)。這個(gè)思路就是Sirchmunk的核心立意——自進(jìn)化。它不靠復(fù)雜的語(yǔ)義模型不依賴向量空間而是建立一條完整的反饋閉環(huán)查詢?nèi)罩具M(jìn)入系統(tǒng)點(diǎn)擊行為被采集系統(tǒng)自動(dòng)判斷哪些結(jié)果好哪些結(jié)果差再把這些判斷轉(zhuǎn)化為倒排索引里的詞項(xiàng)加權(quán)和文檔加權(quán)讓下一輪搜索排序更符合用戶真實(shí)意圖。所以這個(gè)系統(tǒng)的設(shè)計(jì)目標(biāo)是輕量、可解釋、可持續(xù)進(jìn)化。不需要昂貴的GPU資源不需要大規(guī)模向量索引一臺(tái)普通服務(wù)器就能跑起來(lái)而且效果會(huì)隨著使用量的增加逐漸提升。這比單純堆疊向量檢索要有意思得多。2. 整體架構(gòu)與數(shù)據(jù)流設(shè)計(jì)2.1 一句話說(shuō)清架構(gòu)Sirchmunk采用分層設(shè)計(jì)總共四層內(nèi)容解析層負(fù)責(zé)把原始文檔變成可檢索的結(jié)構(gòu)化數(shù)據(jù)索引存儲(chǔ)層負(fù)責(zé)維護(hù)倒排索引和各類權(quán)重檢索排序?qū)迂?fù)責(zé)接收query并產(chǎn)出結(jié)果列表反饋進(jìn)化層負(fù)責(zé)采集用戶行為并更新權(quán)重。四層各司其職重點(diǎn)在最后一層它把整個(gè)系統(tǒng)從“靜態(tài)索引”變成了“活系統(tǒng)”。協(xié)作流程可以用文字描述清楚用戶發(fā)起查詢查詢經(jīng)過(guò)解析和詞項(xiàng)切分進(jìn)入檢索排序?qū)优判驅(qū)油瑫r(shí)讀取靜態(tài)相關(guān)性分?jǐn)?shù)和動(dòng)態(tài)反饋權(quán)重計(jì)算出最終得分并返回結(jié)果列表用戶對(duì)結(jié)果產(chǎn)生點(diǎn)擊、跳過(guò)、停留等行為行為日志被異步寫(xiě)入反饋存儲(chǔ)進(jìn)化層定期消費(fèi)這些日志離線計(jì)算詞項(xiàng)權(quán)重的增量更新到索引存儲(chǔ)中。這個(gè)流程的巧妙之處在于把在線檢索和離線學(xué)習(xí)解耦。用戶查詢走的是低延遲路徑反饋學(xué)習(xí)走的是異步批處理路徑兩者互不阻塞。即使進(jìn)化層正在大量計(jì)算在線搜索也不會(huì)受影響。2.2 內(nèi)容理解與索引構(gòu)建先讓文檔變成可檢索的結(jié)構(gòu)文檔進(jìn)入系統(tǒng)后第一件事是解析和結(jié)構(gòu)化。每篇文檔至少提取四類信息基礎(chǔ)字段標(biāo)題、正文、作者、發(fā)布時(shí)間、詞項(xiàng)列表經(jīng)過(guò)去停用詞、歸一化處理的詞、字段權(quán)重標(biāo)記哪些詞出現(xiàn)在標(biāo)題、哪些在正文、附加信號(hào)閱讀量、點(diǎn)贊數(shù)、內(nèi)容分類。索引存儲(chǔ)采用兩層結(jié)構(gòu)。第一層是倒排表保存每個(gè)詞項(xiàng)到文檔列表的映射關(guān)系列表里記錄每篇文檔中該詞的詞頻和字段位置。第二層是文檔權(quán)重表保存每篇文檔的基礎(chǔ)分和動(dòng)態(tài)分。動(dòng)態(tài)分初始為空隨著反饋積累逐漸填充。構(gòu)建過(guò)程中有個(gè)容易被忽略的細(xì)節(jié)詞項(xiàng)歸一化。中文分詞得到的基礎(chǔ)詞常常包含大量變體“筆記本”和“筆記本電腦”、“搜索”和“搜尋”如果不做一定程度的歸一后續(xù)反饋學(xué)習(xí)會(huì)把它們當(dāng)成完全無(wú)關(guān)的詞項(xiàng)造成數(shù)據(jù)稀疏。Sirchmunk維護(hù)一個(gè)輕量同義詞映射在索引構(gòu)建和查詢解析時(shí)同時(shí)做擴(kuò)展。2.3 檢索排序多信號(hào)融合的打分模型排序是整個(gè)系統(tǒng)最核心的出口。Sirchmunk的打分公式采用雙軌結(jié)構(gòu)最終得分 靜態(tài)相關(guān)性得分 動(dòng)態(tài)反饋得分靜態(tài)相關(guān)性得分沿用經(jīng)典信息檢索的框架包括詞頻、逆文檔頻率、字段加權(quán)標(biāo)題權(quán)重高于正文、時(shí)間衰減等。公式本身不復(fù)雜但它是整個(gè)排序的“地基”在系統(tǒng)冷啟動(dòng)初期幾乎完全依賴它來(lái)保證基本質(zhì)量。動(dòng)態(tài)反饋得分是自進(jìn)化機(jī)制的載體。每篇文檔在每個(gè)詞項(xiàng)下都有一個(gè)實(shí)時(shí)權(quán)重反饋得分就是被命中詞項(xiàng)權(quán)重的累計(jì)值。這個(gè)權(quán)重初始為1.0不干預(yù)靜態(tài)排序。但隨著用戶行為數(shù)據(jù)積累進(jìn)化層會(huì)不斷調(diào)整它某些詞項(xiàng)與文檔的關(guān)聯(lián)被驗(yàn)證為強(qiáng)相關(guān)時(shí)權(quán)重上升被驗(yàn)證為弱相關(guān)甚至負(fù)相關(guān)時(shí)權(quán)重下降。檢索時(shí)系統(tǒng)先通過(guò)倒排索引粗召回候選集再用打分公式計(jì)算每個(gè)文檔的最終分?jǐn)?shù)最后截?cái)喾祷豑op N。整個(gè)過(guò)程沒(méi)有復(fù)雜的機(jī)器學(xué)習(xí)模型邏輯清晰便于排查。2.4 數(shù)據(jù)流動(dòng)的完整閉環(huán)用一個(gè)具體例子串聯(lián)整個(gè)過(guò)程。用戶輸入“跑步膝蓋疼”查詢解析階段把query切分為“跑步”“膝蓋”“疼”三個(gè)詞同時(shí)通過(guò)同義詞映射擴(kuò)展出“慢跑”“膝關(guān)節(jié)”“疼痛”等關(guān)聯(lián)詞。倒排索引召回一批同時(shí)包含這些詞的文檔靜態(tài)分先篩掉明顯低質(zhì)的動(dòng)態(tài)分再把近期被驗(yàn)證“跑步膝蓋”關(guān)聯(lián)強(qiáng)的文章往上提。用戶看到結(jié)果后點(diǎn)擊了第三篇《跑步膝的預(yù)防與恢復(fù)》停止?jié)L動(dòng)看了很久。這個(gè)行為被記錄為一條正反饋日志查詢“跑步膝蓋疼”點(diǎn)擊文檔ID、點(diǎn)擊位置、停留時(shí)長(zhǎng)。當(dāng)晚進(jìn)化任務(wù)啟動(dòng)系統(tǒng)發(fā)現(xiàn)“跑步”和“膝蓋疼”這兩個(gè)詞在近期查詢中頻繁組合而這篇被點(diǎn)擊的文章在“膝蓋”“疼痛”兩個(gè)詞項(xiàng)下的權(quán)重明顯偏低于是自動(dòng)上調(diào)這兩個(gè)詞對(duì)應(yīng)這篇文檔的動(dòng)態(tài)權(quán)重。第二天另一位用戶搜“膝蓋疼原因”那篇文章就出現(xiàn)在更靠前的位置。到這里自進(jìn)化的完整閉環(huán)就生效了。3. 自進(jìn)化引擎的核心機(jī)制3.1 反饋信號(hào)從哪里來(lái)行為信號(hào)的采集質(zhì)量直接決定進(jìn)化效果。Sirchmunk的埋點(diǎn)設(shè)計(jì)遵循“最小必要”原則不采集任何個(gè)人標(biāo)識(shí)信息只聚合統(tǒng)計(jì)會(huì)話級(jí)行為數(shù)據(jù)。每條日志記錄查詢?cè)~、展現(xiàn)列表含順序、點(diǎn)擊位置、點(diǎn)擊文檔ID、停留時(shí)間、是否翻頁(yè)、是否二次搜索。正反饋的判定標(biāo)準(zhǔn)點(diǎn)擊且停留時(shí)間超過(guò)閾值比如5秒或者點(diǎn)擊后沒(méi)有在短時(shí)間內(nèi)返回搜索頁(yè)重新查詢。負(fù)反饋的判定標(biāo)準(zhǔn)文檔在結(jié)果列表中被展現(xiàn)但未被點(diǎn)擊或者用戶點(diǎn)擊后很快返回并修改了查詢?cè)~。修改查詢?cè)~這個(gè)動(dòng)作非常有價(jià)值它在某種程度上說(shuō)明原始結(jié)果沒(méi)有滿足用戶需求。這里要特別指出一個(gè)常見(jiàn)誤區(qū)點(diǎn)擊量高不等于結(jié)果質(zhì)量好。用戶可能點(diǎn)擊了一篇標(biāo)題黨文章進(jìn)去兩秒鐘就跳出了。所以停留時(shí)長(zhǎng)和二次搜索信號(hào)必須與點(diǎn)擊信號(hào)聯(lián)合使用否則系統(tǒng)會(huì)被誤導(dǎo)把那些“看起來(lái)誘人但內(nèi)容空洞”的結(jié)果不斷往前推。3.2 自動(dòng)標(biāo)注把點(diǎn)擊行為變成訓(xùn)練信號(hào)有了行為日志下一步要把日志轉(zhuǎn)換為自進(jìn)化引擎可消費(fèi)的訓(xùn)練信號(hào)。Sirchmunk使用“偽相關(guān)反饋”機(jī)制它不需要人工標(biāo)注而是通過(guò)行為模式推斷相關(guān)性。具體做法是對(duì)同一類查詢按詞項(xiàng)聚類聚合行為數(shù)據(jù)統(tǒng)計(jì)每個(gè)被點(diǎn)擊文檔的平均停留時(shí)長(zhǎng)和點(diǎn)擊率。高于基線值的結(jié)果標(biāo)記為正樣本低于均值且展現(xiàn)量足夠的結(jié)果標(biāo)記為負(fù)樣本。然后從正樣本文檔和負(fù)樣本文檔中提取詞項(xiàng)統(tǒng)計(jì)詞項(xiàng)在不同標(biāo)簽文檔中的分布差異得到每個(gè)詞項(xiàng)的“糾偏方向”。比如某查詢?cè)~“蘋(píng)果”既然歷史數(shù)據(jù)表明用戶更多點(diǎn)擊“水果蘋(píng)果”相關(guān)文檔而非“手機(jī)蘋(píng)果”系統(tǒng)就會(huì)自動(dòng)給“水果”“營(yíng)養(yǎng)”這些詞項(xiàng)在相應(yīng)文檔上增加權(quán)重同時(shí)降低“手機(jī)”“系統(tǒng)”的權(quán)重。這個(gè)推理過(guò)程完全由數(shù)據(jù)驅(qū)動(dòng)不需要預(yù)先定義規(guī)則。自動(dòng)標(biāo)注的置信度控制很重要。單條點(diǎn)擊行為充滿噪聲必須積累到足夠樣本量才更新權(quán)重。Sirchmunk設(shè)置一個(gè)最小樣本閾值只有當(dāng)某個(gè)詞項(xiàng)對(duì)在近7天內(nèi)積累了至少20次有效行為才考慮對(duì)其權(quán)重進(jìn)行調(diào)整。3.3 權(quán)重迭代更新算法權(quán)重更新采用在線增量式迭代。每個(gè)詞項(xiàng)在每篇文檔上有一個(gè)動(dòng)態(tài)權(quán)重更新的核心公式是新權(quán)重 舊權(quán)重 × (1 調(diào)整幅度)調(diào)整幅度由三部分構(gòu)成該詞項(xiàng)在當(dāng)前窗口內(nèi)的實(shí)際點(diǎn)擊率與基線點(diǎn)擊率的差值、樣本量置信系數(shù)、步長(zhǎng)系數(shù)。步長(zhǎng)系數(shù)默認(rèn)在0.02到0.05之間防止單次更新幅度過(guò)大導(dǎo)致排序結(jié)果劇烈抖動(dòng)。舉個(gè)例子。某個(gè)詞項(xiàng)初始權(quán)重1.0在近7天內(nèi)參與了500次展現(xiàn)其中點(diǎn)擊150次點(diǎn)擊率30%。系統(tǒng)基線點(diǎn)擊率是12%整體搜索結(jié)果的平均點(diǎn)擊率。差值18%乘以步長(zhǎng)0.03得出調(diào)整幅度0.0054新權(quán)重更新為1.0054。單看這個(gè)值很小但關(guān)鍵是持續(xù)性如果這個(gè)詞項(xiàng)在連續(xù)多個(gè)周期都保持高于基線的表現(xiàn)權(quán)重會(huì)通過(guò)復(fù)利效應(yīng)逐步累積到1.2甚至1.5排序位置就會(huì)有顯著變化。為了防止權(quán)重?zé)o限膨脹或衰減到影響基本相關(guān)性系統(tǒng)給每個(gè)權(quán)重設(shè)置了上下界默認(rèn)下限0.3上限3.0。超過(guò)邊界的詞項(xiàng)對(duì)停止更新只保留一個(gè)衰減標(biāo)記。這個(gè)約束非常關(guān)鍵沒(méi)有它長(zhǎng)尾場(chǎng)景中某些詞項(xiàng)會(huì)被點(diǎn)擊噪聲推動(dòng)到極端值徹底扭曲排序結(jié)果。3.4 如何評(píng)估系統(tǒng)真的在變好自進(jìn)化引擎需要可量化的驗(yàn)證否則就成了“看起來(lái)在動(dòng)不知道動(dòng)得對(duì)不對(duì)”。Sirchmunk維護(hù)一套評(píng)估體系核心指標(biāo)包括整體點(diǎn)擊率CTR、無(wú)點(diǎn)擊查詢占比、平均首次點(diǎn)擊位置、搜索結(jié)果跳出率。這些指標(biāo)在進(jìn)化前后形成了可對(duì)比的時(shí)間序列。更嚴(yán)格的方式是保留一個(gè)固定回歸查詢集。上線前準(zhǔn)備50到100個(gè)代表性查詢?cè)~記錄它們?cè)谙到y(tǒng)初始版本下的Top 10結(jié)果。每次權(quán)重更新后跑同一批查詢對(duì)比結(jié)果排序的變化。如果某些查詢結(jié)果出現(xiàn)明顯劣化比如核心關(guān)鍵詞結(jié)果從第1名掉到第5名之后系統(tǒng)會(huì)觸發(fā)告警方便人工介入。實(shí)際運(yùn)營(yíng)中還要注意區(qū)分短期波動(dòng)和真實(shí)進(jìn)化。搜索行為有明顯的日周期和周末效應(yīng)周一的點(diǎn)擊模式跟周六完全不同。所以對(duì)比評(píng)估必須使用同周期數(shù)據(jù)或者經(jīng)過(guò)季節(jié)性修正。簡(jiǎn)單做法是固定以最近7天結(jié)果作為評(píng)估窗口不拿昨天和上周直接對(duì)比。4. 最小可落地版本實(shí)操指南4.1 技術(shù)選型與數(shù)據(jù)結(jié)構(gòu)Sirchmunk的早期原型完全可以在單臺(tái)服務(wù)器上運(yùn)行。編程語(yǔ)言選Python倒排索引存內(nèi)存字典文檔元數(shù)據(jù)存本地?cái)?shù)據(jù)庫(kù)反饋日志存輕量級(jí)鍵值存儲(chǔ)。這個(gè)組合不是為了生產(chǎn)環(huán)境的高性能而是為了快速驗(yàn)證自進(jìn)化邏輯是否成立。等效果驗(yàn)證了再考慮橫向擴(kuò)展和索引持久化。核心數(shù)據(jù)表有六張。文檔表保存doc_id、標(biāo)題、正文、發(fā)布時(shí)間、分類等基礎(chǔ)字段。詞項(xiàng)表保存詞項(xiàng)ID、歸一化詞、詞頻。倒排表保存詞項(xiàng)到文檔列表的映射關(guān)系和局部權(quán)重。文檔權(quán)重表保存文檔當(dāng)前的總權(quán)重和靜態(tài)分。反饋日志表保存查詢?cè)~、展現(xiàn)列表、點(diǎn)擊位置、停留時(shí)長(zhǎng)。動(dòng)態(tài)權(quán)重表保存詞項(xiàng)在文檔維度上的動(dòng)態(tài)權(quán)重和最近更新周期。建表時(shí)有一點(diǎn)經(jīng)驗(yàn)值得分享動(dòng)態(tài)權(quán)重表不要以詞項(xiàng)為唯一粒度要結(jié)合文檔維度。也就是說(shuō)“跑步”這個(gè)詞不是一個(gè)統(tǒng)一的權(quán)重它在不同類型的文檔上權(quán)重不同。這樣設(shè)計(jì)才能實(shí)現(xiàn)精準(zhǔn)進(jìn)化否則系統(tǒng)只能知道“跑步重要”卻不知道在什么內(nèi)容語(yǔ)境下重要。4.2 核心模塊代碼骨架自進(jìn)化引擎的代碼不復(fù)雜核心就三個(gè)函數(shù)檢索打分函數(shù)、反饋聚合函數(shù)、權(quán)重更新函數(shù)。檢索打分函數(shù)負(fù)責(zé)將靜態(tài)分和動(dòng)態(tài)分合并。偽代碼如下def score_doc(query, doc, field_boosts): static_score 0.0 dynamic_score 0.0 matched_terms [] for term in query.terms: if term in doc.term_freqs: tf doc.term_freqs[term] idf log((total_docs 1) / (doc_freq[term] 1)) 1 static_score tf * idf * field_boosts.get(term.position, 1.0) dyn_weight dynamic_weights.get((doc.doc_id, term), 1.0) dynamic_score dyn_weight matched_terms.append(term) # 查詢?cè)~命中率低于一半時(shí)大幅降權(quán)避免部分匹配過(guò)度參與 if len(matched_terms) len(query.terms) * 0.5: static_score * 0.4 dynamic_score * 0.4 return static_score dynamic_score * dynamic_ratio反饋聚合函數(shù)從日志表讀取近N天數(shù)據(jù)計(jì)算每個(gè)詞項(xiàng)對(duì)的表現(xiàn)。關(guān)鍵步驟是分組聚合按“查詢核心詞 文檔”分組統(tǒng)計(jì)展現(xiàn)量、點(diǎn)擊量、平均停留時(shí)長(zhǎng)再與基線做對(duì)比得到偏移方向。權(quán)重更新函數(shù)實(shí)現(xiàn)增量迭代更新加上平滑和限幅def update_weights(aggregated_data, step_size0.03, min_weight0.3, max_weight3.0): for (term, doc_id), metrics in aggregated_data.items(): ctr metrics.clicks / max(metrics.impressions, 1) delta (ctr - baseline_ctr) * step_size # 平滑處理防止單次波動(dòng)過(guò)大 smoothed delta * 0.3 previous_delta * 0.7 old dynamic_weights.get((doc_id, term), 1.0) new old * (1 smoothed) dynamic_weights[(doc_id, term)] clamp(new, min_weight, max_weight)這三個(gè)函數(shù)加上一個(gè)定時(shí)任務(wù)就構(gòu)成了最小閉環(huán)。定時(shí)任務(wù)每天運(yùn)行一次讀取昨天的日志更新動(dòng)態(tài)權(quán)重重新計(jì)算部分排序結(jié)果。4.3 關(guān)鍵參數(shù)設(shè)置與調(diào)優(yōu)經(jīng)驗(yàn)參數(shù)調(diào)優(yōu)是讓自進(jìn)化引擎真正穩(wěn)定的關(guān)鍵。第一個(gè)參數(shù)是步長(zhǎng)系數(shù)我建議從0.03起步。步長(zhǎng)太大反饋的一點(diǎn)點(diǎn)波動(dòng)都會(huì)被放大排序結(jié)果每天大變步長(zhǎng)太小進(jìn)化速度太慢運(yùn)營(yíng)一兩周都看不到明顯改善。0.03是一個(gè)相對(duì)均衡的起點(diǎn)之后根據(jù)系統(tǒng)表現(xiàn)微調(diào)。第二個(gè)參數(shù)是基線點(diǎn)擊率。不要拍腦袋定一個(gè)固定值應(yīng)該按查詢類型分別統(tǒng)計(jì)。精準(zhǔn)查詢?nèi)绠a(chǎn)品型號(hào)的點(diǎn)擊率天然高于模糊查詢?nèi)纭霸趺醋龊贸浴苯y(tǒng)一基線會(huì)誤傷后者。Sirchmunk的做法是按查詢?cè)~長(zhǎng)度和熱度分桶為每個(gè)桶維護(hù)獨(dú)立基線。第三個(gè)參數(shù)是數(shù)據(jù)窗口長(zhǎng)度。太短的窗口1到3天容易受到臨時(shí)熱點(diǎn)干擾太長(zhǎng)30天以上又會(huì)讓進(jìn)化響應(yīng)變慢。7天是一個(gè)合理默認(rèn)值兼顧靈敏度和穩(wěn)定性。遇到突發(fā)事件導(dǎo)致熱門(mén)話題突增時(shí)系統(tǒng)可能短暫“失控”但窗口回滾后權(quán)重會(huì)迅速恢復(fù)正常。還有一個(gè)實(shí)用經(jīng)驗(yàn)權(quán)重更新不要全量覆蓋建議保留上一版本權(quán)重快照。一旦發(fā)布后第二天出現(xiàn)明顯效果回退可以快速回滾到舊版而不是緊急重算本輪更新。這跟代碼發(fā)布保留release分支是一個(gè)道理。4.4 迭代節(jié)奏和發(fā)布策略自進(jìn)化引擎的發(fā)布策略跟傳統(tǒng)代碼發(fā)布完全不同。權(quán)重更新不是一次性事件而是一個(gè)持續(xù)過(guò)程。初期建議每日更新一次放在凌晨低峰期運(yùn)行。運(yùn)行完成后跑一遍回歸查詢集自動(dòng)對(duì)比主要指標(biāo)的波動(dòng)。連續(xù)觀察兩周如果整體點(diǎn)擊率提升且回歸集沒(méi)有明顯劣化就可以把更新頻率降到每周兩次。引入這個(gè)系統(tǒng)時(shí)最忌諱的就是“一步到位”心態(tài)。不要一上來(lái)就把動(dòng)態(tài)權(quán)重比例調(diào)到50%那會(huì)讓用戶和業(yè)務(wù)方都摸不著頭腦。我建議采用灰度漸進(jìn)策略第一周動(dòng)態(tài)權(quán)重占比10%第二周20%根據(jù)線上反饋逐步增加。這個(gè)比例上限通常設(shè)置在30%到40%比較合理保留靜態(tài)相關(guān)性作為基本盤(pán)。回滾機(jī)制要提前準(zhǔn)備。Sirchmunk在設(shè)計(jì)時(shí)就支持動(dòng)態(tài)權(quán)重一鍵清零清零后系統(tǒng)完全退化為傳統(tǒng)靜態(tài)排序。這給了運(yùn)營(yíng)人員極大的安全感。實(shí)際運(yùn)營(yíng)中遇到任何異常第一動(dòng)作就是清零觀察而不是花時(shí)間調(diào)試權(quán)重?cái)?shù)據(jù)。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 權(quán)重膨脹導(dǎo)致“偏科”自進(jìn)化系統(tǒng)最常見(jiàn)的病叫做“偏科”某些熱門(mén)詞項(xiàng)關(guān)聯(lián)的文檔權(quán)重被不斷推高最終形成馬太效應(yīng)導(dǎo)致搜索結(jié)果里永遠(yuǎn)是那幾篇老文章。根因是權(quán)重更新公式中存在正反饋循環(huán)點(diǎn)擊越多權(quán)重越高權(quán)重越高越靠前越靠前點(diǎn)擊越多。解決辦法有兩個(gè)方向。方向一是在權(quán)重更新時(shí)引入“熱度懲罰”文檔的動(dòng)態(tài)總分越高單次調(diào)整幅度越小。方向二是對(duì)同一文檔名下的詞項(xiàng)權(quán)重做歸一化所有詞項(xiàng)權(quán)重之和不超過(guò)一個(gè)上限。實(shí)際運(yùn)營(yíng)中我發(fā)現(xiàn)方向二更有效因?yàn)樗鼜慕Y(jié)構(gòu)上限制了膨脹空間。具體做法是周期任務(wù)掃描文檔權(quán)重表對(duì)超限文檔統(tǒng)一按比例壓縮。5.2 點(diǎn)擊噪聲和高跳出率干擾來(lái)自爬蟲(chóng)、誤觸和無(wú)意識(shí)點(diǎn)擊的噪聲行為如果直接進(jìn)入訓(xùn)練信號(hào)會(huì)給系統(tǒng)注入大量虛假信息。排查這類問(wèn)題有個(gè)標(biāo)志性現(xiàn)象某個(gè)詞項(xiàng)權(quán)重出現(xiàn)不合邏輯的猛漲相關(guān)文檔的停留時(shí)長(zhǎng)卻遠(yuǎn)低于平均水平。針對(duì)這個(gè)問(wèn)題的過(guò)濾策略要在三個(gè)層級(jí)同時(shí)發(fā)力。會(huì)話層過(guò)濾高頻訪問(wèn)、無(wú)明顯行為序列的客戶端事件層過(guò)濾停留時(shí)長(zhǎng)低于2秒的點(diǎn)擊數(shù)據(jù)層過(guò)濾單文檔單日點(diǎn)擊超過(guò)正常范圍的異常聚集。過(guò)濾后的數(shù)據(jù)只保留置信度高的信號(hào)處理速度慢一點(diǎn)沒(méi)關(guān)系準(zhǔn)確率是第一位。5.3 冷啟動(dòng)期沒(méi)有反饋怎么辦新上線系統(tǒng)最尷尬的是沒(méi)有行為數(shù)據(jù)自進(jìn)化引擎空轉(zhuǎn)。這個(gè)階段最容易犯的錯(cuò)誤是急于使用動(dòng)態(tài)反饋結(jié)果被少量初始行為帶偏。Sirchmunk的方案是雙軌制初始階段動(dòng)態(tài)權(quán)重全部為1.0排序完全依賴靜態(tài)相關(guān)性人工為最核心的20個(gè)高頻查詢配置種子權(quán)重確保首批結(jié)果質(zhì)量在線。種子配置不需要多先人工挑10個(gè)詞項(xiàng)明確哪些文檔應(yīng)該排在前面手動(dòng)設(shè)置權(quán)重。等真實(shí)用戶行為積累到一定量級(jí)后逐步釋放自動(dòng)學(xué)習(xí)比例。一般上線兩周后種子權(quán)重的作用就減弱了取而代之的是真實(shí)反饋。5.4 反饋抖動(dòng)與平滑處理系統(tǒng)運(yùn)行一段時(shí)間后經(jīng)常出現(xiàn)“昨天好好的今天全部亂了”的現(xiàn)象。這通常不是算法邏輯出錯(cuò)而是窗口內(nèi)的數(shù)據(jù)源發(fā)生了變化。比如某個(gè)詞突然上了熱搜大量新類型內(nèi)容涌入舊詞項(xiàng)權(quán)重依舊延續(xù)導(dǎo)致排序偏離。處理手法是雙平滑。第一層是數(shù)據(jù)平滑單周期計(jì)算出的調(diào)整量要按照時(shí)間衰減加權(quán)越久遠(yuǎn)的數(shù)據(jù)權(quán)重越低。第二層是參數(shù)平滑立即更新的權(quán)重不是直接替換而是采用EMA滑動(dòng)平均新權(quán)重只占30%權(quán)重上一周期權(quán)重占70%。這組參數(shù)的效果非常明顯投入后抖動(dòng)率普遍下降一半以上。以下是幾個(gè)高頻問(wèn)題的速查表問(wèn)題現(xiàn)象可能原因排查方向某詞項(xiàng)權(quán)重快速趨近上限點(diǎn)擊噪聲未被過(guò)濾或樣本量過(guò)小檢查事件層過(guò)濾規(guī)則提高最小樣本閾值搜索結(jié)果頻繁搖擺窗口期數(shù)據(jù)變化大或步長(zhǎng)過(guò)大降低步長(zhǎng)加長(zhǎng)窗口啟用EMA平滑新文檔永遠(yuǎn)排不上前動(dòng)態(tài)權(quán)重過(guò)度保護(hù)老文檔引入時(shí)間衰減因子降低老文檔權(quán)重上限點(diǎn)擊率提升但跳出率也提升標(biāo)題黨內(nèi)容被正反饋放大加入停留時(shí)長(zhǎng)和二次搜索負(fù)反饋信號(hào)全站效果低于靜態(tài)版本動(dòng)態(tài)權(quán)重占比過(guò)高修正過(guò)度降低動(dòng)態(tài)權(quán)重比例回滾上一版權(quán)重我在實(shí)際使用中最大的體會(huì)是自進(jìn)化系統(tǒng)真正的難點(diǎn)不在排序算法而在數(shù)據(jù)管道和防跑偏設(shè)計(jì)。當(dāng)你把注意力從“怎么用向量模型理解語(yǔ)義”轉(zhuǎn)移到“怎么讓系統(tǒng)自己學(xué)會(huì)調(diào)整”這件事上搜索系統(tǒng)就從一個(gè)靜態(tài)組件變成了一個(gè)可以持續(xù)養(yǎng)的業(yè)務(wù)資產(chǎn)。Sirchmunk目前只是第一版架構(gòu)后面還有分詞優(yōu)化、詞項(xiàng)聚類、跨查詢遷移學(xué)習(xí)等一堆可以展開(kāi)的方向。如果你正在被“不上向量庫(kù)就做不好搜索”的論調(diào)困擾不妨試試這條更務(wù)實(shí)的路。