1. 開(kāi)工之前先看懂樂(lè)園客服這塊硬骨頭難在哪很多人第一次接觸“RAG系統(tǒng)”這個(gè)詞是被客戶(hù)或者老板一句話(huà)推著走的“做個(gè)智能客服吧之前的文檔和FAQ不都現(xiàn)成的嘛。”結(jié)果真開(kāi)工才發(fā)現(xiàn)最難的壓根不是調(diào)大模型接口而是那些散落在官網(wǎng)、App、指引手冊(cè)里的客服知識(shí)憑什么能被機(jī)器準(zhǔn)確找到、再組織成一句人話(huà)。這篇我就用主題樂(lè)園客服這個(gè)場(chǎng)景帶你從零到可上線(xiàn)跑通一套R(shí)AG系統(tǒng)。整個(gè)過(guò)程拆成3步主線(xiàn)走整理知識(shí)庫(kù)、搭檢索鏈路、接大模型生成答案最后再加一輪評(píng)測(cè)守門(mén)。游客在樂(lè)園里問(wèn)客服的問(wèn)題表面上五花八門(mén)實(shí)際高度重復(fù)。哪天開(kāi)門(mén)、哪個(gè)項(xiàng)目檢修、嬰兒車(chē)在哪租、能不能帶自拍桿這類(lèi)問(wèn)題占了日常咨詢(xún)的很大比例。關(guān)鍵詞搜索不是不能做但游客的表達(dá)方式太隨意了。官方文檔寫(xiě)的是“禁止攜帶三腳架”游客問(wèn)的是“我的相機(jī)支架讓不讓帶”文檔寫(xiě)“煙花秀視天氣情況調(diào)整”游客問(wèn)的是“今晚燈光秀還放嗎”。這種說(shuō)法和文檔寫(xiě)法對(duì)不上的情況傳統(tǒng)檢索基本毫無(wú)辦法這也是RAG系統(tǒng)能落地生根的原因。1.1 高頻問(wèn)題很多但每個(gè)答案都藏在長(zhǎng)篇文檔后面主題樂(lè)園的客服知識(shí)有個(gè)天然特點(diǎn)答案確實(shí)存在但分布得零七八碎。票務(wù)規(guī)則在購(gòu)票頁(yè)寄存指引在游客須知里失物招領(lǐng)在服務(wù)頁(yè)交通信息在企業(yè)官網(wǎng)的公告區(qū)。你要是讓客服慢慢查當(dāng)然查得到但高峰期一小時(shí)幾十個(gè)咨詢(xún)?nèi)斯じ卷敳蛔　Ｗ鯮AG的第一步不是寫(xiě)代碼而是把這些素材當(dāng)資產(chǎn)一樣對(duì)待如果知識(shí)庫(kù)本身就臟、亂、缺后面所有環(huán)節(jié)都是給垃圾做包裝。很多人以為向量檢索和生成模型能“理解”文檔于是就把幾十個(gè)PDF直接扔進(jìn)去期待系統(tǒng)自己看明白。這是最典型的小白誤判。RAG里的“R”檢索很老實(shí)它只能在一個(gè)個(gè)文本片段里比相似度。文檔里有頁(yè)眉頁(yè)腳、表格被拆散、專(zhuān)有名詞不統(tǒng)一檢索質(zhì)量立刻崩盤(pán)。所以知識(shí)庫(kù)整理這一步才是真正決定整個(gè)系統(tǒng)上限的地方。我當(dāng)時(shí)給一個(gè)內(nèi)部團(tuán)隊(duì)捋需求時(shí)把客服消息記錄拉出來(lái)看了一眼發(fā)現(xiàn)大約六成問(wèn)題都能靠三四十條標(biāo)準(zhǔn)答案解決。這個(gè)觀(guān)察后來(lái)成了整個(gè)項(xiàng)目的定心丸不需要追求“什么都能答”先把高頻問(wèn)題答準(zhǔn)、答穩(wěn)體驗(yàn)就已經(jīng)比純轉(zhuǎn)人工好太多。1.2 為什么直接拿大模型當(dāng)客服會(huì)一本正經(jīng)地胡說(shuō)有人會(huì)問(wèn)現(xiàn)在的大模型不是挺能聊的嗎直接把全部客服文檔丟給它讓它背下來(lái)再回答不就行了這個(gè)方法看起來(lái)省事實(shí)際會(huì)在三類(lèi)場(chǎng)景上翻車(chē)。第一類(lèi)是數(shù)據(jù)時(shí)效性問(wèn)題。樂(lè)園的開(kāi)放時(shí)間、項(xiàng)目檢修、防疫要求、臨時(shí)公告經(jīng)常變大模型的訓(xùn)練數(shù)據(jù)不可能實(shí)時(shí)包含這些信息。你問(wèn)一個(gè)昨天剛改的入園政策模型很容易按幾個(gè)月前的舊知識(shí)答。第二類(lèi)是長(zhǎng)文檔的注意力問(wèn)題。即便你把所有文檔塞進(jìn)上下文模型面對(duì)超過(guò)處理能力的內(nèi)容會(huì)不自覺(jué)忽略關(guān)鍵段落盯著某段相關(guān)性低的內(nèi)容發(fā)揮。第三類(lèi)最要命就是幻覺(jué)模型覺(jué)得“大概應(yīng)該這么答”于是編出一個(gè)看似合理的寄存點(diǎn)或退改政策。游客按這個(gè)答案走到現(xiàn)場(chǎng)發(fā)現(xiàn)完全對(duì)不上客服團(tuán)隊(duì)還得擦屁股。RAG的思路恰好繞開(kāi)了這三個(gè)問(wèn)題。它不要求模型記住文檔而是每次有人提問(wèn)時(shí)系統(tǒng)先去外部知識(shí)庫(kù)里檢索出最相關(guān)的碎片再把“問(wèn)題 這些碎片”一起交給大模型讓模型只做一件事根據(jù)給定的材料組織語(yǔ)言。相當(dāng)于一個(gè)開(kāi)卷考試資料由檢索環(huán)節(jié)提前翻好模型負(fù)責(zé)把答案念通順而不是閉卷硬背。1.3 RAG的解決思路與3步路線(xiàn)圖順著開(kāi)卷考試這個(gè)比喻整篇文章的路線(xiàn)就很清晰了第一步先把考點(diǎn)資料準(zhǔn)備好也就是把樂(lè)園客服文檔清洗成規(guī)范的知識(shí)庫(kù)第二步給資料建索引讓系統(tǒng)能像翻目錄一樣快速找到相關(guān)段落第三步把找到的資料和游客問(wèn)題拼成一段提示詞交給大模型生成最終回復(fù)。你以為到這里就結(jié)束了還差一步。上線(xiàn)之前必須用一批已經(jīng)知道正確答案的問(wèn)題做評(píng)測(cè)否則系統(tǒng)到底行不行全靠玄學(xué)。這篇我最后會(huì)專(zhuān)門(mén)講評(píng)測(cè)指標(biāo)和三個(gè)我見(jiàn)過(guò)最多的小白翻車(chē)點(diǎn)。這套流程目前在企業(yè)知識(shí)問(wèn)答里已經(jīng)非常成熟但絕大多數(shù)教程要么堆概念要么繞開(kāi)源框架對(duì)小白特別不友好。我下面講的是盡量不下放給第三方平臺(tái)、你自己能復(fù)現(xiàn)的版本代碼量不大重點(diǎn)講清楚每一步背后的“為什么”。2. 第一步把散落文檔整理成RAG能吃的知識(shí)庫(kù)2.1 收資料哪些內(nèi)容值得進(jìn)知識(shí)庫(kù)開(kāi)工前先盤(pán)一下手頭有什么。我做這類(lèi)知識(shí)庫(kù)時(shí)習(xí)慣列一張“素材清單”把候選文檔分成三類(lèi)必收、選收、不收。必收內(nèi)容通常包括營(yíng)業(yè)時(shí)間、票價(jià)與購(gòu)票規(guī)則、交通指南、入園安檢規(guī)定、寄存服務(wù)、失物招領(lǐng)流程、常見(jiàn)游客問(wèn)答。這些都是游客問(wèn)得最多、答案相對(duì)固定的內(nèi)容。選收內(nèi)容包括項(xiàng)目游玩介紹、餐飲購(gòu)物導(dǎo)覽、會(huì)員權(quán)益說(shuō)明、無(wú)障礙服務(wù)信息。這類(lèi)內(nèi)容有助于提升體驗(yàn)但不適合一開(kāi)始鋪太廣。不收的內(nèi)容包括內(nèi)部排班表、供應(yīng)商合同、員工操作手冊(cè)、臨時(shí)會(huì)議記錄。這些要么涉密要么對(duì)游客沒(méi)有任何意義。有個(gè)容易被忽略的點(diǎn)客服聊天記錄里的高頻問(wèn)題是最有價(jià)值但沒(méi)有被整理成文檔的內(nèi)容。你可以讓客服團(tuán)隊(duì)把近一兩個(gè)月的咨詢(xún)記錄導(dǎo)出來(lái)按問(wèn)題類(lèi)型做一次聚類(lèi)你會(huì)發(fā)現(xiàn)很多文檔里根本沒(méi)單獨(dú)寫(xiě)出來(lái)的問(wèn)題。比如“園區(qū)里有充電寶嗎”“衛(wèi)生間在哪”“下雨天項(xiàng)目還開(kāi)嗎”這類(lèi)問(wèn)題答案往往能寫(xiě)成FAQ標(biāo)準(zhǔn)對(duì)。2.2 清洗文檔要順手解決的4類(lèi)臟數(shù)據(jù)所謂清洗不是把文檔換個(gè)格式而是把機(jī)器讀起來(lái)會(huì)困惑的東西處理干凈。我在項(xiàng)目里總結(jié)過(guò)四類(lèi)最常見(jiàn)的臟數(shù)據(jù)。第一類(lèi)是頁(yè)面噪音。網(wǎng)頁(yè)導(dǎo)出的文本經(jīng)常帶導(dǎo)航欄、頁(yè)腳、版權(quán)聲明、推薦閱讀鏈接。這些東西和答案無(wú)關(guān)嵌在段落中間只會(huì)污染向量表示。要么人工刪要么用簡(jiǎn)單的正則規(guī)則過(guò)濾。第二類(lèi)是表格結(jié)構(gòu)丟失。官方文檔里經(jīng)常有表格比如“不同票種對(duì)應(yīng)可攜帶物品”或者“各區(qū)域開(kāi)放時(shí)間”。PDF或網(wǎng)頁(yè)轉(zhuǎn)純文本后表格會(huì)變成一行行散亂字符串完全失去行列關(guān)系。這種內(nèi)容我建議直接人工重寫(xiě)為自然語(yǔ)言比如“普通門(mén)票可攜帶已封裝食品入園但不包括需加熱、冷藏或具有刺激性氣味的食品”而不是保留純文本格式。第三類(lèi)是專(zhuān)有名詞不統(tǒng)一。同一個(gè)東西不同頁(yè)面可能叫“快速通行卡”“速通卡”“FP卡”。我要求知識(shí)庫(kù)統(tǒng)一口徑同時(shí)把其他說(shuō)法寫(xiě)進(jìn)關(guān)鍵詞字段方便檢索時(shí)命中。第四類(lèi)是版本混亂。樂(lè)園政策經(jīng)常調(diào)整庫(kù)里不能同時(shí)存在“每天允許攜帶兩個(gè)充電寶”和“每天允許攜帶一個(gè)充電寶”這種自相矛盾的舊文。清洗時(shí)要給每個(gè)文檔標(biāo)記生效時(shí)間和來(lái)源沖突時(shí)以最新版本為準(zhǔn)。提示清洗階段投入的每一分鐘都會(huì)在后續(xù)評(píng)測(cè)階段幫你省回十分鐘。垃圾進(jìn)垃圾出在RAG系統(tǒng)里表現(xiàn)尤其明顯。2.3 用“問(wèn)答對(duì) 原文片段”雙軌組織內(nèi)容清洗完之后知識(shí)庫(kù)內(nèi)容怎么組織我建議走“雙軌制”。第一軌是原文片段也就是政策原文、公告正文、須知條款里拆出來(lái)的段落。原文片段的好處是保留細(xì)節(jié)和權(quán)威性適合回答那些沒(méi)被FAQ覆蓋到的邊緣問(wèn)題。第二軌是問(wèn)答對(duì)也就是人工整理的“游客問(wèn)法 標(biāo)準(zhǔn)回答”。問(wèn)答對(duì)的價(jià)值在于它直接把“游客會(huì)怎么問(wèn)”和“標(biāo)準(zhǔn)答案是什么”綁定在一起檢索時(shí)往往一擊即中。舉個(gè)例子原文里有一句“輪椅與嬰兒車(chē)可在正門(mén)游客服務(wù)中心租借需繳納押金”。我們可以順手整理出幾條問(wèn)答對(duì)問(wèn)嬰兒車(chē)能租嗎答可以在正門(mén)游客服務(wù)中心租借需繳納押金具體以現(xiàn)場(chǎng)辦理為準(zhǔn)。問(wèn)輪椅在哪租答正門(mén)游客服務(wù)中心可租借輪椅需繳納押金?？雌饋?lái)簡(jiǎn)單但這兩條問(wèn)答對(duì)會(huì)極大地降低檢索難度。因?yàn)橛慰蛦?wèn)法和文檔寫(xiě)法的相似度天然比“游客問(wèn)法 vs 原文文檔”要高。不需要模型多聰明余弦相似度都容易命中。有不少團(tuán)隊(duì)圖省事只做原文拆塊覺(jué)得FAQ太多維護(hù)麻煩。我的建議是用原文片段覆蓋長(zhǎng)尾用問(wèn)答對(duì)覆蓋高頻兩者并用。初始階段問(wèn)答對(duì)可以做三五十條之后根據(jù)客服后臺(tái)的“未命中問(wèn)題”持續(xù)補(bǔ)充這相當(dāng)于給系統(tǒng)喂真實(shí)需求。2.4 一份可以直接照抄的知識(shí)庫(kù)字段模板知識(shí)庫(kù)本質(zhì)上可以做成一個(gè)簡(jiǎn)單的表格每一行是一個(gè)可以獨(dú)立檢索的文本單元。我給常用字段列一個(gè)模板。表知識(shí)庫(kù)字段模板字段名類(lèi)型示例用途id字符串KB_001234全局唯一標(biāo)識(shí)doc_type字符串faq / passage / notice區(qū)分問(wèn)答對(duì)和原文片段title字符串?huà)雰很?chē)租借規(guī)定用于展示和引用content文本正門(mén)游客服務(wù)中心提供嬰兒車(chē)租借……最終被檢索和喂給大模型的正文keywords字符串列表嬰兒車(chē), 租借, 押金, stroller輔助關(guān)鍵詞檢索source_url字符串http://xxx/help引用來(lái)源region字符串樂(lè)園正門(mén) / 全園 / 某主題區(qū)元數(shù)據(jù)過(guò)濾條件language字符串zh-CN多語(yǔ)言場(chǎng)景留用updated_at日期時(shí)間2025-01-10版本管理status字符串a(chǎn)ctive / archived下線(xiàn)舊政策你不需要一開(kāi)始把所有字段全部填滿(mǎn)但id、content、metadata、updated_at這幾個(gè)強(qiáng)烈建議保留。metadata可以做得靈活一點(diǎn)比如你的業(yè)務(wù)里可能需要區(qū)分“門(mén)票”“餐飲”“交通”等分類(lèi)那就再加一列category。檢索時(shí)可以通過(guò)metadata做過(guò)濾比如游客明確問(wèn)“停車(chē)”就只檢索交通分類(lèi)下的內(nèi)容減少無(wú)關(guān)干擾。3. 第二步分塊、嵌入與檢索搭出一條能命中答案的鏈路3.1 分塊策略切得太碎太整都不行知識(shí)庫(kù)內(nèi)容準(zhǔn)備好之后就要面對(duì)分塊Chunking問(wèn)題。分塊的意思是把長(zhǎng)篇文檔切成一個(gè)個(gè)適合做檢索的片段。分塊大小直接決定檢索質(zhì)量但并沒(méi)有一個(gè)萬(wàn)能參數(shù)更多是經(jīng)驗(yàn)和調(diào)試的結(jié)果。分塊太碎比如切成一兩句話(huà)問(wèn)題在于上下文信息丟失。比如“輪椅可在正門(mén)游客服務(wù)中心租借”和“需繳納押金和證件”被切成兩塊檢索到第一塊時(shí)答案就不完整。分塊太長(zhǎng)比如整篇3000字的政策說(shuō)明塞成一個(gè)塊問(wèn)題在于相似度打分被稀釋游客問(wèn)的是寄存塊里前半段講入口規(guī)定、后半段講收費(fèi)最終相關(guān)性被無(wú)關(guān)文字拉低而且喂給大模型后回答容易夾帶多余信息。我在這類(lèi)中文客服場(chǎng)景里習(xí)慣按“自然段落合并”而不是單純按字?jǐn)?shù)切。做法是先把文檔按標(biāo)題層級(jí)拆成若干小節(jié)再把每個(gè)小節(jié)里過(guò)短的段落合并控制每個(gè)塊在150到300字之間。如果相鄰塊之間話(huà)題有明顯延續(xù)就保留20到40字的重疊避免關(guān)鍵句子剛好被切斷。分塊完成之后每個(gè)塊就對(duì)應(yīng)知識(shí)庫(kù)表格里的一個(gè)content字段。后面的索引、檢索、生成全部基于這些塊進(jìn)行。3.2 嵌入模型把文本變成空間里的坐標(biāo)嵌入模型Embedding Model解決的是“語(yǔ)義匹配”問(wèn)題。它能把一段文字轉(zhuǎn)換成一個(gè)高維向量比如幾百維甚至上千維的浮點(diǎn)數(shù)數(shù)組。轉(zhuǎn)換的規(guī)則是語(yǔ)義相近的句子在向量空間里距離更近語(yǔ)義無(wú)關(guān)的句子距離更遠(yuǎn)。買(mǎi)票相關(guān)表達(dá)的向量會(huì)聚在一起寄存相關(guān)的向量會(huì)聚在另一片區(qū)域。游客輸入“嬰兒車(chē)可以推進(jìn)園區(qū)嗎”即使知識(shí)庫(kù)里沒(méi)有這句話(huà)只有“游客可攜帶嬰兒車(chē)入園但不得在項(xiàng)目排隊(duì)區(qū)域使用”兩者的向量距離依然很近檢索系統(tǒng)就能把它找出來(lái)。對(duì)小白來(lái)說(shuō)選嵌入模型不用太糾結(jié)。中文場(chǎng)景下直接選一個(gè)在中文語(yǔ)料上表現(xiàn)好的開(kāi)源嵌入模型即可很多模型支持像“你可以通過(guò)模型庫(kù)下載到本地”這種方式使用。盡量避免把英文語(yǔ)料訓(xùn)練的模型直接拿來(lái)跑中文客服效果通常差不少。注意嵌入模型不是越新越強(qiáng)就一定要換。每次更換嵌入模型意味著庫(kù)里所有向量都要重算成本不小。判斷要不要換看評(píng)測(cè)集上的檢索命中率是否顯著提升別跟風(fēng)。3.3 向量檢索演示50行Python跑通核心鏈路如果你只是想理解原理不用一上來(lái)就上重型向量數(shù)據(jù)庫(kù)本地用Python列表加余弦相似度就能跑通一個(gè)最小演示。下面這段代碼會(huì)把知識(shí)庫(kù)分塊、轉(zhuǎn)換成向量然后對(duì)用戶(hù)問(wèn)題檢索出最相關(guān)的Top-K片段。生產(chǎn)環(huán)境可以把這里的“本地向量列表”換成任意主流向量檢索服務(wù)邏輯完全一致。import numpy as np # 這里用占位函數(shù)表示調(diào)用嵌入模型把文本轉(zhuǎn)換成一維向量 def embed_text(text: str) - np.ndarray: # 在實(shí)際項(xiàng)目中這里會(huì)調(diào)用某個(gè)嵌入模型服務(wù) # 返回類(lèi)似 np.random.rand(768) 這樣的向量。 # 注意不要用隨機(jī)向量這里只是演示函數(shù)簽名。 raise NotImplementedError(請(qǐng)?zhí)鎿Q為真實(shí)的嵌入模型調(diào)用) # 假設(shè)知識(shí)庫(kù)里已經(jīng)有多個(gè)分塊文本 chunks [ 正門(mén)游客服務(wù)中心提供嬰兒車(chē)租借需繳納押金和有效證件。, 游客可在規(guī)定區(qū)域攜帶已封裝食品入園禁止攜帶需加熱或冷藏的物品。, 停車(chē)場(chǎng)位于樂(lè)園南側(cè)收費(fèi)標(biāo)準(zhǔn)為每天50元。, # ... 更多分塊 ] # 離線(xiàn)階段為每個(gè)分塊生成向量 vectors np.array([embed_text(chunk) for chunk in chunks]) def cos_similarity(a: np.ndarray, b: np.ndarray) - float: return float(np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))) def retrieve(query: str, top_k: int 3): q_vec embed_text(query) # 計(jì)算查詢(xún)向量與所有分塊向量的余弦相似度 scores [cos_similarity(q_vec, v) for v in vectors] # 按相似度從高到低排序取前 top_k 個(gè) ranked_idx sorted(range(len(scores)), keylambda i: scores[i], reverseTrue)[:top_k] return [(chunks[i], scores[i]) for i in ranked_idx] # 測(cè)試檢索 for chunk, score in retrieve(嬰兒車(chē)在哪可以租): print(f相似度: {score:.4f} - {chunk})這段代碼的核心邏輯只有三步文本轉(zhuǎn)成向量、算余弦相似度、排序取前K。理解了這三步你就理解了所有向量檢索產(chǎn)品的基礎(chǔ)原理。后面要升級(jí)的時(shí)候也無(wú)非是把“本地?cái)?shù)組”換成分布式索引把“余弦相似度”換成更適合語(yǔ)義匹配的距離度量。3.4 混合檢索向量 關(guān)鍵詞兩條腿走路更穩(wěn)純向量檢索在客服場(chǎng)景下有一個(gè)常見(jiàn)尷尬當(dāng)游客問(wèn)題里包含明確的專(zhuān)有名詞或編號(hào)時(shí)向量匹配容易被無(wú)關(guān)但語(yǔ)義相似的長(zhǎng)文本帶偏。比如游客問(wèn)“L1停車(chē)場(chǎng)怎么收費(fèi)”知識(shí)庫(kù)里“L1層是室內(nèi)停車(chē)場(chǎng)入口在商業(yè)街東側(cè)”這段話(huà)雖然包含L1但向量可能把它排到很后面反而是一段講解“停車(chē)場(chǎng)收費(fèi)標(biāo)準(zhǔn)”的文字更靠前。這種問(wèn)題在客服實(shí)操里很常見(jiàn)所以要上混合檢索一條腿是向量語(yǔ)義檢索負(fù)責(zé)捕捉“換個(gè)說(shuō)法”的問(wèn)法另一條腿是關(guān)鍵詞檢索比如BM25或簡(jiǎn)單的詞頻加權(quán)負(fù)責(zé)精確命中產(chǎn)品名、地名、門(mén)票種類(lèi)、數(shù)字編號(hào)。兩條路各自召回一批結(jié)果再合并去重分?jǐn)?shù)做歸一化后相加。實(shí)際工程里我不建議初始階段就做太復(fù)雜的權(quán)重調(diào)節(jié)。先用一個(gè)簡(jiǎn)單公式比如最終得分 0.7 × 向量相似度 0.3 × 關(guān)鍵詞得分跑一遍黃金測(cè)試集再根據(jù)試錯(cuò)調(diào)整權(quán)重。關(guān)鍵詞命中往往比向量更準(zhǔn)權(quán)重低一點(diǎn)也能有效糾偏。混合檢索的代碼也不復(fù)雜關(guān)鍵詞部分可以用倒排索引或現(xiàn)成關(guān)鍵詞工具向量部分繼續(xù)沿用上一步的接口。這個(gè)組合是目前客服場(chǎng)景下性?xún)r(jià)比最高的檢索方案能覆蓋大多數(shù)“換個(gè)說(shuō)法”和“精確詞命中”并存的情況。4. 第三步把檢索結(jié)果包裝成大模型能照著回答的素材4.1 提示詞模板沒(méi)有好的上下文再?gòu)?qiáng)的大模型也白搭檢索鏈路把Top-K片段拿回來(lái)之后下一步就是拼提示詞喂給大模型。提示詞模板看起來(lái)簡(jiǎn)單實(shí)際上有很多坑。好的模板要讓大模型知道三件事自己是誰(shuí)、手頭有什么資料、回答時(shí)該遵守什么紀(jì)律。下面是一個(gè)我常用的提示詞模板骨架你是某主題樂(lè)園的游客服務(wù)中心客服助手。 請(qǐng)只根據(jù)下面提供的“參考資料”回答游客的問(wèn)題不要使用你自身的背景知識(shí)進(jìn)行補(bǔ)充。 如果參考資料中沒(méi)有足夠信息請(qǐng)直接說(shuō)“抱歉我暫時(shí)沒(méi)有查詢(xún)到相關(guān)信息建議轉(zhuǎn)人工客服處理”。 回答請(qǐng)用簡(jiǎn)體中文語(yǔ)氣友好但簡(jiǎn)潔不要編造價(jià)格、時(shí)間或地點(diǎn)。 在回答末尾注明你參考的資料編號(hào)例如[1][2]。 參考資料 [1] {chunk_text_1} [2] {chunk_text_2} [3] {chunk_text_3} 游客問(wèn)題{query}為什么要寫(xiě)得這么死因?yàn)榇竽Ｐ湍J(rèn)是“知識(shí)淵博”的你不加限制它會(huì)把自己訓(xùn)練時(shí)見(jiàn)過(guò)的其他樂(lè)園回答混進(jìn)來(lái)甚至腦補(bǔ)出“迪士尼有XX項(xiàng)目”之類(lèi)的內(nèi)容。把回答范圍鎖死在參考資料里是抑制幻覺(jué)的最后一道閘門(mén)。哪怕參考資料表述不完整讓模型說(shuō)不知道也比編一個(gè)答案好。4.2 重排序把召回量從50壓到3很多人會(huì)覺(jué)得檢索回來(lái)Top-K直接喂給大模型不就行了我建議中間再加一步重排序。為什么因?yàn)橄蛄繖z索第一次召回目的是“別漏掉”通常會(huì)召回幾十條。假設(shè)召回50條里面可能只有兩三條真正命中其余都是泛泛相關(guān)。如果全塞給大模型一方面浪費(fèi)Token另一方面無(wú)關(guān)內(nèi)容會(huì)干擾模型判斷。重排序的思路是先用便宜的向量檢索快速篩出候選集比如50條再用一個(gè)更精細(xì)的重排序模型Reranker逐條打分把候選壓到3條左右。重排序模型本質(zhì)上是一個(gè)更強(qiáng)、更慢的匹配模型它把“問(wèn)題 片段”拼接起來(lái)做深度交互能捕捉到向量相似度忽略的細(xì)微語(yǔ)義關(guān)系。這個(gè)環(huán)節(jié)在客服場(chǎng)景里非常值錢(qián)。我見(jiàn)過(guò)不少項(xiàng)目加了重排序之后答案準(zhǔn)確率從60%左右直接提到85%以上。推薦的做法是把重排序做成獨(dú)立步驟而不是調(diào)大向量Top-K完事。工程上具體怎么接簡(jiǎn)單說(shuō)就是向量檢索得出50條候選重排序模型給每條算一個(gè)相關(guān)性分取最高的3條進(jìn)入提示詞模板。4.3 生成鏈路調(diào)用大模型接口并保留引用來(lái)源生成這一步代碼骨架大概長(zhǎng)這樣query 嬰兒車(chē)在哪可以租 # 1. 混合檢索召回候選 candidates hybrid_search(query, top_k50) # 2. 重排序精篩 reranked rerank(query, candidates, top_k3) # 3. 組裝提示詞 context_blocks [f[{i1}] {c.content} for i, c in enumerate(reranked)] user_prompt f 你是某主題樂(lè)園的游客服務(wù)中心客服助手。 請(qǐng)只根據(jù)下面提供的“參考資料”回答游客的問(wèn)題不要使用自身背景知識(shí)補(bǔ)充。 如果參考資料中沒(méi)有足夠信息請(qǐng)直接說(shuō)“抱歉我暫時(shí)沒(méi)有查詢(xún)到相關(guān)信息建議轉(zhuǎn)人工客服處理”。 回答請(qǐng)用簡(jiǎn)體中文語(yǔ)氣友好但簡(jiǎn)潔不要編造價(jià)格、時(shí)間或地點(diǎn)。 在回答末尾注明你參考的資料編號(hào)例如[1][2]。 參考資料 {chr(10).join(context_blocks)} 游客問(wèn)題{query} # 4. 調(diào)用大模型接口這里省略具體平臺(tái)參數(shù) answer call_llm(user_prompt, max_tokens300) # 5. 輸出給用戶(hù) print(answer)注意我特意在提示詞里要求模型標(biāo)注參考編號(hào)這樣游客和客服都能溯源。有的項(xiàng)目還會(huì)在前端做“查看參考來(lái)源”的入口點(diǎn)擊后展示原文片段和頁(yè)面鏈接信任感會(huì)強(qiáng)很多。調(diào)用大模型時(shí)還有兩個(gè)工程細(xì)節(jié)容易踩坑。第一是Token限制參考資料和回答加起來(lái)要在模型上下文窗口內(nèi)建議給max_tokens設(shè)置一個(gè)上限避免模型長(zhǎng)篇大論第二是超時(shí)和重試客服場(chǎng)景需要快速響應(yīng)一般設(shè)置一次生成不超3秒如果失敗就返回兜底話(huà)術(shù)而不是讓游客干等。4.4 兜底設(shè)計(jì)讓系統(tǒng)學(xué)會(huì)說(shuō)“不知道”越是追求“答得全”越要把“不知道”的路徑設(shè)計(jì)好?？头?chǎng)景中回答錯(cuò)誤比回答不了更傷體驗(yàn)。游客要是沒(méi)得到答案最多轉(zhuǎn)人工要是得到一個(gè)錯(cuò)誤的寄存位置可能白跑一趟。兜底判斷可以在兩個(gè)環(huán)節(jié)做。一個(gè)是在重排序之后如果Top-1的相關(guān)性分低于某個(gè)閾值說(shuō)明檢索結(jié)果本身不可靠直接進(jìn)入兜底話(huà)術(shù)。另一個(gè)是在大模型輸出后如果模型自己也明確表示“信息不足”同樣走兜底。強(qiáng)行走生成模型往往會(huì)把問(wèn)題硬答出來(lái)這就是幻覺(jué)重災(zāi)區(qū)。兜底話(huà)術(shù)我建議主動(dòng)給解決方案而不是冷冰冰一句“不知道”。比如“抱歉我暫時(shí)沒(méi)有查詢(xún)到嬰兒車(chē)租借的準(zhǔn)確信息。你可以通過(guò)官網(wǎng)幫助中心搜索‘?huà)雰很?chē)’或者撥打游客服務(wù)中心電話(huà)咨詢(xún)?！边@樣既守住了事實(shí)底線(xiàn)又給游客留了下一步動(dòng)作。提示閾值怎么定用黃金測(cè)試集做實(shí)驗(yàn)先統(tǒng)計(jì)所有正確樣本的重排序得分選一個(gè)能覆蓋90%正確樣本的最低分作為兜底閾值。閾值太高會(huì)讓系統(tǒng)動(dòng)不動(dòng)就裝死閾值太低又會(huì)放行太多錯(cuò)誤答案。5. 上線(xiàn)之前評(píng)測(cè)、回歸與小白的3個(gè)高頻坑5.1 用“黃金問(wèn)答集”做回歸別等上線(xiàn)才測(cè)RAG系統(tǒng)最怕的就是“感覺(jué)還行一上線(xiàn)全跑偏”。所以必須在開(kāi)發(fā)階段就準(zhǔn)備一套黃金問(wèn)答集也就是一批已經(jīng)知道標(biāo)準(zhǔn)答案的測(cè)試數(shù)據(jù)。數(shù)量不用太多起步50到100條就能發(fā)現(xiàn)大部分問(wèn)題但質(zhì)量要高。每條測(cè)試數(shù)據(jù)建議包含幾個(gè)字段游客問(wèn)題、標(biāo)準(zhǔn)答案、期望引用到的知識(shí)庫(kù)段落ID、分類(lèi)門(mén)票/交通/寄存/餐飲等。評(píng)測(cè)時(shí)可以跑三個(gè)維度檢索命中率、答案準(zhǔn)確率、引用正確率。檢索命中率好理解就是看正確答案的段落有沒(méi)有出現(xiàn)在召回結(jié)果里。有一個(gè)常見(jiàn)的現(xiàn)象答案準(zhǔn)確但檢索沒(méi)命中標(biāo)準(zhǔn)段落說(shuō)明模型可能是在憑背景知識(shí)硬答這種回答時(shí)間長(zhǎng)了必然翻車(chē)。引用正確率同樣關(guān)鍵看模型標(biāo)注的參考編號(hào)到底是不是它真正參考的那幾條。有些模型會(huì)把引用標(biāo)得很漂亮內(nèi)容卻對(duì)不上這種引用對(duì)用戶(hù)是誤導(dǎo)。評(píng)測(cè)方式上我推薦每改一次知識(shí)庫(kù)或檢索參數(shù)就跑一遍整個(gè)黃金問(wèn)答集記錄指標(biāo)變化。不是說(shuō)每個(gè)版本都要人工打分可以先用規(guī)則做自動(dòng)初篩比如判斷標(biāo)準(zhǔn)答案里的關(guān)鍵實(shí)體有沒(méi)有出現(xiàn)在回復(fù)中再人工抽檢。5.2 小白最容易踩的3個(gè)坑第一個(gè)坑是文檔更新不同步。運(yùn)營(yíng)改了政策知識(shí)庫(kù)里舊內(nèi)容沒(méi)下線(xiàn)新內(nèi)容又加了進(jìn)來(lái)。游客一查系統(tǒng)給的是舊規(guī)定這功勞可全砸了。解決辦法是每次更新走固定流程舊文檔標(biāo)archived、新文檔標(biāo)生效時(shí)間重新生成向量索引后再放量上線(xiàn)?？头F(tuán)隊(duì)要養(yǎng)成一個(gè)習(xí)慣政策變化當(dāng)天就把舊條目下線(xiàn)。第二個(gè)坑是低估同義改寫(xiě)的威力。你以為自己把FAQ寫(xiě)得很全了結(jié)果游客來(lái)一句“你們家能帶吃的嗎”“園區(qū)里可以吃飯嗎”“自熱火鍋能不能過(guò)安檢”系統(tǒng)照樣抓瞎。解決方案有兩個(gè)方向持續(xù)補(bǔ)充問(wèn)答對(duì)把高頻問(wèn)法吸收進(jìn)知識(shí)庫(kù)或者在上線(xiàn)后收集未命中問(wèn)題每周做一次問(wèn)法聚類(lèi)反哺知識(shí)庫(kù)。第三個(gè)坑是上下文過(guò)長(zhǎng)導(dǎo)致答案走樣。重排序取回3條段落聽(tīng)著不多但如果每段幾百字三五千字塞進(jìn)去模型生成時(shí)難免注意力渙散。解決辦法是限制每段不超過(guò)300字必要時(shí)只取Top-2并且要求模型“先直接回答再給出依據(jù)”把結(jié)論放在前面。5.3 從Demo到最小可用服務(wù)當(dāng)你在筆記本上把鏈路跑通接下來(lái)要把它變成一個(gè)別人可以訪(fǎng)問(wèn)的系統(tǒng)。最小可用版本通常包含三個(gè)接口POST /ask接收游客問(wèn)題返回回答、引用來(lái)源、兜底標(biāo)記POST /refresh用于知識(shí)庫(kù)更新后重建向量索引GET /health做健康檢查確保服務(wù)在線(xiàn)。實(shí)現(xiàn)時(shí)用常見(jiàn)的Web框架就能搞定向量存儲(chǔ)可以先用本地文件或輕量級(jí)開(kāi)源服務(wù)不急著上重對(duì)象。響應(yīng)時(shí)間控制在2秒內(nèi)比較理想檢索部分通常只要幾十毫秒大頭在大模型生成。如果生成太慢可以考慮縮短輸出長(zhǎng)度、用更快的模型、或者做緩存——把重復(fù)問(wèn)題的高頻答案緩存起來(lái)命中緩存就直接秒回。6. 最后分享一個(gè)我認(rèn)為最關(guān)鍵的工程習(xí)慣整套系統(tǒng)走下來(lái)你會(huì)發(fā)現(xiàn)最值錢(qián)的不是某一個(gè)大模型或某個(gè)向量組件而是一套能持續(xù)迭代的流程知識(shí)庫(kù)有人管、更新有版本、評(píng)測(cè)有數(shù)據(jù)。我自己在接觸這類(lèi)客服項(xiàng)目時(shí)一直堅(jiān)持“每次改動(dòng)都跑一遍黃金問(wèn)答集”的習(xí)慣哪怕只是改了一個(gè)標(biāo)點(diǎn)符號(hào)。聽(tīng)起來(lái)笨但正是這種笨功夫讓系統(tǒng)越養(yǎng)越穩(wěn)而不是上線(xiàn)后成了沒(méi)人敢碰的黑盒子。如果你準(zhǔn)備動(dòng)手建議先別急著追求大而全挑一個(gè)具體場(chǎng)景比如“嬰兒車(chē)租賃與寄存”用幾十條問(wèn)答對(duì)把鏈路從頭跑到尾。等這幾十條都答得不錯(cuò)了再橫向擴(kuò)到全園業(yè)務(wù)。這個(gè)順序帶給我很大安全感再?gòu)?fù)雜的問(wèn)題也能拆開(kāi)吃透了你也可以從最簡(jiǎn)單的地方開(kāi)始。