客服助手沒有按照格式回答可以改提示不知道最新政策可以提供資料大量任務(wù)中始終采用不合適的表達方式可能需要考慮訓(xùn)練調(diào)整。它們都能改變輸出卻改變了系統(tǒng)的不同部分。如果沒有區(qū)分這些差異常見結(jié)果是用很長的提示彌補缺少的數(shù)據(jù)用反復(fù)訓(xùn)練追逐每天變化的事實或者搭建復(fù)雜檢索之后才發(fā)現(xiàn)問題其實出在任務(wù)定義。判斷應(yīng)該改哪里可以從一次回答形成之前哪些信息和行為已經(jīng)確定開始。文章目錄提示改變當(dāng)前任務(wù)的輸入檢索改變當(dāng)前可用的外部證據(jù)微調(diào)改變模型參數(shù)中的行為傾向三者可以配合效果需要拆開判斷先定位缺失再選擇改動提示改變當(dāng)前任務(wù)的輸入模型開始生成時會看到當(dāng)前請求提供的指令、問題、資料和示例。這些內(nèi)容共同構(gòu)成上下文。調(diào)整提示就是在不改變模型參數(shù)的情況下改變它這一次收到的信息和任務(wù)要求。假設(shè)要把客戶留言整理成工單?！罢硪幌隆睕]有說明字段、缺失信息的處理方式也沒有說明能否推斷。改成“提取產(chǎn)品型號、故障現(xiàn)象和購買時間原文沒有的信息留空”就明確了任務(wù)邊界。補充示例還可以展示抽象規(guī)則難以表達的區(qū)別。例如客戶說“上個月買的”系統(tǒng)可以保留原話卻不應(yīng)在缺少當(dāng)前日期時擅自轉(zhuǎn)換成具體日期。示例的價值是呈現(xiàn)判斷關(guān)系不能只展示一種固定措辭否則模型可能學(xué)會表面模板。提示可以利用模型已有能力使它在當(dāng)前任務(wù)中采用某種格式或處理方式。但如果輸入沒有最新保修期限一句“務(wù)必準確”并沒有補上這條事實。提示中的要求與支持要求的信息需要分別檢查。上下文還有長度和組織成本。每次都附上大量不相關(guān)規(guī)則會增加處理內(nèi)容也可能讓真正重要的要求難以被穩(wěn)定使用。因此提示不是越長越可靠而應(yīng)包含當(dāng)前任務(wù)需要且不相互沖突的信息。檢索改變當(dāng)前可用的外部證據(jù)當(dāng)所需資料無法全部直接放入請求時可以先從外部集合中尋找相關(guān)內(nèi)容再提供給模型。這樣的檢索增強方式使事實資料的維護與模型訓(xùn)練分開。政策更新后系統(tǒng)可以更新文檔和索引讓后續(xù)查詢?nèi)〉眯掳姹?。模型不必為了這一項政策重新訓(xùn)練。但資料更新能否及時反映在答案中仍取決于解析、索引更新、版本篩選與實際檢索結(jié)果。檢索適合按問題獲取證據(jù)不天然解決全部資料任務(wù)。需要統(tǒng)計所有投訴類別時只拿最相關(guān)的幾條投訴可能漏掉大量記錄需要回答某一產(chǎn)品的維修條件時按對象篩選適用條款則很有價值。另一個邊界是行為能力。模型收到正確條款后仍把條件理解錯說明資料進入輸入只是必要的一步。需要檢查任務(wù)要求、表達方式、模型能力或判斷流程不能把所有錯誤都歸結(jié)為“再多找一些資料”。檢索本身也引入了新的可變部分。相同問題在資料變化后可能收到不同證據(jù)因此評價時要保留適用版本和實際輸入否則無法判斷新答案的變化來自哪里。微調(diào)改變模型參數(shù)中的行為傾向微調(diào)是在已有模型基礎(chǔ)上利用一批訓(xùn)練樣本繼續(xù)調(diào)整參數(shù)。它會影響模型之后處理同類輸入的傾向而不只是改變某一次請求中的材料。如果大量工單需要穩(wěn)定遵循某種分類體系、輸出約定或?qū)I(yè)表達方式經(jīng)過驗證的訓(xùn)練樣本可能幫助模型適應(yīng)這類任務(wù)。但樣本必須體現(xiàn)正確判斷不能只有格式漂亮的最終答案更不能把未經(jīng)核對的模型輸出直接當(dāng)成可靠標準。例如訓(xùn)練集中“沒有購買時間”的留言都被隨意補成最近日期模型可能更穩(wěn)定地重復(fù)這個錯誤。數(shù)據(jù)規(guī)模變大不會自動糾正標簽規(guī)則反而可能讓不合適的行為更難察覺。微調(diào)可以使模型學(xué)到或記住新的事實但不能因此把參數(shù)當(dāng)作能夠逐條更新、精確查詢并返回出處的數(shù)據(jù)庫。某個客戶昨天修改地址后業(yè)務(wù)系統(tǒng)可以準確更新對應(yīng)記錄通過訓(xùn)練修改這一事實則難以提供同樣明確的更新、刪除和追蹤邊界。微調(diào)還需要考慮訓(xùn)練與評估成本、供應(yīng)方支持、數(shù)據(jù)適用權(quán)利和回退方式。它應(yīng)當(dāng)回答一個已被觀測到的任務(wù)問題而不應(yīng)只是因為“有數(shù)據(jù)”就成為默認步驟。三者可以配合效果需要拆開判斷一個系統(tǒng)可以同時使用三種方法經(jīng)過訓(xùn)練的模型遵循工單字段規(guī)范提示明確這次要處理哪個請求檢索提供當(dāng)前產(chǎn)品政策。它們并不互相排斥關(guān)鍵是各自承擔(dān)的作用能夠解釋。如果一次更換了模型、訓(xùn)練數(shù)據(jù)、提示和檢索方式結(jié)果變好也很難知道收益來自哪一處。實際改進可以先固定評價樣本和判斷標準再按已定位的問題調(diào)整必要部分。對于同一組留言至少需要檢查型號提取、缺失字段處理、分類正確性以及原先正常的情況是否退化。對于政策問答還要檢查證據(jù)版本與適用范圍。單獨看到輸出格式更整齊不能說明事實正確性隨之提高。成本也需要對應(yīng)實際任務(wù)。長提示可能增加每次調(diào)用的輸入負擔(dān)檢索需要維護資料處理和查詢微調(diào)需要準備訓(xùn)練數(shù)據(jù)并維護模型版本。哪個更合適取決于任務(wù)頻率、錯誤來源、資料變化速度和需要達到的穩(wěn)定程度沒有統(tǒng)一的最便宜路線。先定位缺失再選擇改動當(dāng)助手答錯時先確認它有沒有獲得正確資料。沒有資料需要補輸入、接入查詢或改善檢索資料齊全但任務(wù)邊界含糊需要明確指令與示例要求清楚仍持續(xù)出現(xiàn)同類能力問題再評估是否需要更合適的模型或訓(xùn)練適配。這種判斷并不保證每個問題都能迅速解決但可以避免在錯誤層面反復(fù)投入。提示控制當(dāng)前任務(wù)檢索提供外部證據(jù)微調(diào)調(diào)整參數(shù)中的行為傾向。把三者的作用和限制分清才能在組合使用時知道每一部分為什么存在。參考資料Anthropic上下文組織 · 檢索增強生成 · Andrej Karpathy語言模型的訓(xùn)練與使用。本文討論方法所改變的部分不給出脫離任務(wù)條件的模型或服務(wù)推薦。AI 工程知識庫