最近在梳理NLP知識體系的時(shí)候正好推進(jìn)到第5個(gè)專題語義學(xué)Semantics。如果說分詞、詞性、句法分析解決的是“句子長什么樣”那么語義學(xué)解決的就是“這句話到底什么意思”。這個(gè)專題內(nèi)容不算多但卻是從“能跑通流程”邁向“能做對任務(wù)”的分水嶺。無論你是剛開始接觸NLP的初學(xué)者還是正在做檢索、問答、對話系統(tǒng)這類落地項(xiàng)目的開發(fā)者把這一節(jié)吃透后續(xù)看預(yù)訓(xùn)練模型、大語言模型的很多行為都會通透很多。這個(gè)單元很適合邊學(xué)邊動手不需要特別大的算力主要是吃透三類問題詞義消歧、語義相似度、語義角色標(biāo)注。下面我按自己實(shí)際學(xué)習(xí)和做項(xiàng)目時(shí)的思路來拆把核心原理講清楚也把我在實(shí)驗(yàn)里踩過的坑和調(diào)試經(jīng)驗(yàn)一并寫出來。1. 語義模塊的整體設(shè)計(jì)與思路拆解1.1 為什么說語義是NLP的分水嶺我們先看一個(gè)老生常談但特別直觀的例子“蘋果熟了”。如果沒有語境這句話至少有三種理解水果成熟了、某科技公司的產(chǎn)品迭代成熟了、電視劇里的人物劇情到位了。分詞和句法分析根本分不出這三種差異它們只保證句子結(jié)構(gòu)合法不會告訴你要選哪個(gè)意思。語義學(xué)的任務(wù)就是在這些候選意義之間做選擇并把“誰對誰做了什么”這種關(guān)系抽出來。從實(shí)際產(chǎn)品角度看語義能力幾乎決定了所有下游任務(wù)的上限。搜索引擎要理解“怎么燉排骨”和“排骨燉多久”是不是同一個(gè)問題客服機(jī)器人要區(qū)分“我要退款”和“退款多久到賬”的意圖差異內(nèi)容審核要判斷“打死我也不說”和“打死了人也不說”的嚴(yán)重程度完全不一樣。如果只停留在詞匹配層面這些場景全都會翻車。所以很多團(tuán)隊(duì)會把“第四層語義能力”當(dāng)成一個(gè)獨(dú)立模塊來建設(shè)而不是讓每個(gè)業(yè)務(wù)各自去湊。1.2 三種主流的語義研究視角做語義時(shí)會有三種完全不同的切入角度它們對后續(xù)技術(shù)選型影響很大。第一種是真值條件視角簡單說就是“句子在什么條件下為真”。比如“小明在圖書館”和“圖書館里有小明”邏輯上表達(dá)的是同一件事的兩個(gè)側(cè)面。研究這類問題通常需要謂詞邏輯、量詞、事件結(jié)構(gòu)非常嚴(yán)謹(jǐn)?shù)涞焦こ汤锿林匾驗(yàn)檎鎸?shí)用戶說話充滿了省略和歧義。第二種是認(rèn)知視角探索人腦怎么表征“蘋果”這個(gè)概念。這里涉及概念網(wǎng)絡(luò)、原型理論、常識推理。工程上很難直接落地但很多詞匯知識資源比如wordnet這類詞網(wǎng)的構(gòu)建思路都受了它的影響。第三種是分布視角也是現(xiàn)在統(tǒng)治工業(yè)界的一種觀點(diǎn)一個(gè)詞的意義由它經(jīng)常共現(xiàn)的語境決定。你不需要給“蘋果”寫定義只需要統(tǒng)計(jì)它在大量文本里和哪些詞一起出現(xiàn)。這一條路線直接催生了詞向量、語言模型、預(yù)訓(xùn)練模型這一整個(gè)技術(shù)家族。我在單元設(shè)計(jì)里會把三種視角都點(diǎn)到但工程實(shí)操會主要圍繞認(rèn)知視角的詞匯資源以及分布視角的向量化方法展開。1.3 本單元的學(xué)習(xí)路線設(shè)計(jì)如果把語義學(xué)拆成一門可操作的技術(shù)課我建議按下述三段走每段都能獨(dú)立形成能力。第一段是詞義級別的功課拿到一個(gè)多義詞根據(jù)上下文選出正確義項(xiàng)這叫詞義消歧。第二段是關(guān)系級別的功課識別句子里的“誰對誰做了什么”這叫語義角色標(biāo)注。第三段是度量級別的功課給兩個(gè)詞或兩個(gè)句子算一個(gè)分?jǐn)?shù)表示它們含義有多接近這叫語義相似度。這三段之間有明確的遞進(jìn)關(guān)系詞義消歧是基礎(chǔ)角色標(biāo)注依賴詞義的準(zhǔn)確選擇相似度計(jì)算又可以反過來驗(yàn)證前兩者的效果。我在給團(tuán)隊(duì)做內(nèi)部分享時(shí)會把這三個(gè)能力畫成一條流水線有點(diǎn)像先看懂單詞再看懂動作最后給整句打分。2. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)2.1 詞義消歧一詞多義是第一道坎詞義消歧WSD的原理并不復(fù)雜一個(gè)詞有多個(gè)義項(xiàng)我們要根據(jù)上下文中其他詞的提示選出最合適的一個(gè)。早期經(jīng)典算法是Lesk算法核心思想很直白把目標(biāo)詞的上下文詞和每個(gè)義項(xiàng)的釋義詞放在一起數(shù)重疊重疊越多的義項(xiàng)越可能是正確含義。比如“蘋果”有兩個(gè)義項(xiàng)一個(gè)和水果相關(guān)釋義里有“果實(shí)、果樹、甜、脆”這類詞一個(gè)和科技產(chǎn)品相關(guān)釋義里有“手機(jī)、電腦、操作系統(tǒng)”這類詞。如果輸入句子是“蘋果在秋季大量上市”上下文里出現(xiàn)“秋季、上市”這些詞顯然更貼近第一個(gè)義項(xiàng)的釋義環(huán)境于是消歧結(jié)果就是水果義項(xiàng)。這個(gè)算法放在今天看并不高級但它的可解釋性極強(qiáng)出問題了能直接看出是哪個(gè)詞撞了。實(shí)際工程里現(xiàn)在更多用統(tǒng)計(jì)和神經(jīng)網(wǎng)絡(luò)方法比如基于詞向量聚類的消歧先給多義詞的每個(gè)義項(xiàng)準(zhǔn)備若干例句用句向量做聚類中心判斷新例句和哪個(gè)中心更近。但無論用什么方法數(shù)據(jù)都繞不開義項(xiàng)劃分這件事。中文尤其麻煩“蘋果”這種名詞還算好辦像“打”這種動詞手里能列出二三十個(gè)義項(xiàng)標(biāo)注一套完整的義項(xiàng)語料本身就是工作量巨大的活。我給一個(gè)實(shí)操建議不要一上來就想Cover全部義項(xiàng)先按業(yè)務(wù)場景把高頻義項(xiàng)標(biāo)注到覆蓋度80%以上其他低頻義項(xiàng)直接走默認(rèn)第一義項(xiàng)兜底。這樣投入產(chǎn)出比最高。后面再遇到錯(cuò)誤樣本補(bǔ)充標(biāo)注就行。2.2 語義角色標(biāo)注把句子轉(zhuǎn)成動作片腳本語義角色標(biāo)注解決的是“誰、對誰、做了什么事、什么時(shí)候、在哪、用什么方式”的問題。以句子“他昨天用錘子敲碎了窗戶”為例標(biāo)注結(jié)果是這樣一組角色施事者A0他動作V敲碎受事者A1窗戶時(shí)間AM-TMP昨天工具AM-MNR錘子為什么這個(gè)結(jié)構(gòu)這么重要因?yàn)橐坏┏槌鰜砟憔涂梢灾苯踊卮稹罢l敲碎了窗戶”“他敲碎了什么”“什么時(shí)候發(fā)生的”。問答系統(tǒng)、信息抽取、事件抽取全都建立在這樣的結(jié)構(gòu)之上。很多知識圖譜構(gòu)建項(xiàng)目卡點(diǎn)往往不在實(shí)體識別而在“實(shí)體之間的關(guān)系”抽不準(zhǔn)。而語義角色標(biāo)注恰恰訓(xùn)練的就是這種“動賓關(guān)系、施受關(guān)系”的感知能力。中文做SRL時(shí)有個(gè)額外難點(diǎn)動詞經(jīng)常不顯式出現(xiàn)比如說“他蘋果”意思是“他買了蘋果”還是“他吃了蘋果”完全靠語境補(bǔ)。這種省略動詞的情況規(guī)則系統(tǒng)幾乎無解統(tǒng)計(jì)模型能學(xué)個(gè)大概但漏標(biāo)率仍然偏高。我的經(jīng)驗(yàn)是做SRL之前先做好論元邊界切分寧可先把“誰、什么”切成塊再去判斷塊之間的關(guān)系也不要從頭到尾走端到端黑盒。分步走錯(cuò)誤好定位。2.3 語義相似度從詞到句的度量問題相似度計(jì)算可以分三級來看。詞級相似度是最好做的常見思路是路徑相似度和信息相似度。路徑相似度利用詞匯概念網(wǎng)絡(luò)中的父子關(guān)系層次兩個(gè)詞在概念樹上離得越近越相似“轎車”和“汽車”關(guān)系近所以相似度高“轎車”和“香蕉”關(guān)系遠(yuǎn)相似度自然低。信息相似度則會考慮一個(gè)詞在語料里的罕見程度越罕見的詞越能區(qū)分概念權(quán)重也越高這也符合直觀感受都比較常見的高頻詞關(guān)系未必緊密。句子級相似度就難一些。簡單做法是取句子中所有詞的向量做平均得到一個(gè)句向量然后算余弦相似度。但這種方式對詞序不敏感“貓追狗”和“狗追貓”會得到幾乎一樣的向量。更進(jìn)階一點(diǎn)的做法是給詞按TF-IDF加權(quán)再平均能緩解一些高頻虛詞的干擾但仍解決不了詞序問題。再往后才輪到各類句編碼模型可解釋性就差很多了。這里要給個(gè)很重要的提醒語義相似度沒有“唯一的標(biāo)準(zhǔn)答案”。同一對句子在搜索場景里“相關(guān)”的判斷標(biāo)準(zhǔn)是主題一致在問答場景里“相似”的標(biāo)準(zhǔn)是語義蘊(yùn)含在去重場景里“相似”的標(biāo)準(zhǔn)是句子結(jié)構(gòu)幾乎相同。所以做相似度前一定要先定義清楚業(yè)務(wù)上說的“相似”具體是什么否則模型很難取舍。2.4 數(shù)據(jù)與工具的準(zhǔn)備要點(diǎn)在做這套語義分析之前要先把數(shù)據(jù)和工具備齊?；A(chǔ)的NLP工具鏈至少要覆蓋中文分詞、詞性標(biāo)注、依存句法分析這幾項(xiàng)。語義層的實(shí)驗(yàn)通常建議準(zhǔn)備三類資源詞匯語義資源包含詞語之間上下位關(guān)系、同義關(guān)系、反義關(guān)系的詞典類資源用途是詞義消歧和路徑相似度。語義角色標(biāo)注語料帶有人工標(biāo)注的“動詞-論元”關(guān)系數(shù)據(jù)規(guī)模不需要太大幾千句就可以開始實(shí)驗(yàn)。預(yù)訓(xùn)練詞向量或語言模型用于計(jì)算分布相似度如果資源緊張用公開的中文詞向量也能完成大部分實(shí)驗(yàn)。工具鏈的選擇我的偏好是快速原型階段用輕量的開源NLP工具包跑通流程后再考慮性能優(yōu)化和模型替換。很多人一上來就調(diào)大模型API最后發(fā)現(xiàn)連基礎(chǔ)的切分都出了問題反而不容易定位。3. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)3.1 用簡化版Lesk算法實(shí)現(xiàn)詞義消歧我們先做一個(gè)迷你版詞義消歧用來理解Lesk算法的核心邏輯。為方便演示我用一個(gè)簡化的詞義表示結(jié)構(gòu)每個(gè)義項(xiàng)只有ID、名稱和釋義關(guān)鍵詞。實(shí)際使用中你可以從更成熟的“詞網(wǎng)”資源里讀取這些數(shù)據(jù)。def lesk_simplified(context_words, senses, window2): def score(sense, ctx): overlap 0 for i, token in enumerate(ctx): if token in sense[gloss]: # 加一點(diǎn)位置權(quán)重離目標(biāo)詞越近的詞權(quán)重越高 dist_factor max(0, 1 - abs(i - window) / (window 1)) overlap 1 * dist_factor return overlap best_score -1 best_sense None for sense in senses: s score(sense, context_words) if s best_score: best_score s best_sense sense return best_sense這里的context_words是目標(biāo)詞前后若干個(gè)詞組成的列表window是我們設(shè)定的窗口半徑。位置權(quán)重的設(shè)計(jì)是我自己加的經(jīng)驗(yàn)項(xiàng)離目標(biāo)詞越近的上下文詞對義項(xiàng)選擇的貢獻(xiàn)越明顯。比如句子“我在菜市場看到蘋果在賣”上下文里“菜市場、賣”都靠近目標(biāo)詞而“看到”這類詞因?yàn)槌Ｒ娂词购湍硞€(gè)義項(xiàng)有重疊也會因?yàn)榫嚯x較遠(yuǎn)而壓低貢獻(xiàn)。用上面這個(gè)函數(shù)實(shí)測幾個(gè)句子你會發(fā)現(xiàn)只要窗口大小在3以內(nèi)效果都還行一旦窗口拉到整句低頻噪音詞就會把分?jǐn)?shù)帶偏。所以這個(gè)算法最核心的調(diào)參點(diǎn)不是算法本身而是“給多大窗口”和“過濾多少停用詞”。詞義消歧在學(xué)術(shù)上很難但在工程上做成“業(yè)務(wù)夠用”相對容易。關(guān)鍵是不要貪心一次解決所有詞先把多義詞的清單收斂到業(yè)務(wù)高頻的幾十個(gè)然后逐個(gè)優(yōu)化。3.2 計(jì)算語義相似度手動算一個(gè)例子看一個(gè)具體的相似度計(jì)算過程同時(shí)對比兩種方法。先看最簡單直接的路徑相似度在一個(gè)常識概念樹里節(jié)點(diǎn)代表一個(gè)概念概念邊代表上下位關(guān)系?！捌嚒钡母腹?jié)點(diǎn)是“機(jī)動車”“轎車”的父節(jié)點(diǎn)也是“機(jī)動車”“香蕉”的父節(jié)點(diǎn)是“水果”。那么從“轎車”到“汽車”的距離是2步相似度可以設(shè)定為距離越短得分越高。一個(gè)常用的公式是[ sim \frac{1}{1 dist} ]所以“轎車”和“汽車”的sim是0.33而“轎車”和“香蕉”的距離可能超過10sim接近0.09。這個(gè)分?jǐn)?shù)表面上看起來很小但如果把它映射到排序場景里它的作用主要是區(qū)分相對遠(yuǎn)近而不是給出一個(gè)絕對的“多相似”。原理本身不復(fù)雜真正麻煩的是維護(hù)一棵與時(shí)俱進(jìn)的概念樹新詞“固態(tài)電池”“鈉離子電池”這類名詞需要持續(xù)插入否則相似度計(jì)算就會漏。另一種更貼合工業(yè)界的方法是向量余弦相似度。假設(shè)我們用某個(gè)公開詞向量庫取“轎車”向量v1和“汽車”向量v2那相似度就是import numpy as np def cosine_sim(vec_a, vec_b): dot np.dot(vec_a, vec_b) norm_a np.linalg.norm(vec_a) norm_b np.linalg.norm(vec_b) return dot / (norm_a * norm_b 1e-8) v_car np.array([0.2, 0.3, -0.1]) v_sedan np.array([0.21, 0.28, -0.08]) v_banana np.array([-0.2, 0.1, 0.4]) print(cosine_sim(v_sedan, v_car)) # 接近0.95 print(cosine_sim(v_sedan, v_banana)) # 可能是負(fù)數(shù)或者0.1以下這里用三個(gè)手工假設(shè)的向量演示計(jì)算過程實(shí)際訓(xùn)練好的詞向量維度通常在100到300維但余弦計(jì)算就是這樣一個(gè)公式?jīng)]有任何黑魔法。一個(gè)實(shí)用的經(jīng)驗(yàn)是計(jì)算相似度之前先對向量做中心化處理即將每個(gè)維度的均值減去。中心化能消除不同向量之間的系統(tǒng)性偏移實(shí)驗(yàn)結(jié)果通常比直接算余弦更穩(wěn)定因?yàn)榧冇嘞抑魂P(guān)心方向不關(guān)心模長而模長有時(shí)也包含重要信息。句子級相似度我建議從簡單到復(fù)雜試起。先取每個(gè)詞的向量算平均用這個(gè)平均向量代表句子如果效果不滿意再加TF-IDF權(quán)重還不行再考慮用真正的句編碼模型。每一次升級都要用同一組測試集做對比才能確認(rèn)升級到底有沒有用。切忌一上來就追求最復(fù)雜的模型否則最后連什么模塊產(chǎn)生了什么效果都說不清。3.3 語義角色標(biāo)注把規(guī)則跑起來語義角色標(biāo)注最輕量的落地方式是規(guī)則加詞典。我們先用一個(gè)小系統(tǒng)理解標(biāo)簽體系的含義再看哪些環(huán)節(jié)可以用統(tǒng)計(jì)模型替換。def simple_srl(sentence, verb): # 這是一個(gè)極度簡化的模板只用來理解語義角色抽取的基本思路 tokens sentence.split() agent_idx None patient_idx None for i, tok in enumerate(tokens): if tok in {他, 她, 某人, 公司, 團(tuán)隊(duì)}: if i tokens.index(verb): agent_idx i if i tokens.index(verb) and tok not in {把, 被, 了}: if patient_idx is None: patient_idx i result {} if agent_idx is not None: result[A0] tokens[agent_idx] result[V] verb if patient_idx is not None: result[A1] tokens[patient_idx] return result print(simple_srl(他敲碎了窗戶, 敲碎))上面的代碼非常簡單很多句子會標(biāo)錯(cuò)但它的價(jià)值在于給你建立清晰的標(biāo)簽直覺A0一般在動詞前A1一般在動詞后被字句和把字句需要特殊處理?！鞍选弊志淅铩八汛皯羟盟榱恕薄按皯簟彪m然在動詞前但它是動作的承受者不是施事者所以A0應(yīng)該是“他”A1是“窗戶”。這個(gè)規(guī)則如果不單獨(dú)寫初學(xué)者很容易被詞序干擾。真實(shí)項(xiàng)目里用規(guī)則做SRL只能覆蓋一小部分常見句式更常見的做法是收集一批已標(biāo)注的SRL語料訓(xùn)練一個(gè)序列標(biāo)注模型。序列標(biāo)注會把每個(gè)詞貼上BIO標(biāo)簽比如B-A0代表某個(gè)論元開始I-A1代表論元繼續(xù)。訓(xùn)練這種模型和命名實(shí)體識別非常像輸入是詞向量加詞性特征輸出是每個(gè)詞的標(biāo)簽序列。這個(gè)過程中需要人工調(diào)整的地方主要是標(biāo)簽體系是只有A0/A1還是需要細(xì)分成工具、地點(diǎn)、時(shí)間等附加角色。附加角色一多樣本量需求就成倍上升。我個(gè)人的建議是如果業(yè)務(wù)只需要做知識抽取A0、V、A1三個(gè)角色基本夠用如果要做深層的問答類似“他是用什么敲碎的”才需要考慮AM-MNR、AM-TMP這類附加角色。先定義最小可用的角色集合別為了學(xué)術(shù)上的完整而把問題無謂放大這是我踩過坑后總結(jié)出來的。3.4 評估語義模塊做得好不好語義模塊不像分詞有明確的準(zhǔn)確率標(biāo)準(zhǔn)因?yàn)樗婕啊罢Z義對不對”的主觀判斷。所以工程上一定要建立一套自己的驗(yàn)收指標(biāo)我常用三個(gè)一個(gè)是消歧準(zhǔn)確率。方法很簡單準(zhǔn)備幾百條人工標(biāo)注好的多義詞句子跑一遍消歧流程算出正確比例。注意采樣要按業(yè)務(wù)場景分布來不要均勻抽樣否則高頻詞占大頭評估結(jié)果虛高。一個(gè)是相似度與人工打分的相關(guān)性。準(zhǔn)備若干對句子讓兩個(gè)人分別打0到5的相似度分和模型輸出的分?jǐn)?shù)做排序相關(guān)性計(jì)算。相關(guān)度高說明模型產(chǎn)出的排序基本符合人的直覺這是檢索場景里最看重的指標(biāo)。還有一個(gè)是端到端任務(wù)提升。比如你做一個(gè)FAQ問答系統(tǒng)把相似度模塊從基礎(chǔ)的詞重疊換成語義度量后看最終問題召回率提高多少。這是最實(shí)用的驗(yàn)收方式因?yàn)樽罱K的指標(biāo)才是業(yè)務(wù)方關(guān)心的。這三個(gè)指標(biāo)前兩個(gè)在開發(fā)期用最后一個(gè)在灰度階段看。如果端到端指標(biāo)沒提升哪怕前兩個(gè)指標(biāo)很好看也要回頭檢查是不是相似度模塊的使用方式出了問題。我遇到過一種情況模型分?jǐn)?shù)排序是對的但產(chǎn)品側(cè)只拿了一個(gè)絕對的相似度閾值去過濾由于分?jǐn)?shù)整體偏高導(dǎo)致誤召回了一堆無關(guān)內(nèi)容。這種事情不對比端到端指標(biāo)根本發(fā)現(xiàn)不了。4. 常見問題與排查技巧實(shí)錄4.1 詞典資源里查不到詞的義項(xiàng)怎么辦這是最常遇到的情況。詞網(wǎng)這類人工構(gòu)建的資源更新滯后網(wǎng)絡(luò)新詞、專業(yè)術(shù)語覆蓋不全消歧時(shí)經(jīng)常找不到對應(yīng)義項(xiàng)。我的處理思路是分層兜底先查基礎(chǔ)詞網(wǎng)資源命中不到再看領(lǐng)域詞表領(lǐng)域詞表也沒有就返回高頻義項(xiàng)。這樣雖然對單條樣本可能判斷不夠精準(zhǔn)但系統(tǒng)不會整體崩掉。實(shí)際操作時(shí)可以把“找不到義項(xiàng)”這件事單獨(dú)打日志每天統(tǒng)計(jì)頻率。如果某個(gè)詞反復(fù)查不到就啟動人工補(bǔ)充流程把詞條加進(jìn)領(lǐng)域詞典并標(biāo)注好義項(xiàng)提示詞。這種滾動更新的節(jié)奏比一次性追求完整覆蓋穩(wěn)健得多。4.2 詞向量在不同批次訓(xùn)練后不穩(wěn)定用相同語料訓(xùn)練兩次詞向量得到的向量空間可能差異很大原因是隨機(jī)初始化和迭代順序的影響。這會給相似度模塊帶來一個(gè)隱患模型參數(shù)更新后向量空間發(fā)生變化導(dǎo)致線上相似度分?jǐn)?shù)波動。解決辦法是固定隨機(jī)種子以及固定訓(xùn)練數(shù)據(jù)的迭代順序。如果這些做了還是不穩(wěn)定另一個(gè)方案是引入一個(gè)線性對齊以舊版向量為基準(zhǔn)對新版向量做正交變換最小化兩個(gè)集合中重疊詞的向量差異。對齊之后的向量帶上線分?jǐn)?shù)漂移會顯著下降。這套方法在向量模型升級時(shí)非常實(shí)用。4.3 余弦相似度給反義詞打了高分“好”和“壞”在詞向量空間里往往很近因?yàn)樗鼈兊恼Z法功能和語境高度相似。這在語義相似度場景里會帶來一種尷尬你問“這個(gè)產(chǎn)品好不好”系統(tǒng)把“這個(gè)產(chǎn)品很壞”也當(dāng)成高度相關(guān)。這是分布語義的固有偏差解決起來不能完全靠向量本身。我的經(jīng)驗(yàn)是疊加一個(gè)情感極性維度。具體做法是給每個(gè)詞打一個(gè)情感分在計(jì)算相似度時(shí)如果兩詞的極性方向不同就在相似度分?jǐn)?shù)上乘以一個(gè)懲罰系數(shù)。這樣“好”和“壞”的向量距離近但因?yàn)闃O性相反最終排序時(shí)不至于被誤當(dāng)成同義。這是規(guī)則和模型結(jié)合的典型案例。4.4 標(biāo)注語料太少模型訓(xùn)練不動語義角色標(biāo)注這種任務(wù)沒有幾千條高質(zhì)量標(biāo)注句子模型很難收斂。如果預(yù)算和人力有限我建議用遠(yuǎn)程監(jiān)督的思路先從已有的結(jié)構(gòu)化知識庫或業(yè)務(wù)數(shù)據(jù)庫里拿到“主語-謂語-賓語”三元組再回填到文本中找出對應(yīng)的句子片段自動產(chǎn)生一批弱標(biāo)注數(shù)據(jù)。這批數(shù)據(jù)噪音大但作為預(yù)訓(xùn)練集非常合適。拿到弱標(biāo)注模型后再讓人工只修正模型置信度低的樣本形成快速迭代閉環(huán)。整個(gè)過程中保證“修正后的數(shù)據(jù)被重新加入訓(xùn)練集”這一條很重要否則標(biāo)注資源等于只修了一半。實(shí)際操作里弱標(biāo)注加上少量人工修正通常能把F1從40多分提到75分以上在這個(gè)基礎(chǔ)上再想往上走就得仔細(xì)分析錯(cuò)誤類型而不是無腦加數(shù)據(jù)。4.5 生產(chǎn)環(huán)境里向量檢索性能差語義相似度檢索要遍歷幾十萬個(gè)向量做點(diǎn)積當(dāng)請求量上來后純計(jì)算耗時(shí)和延遲會讓人頭疼。常規(guī)優(yōu)化手段是建向量索引先做粗篩再做精排。粗篩用近似最近鄰算法犧牲少量精度換取高召回候選集精排階段再用準(zhǔn)確的余弦相似度在候選集內(nèi)排序。這樣可以把全量檢索的計(jì)算量降下一兩個(gè)數(shù)量級。還有更簡單的緩存方案相同或高度相似的查詢在短期內(nèi)重復(fù)率高尤其在企業(yè)客服這類場景中。對輸入句子先算一個(gè)短指紋如果相似度超過某個(gè)閾值直接返回緩存結(jié)果。我見過一個(gè)問答系統(tǒng)引入緩存后后端壓力降低了40%。所以性能優(yōu)化不要只看索引也得看業(yè)務(wù)流量特征。5. 把語義能力落到項(xiàng)目里的工具選型建議5.1 數(shù)據(jù)量決定方法選擇我經(jīng)常被問到一個(gè)問題做語義相似度到底用規(guī)則、經(jīng)典模型還是預(yù)訓(xùn)練大模型這個(gè)問題不能脫離數(shù)據(jù)量單獨(dú)回答。這里給一個(gè)參考閾值當(dāng)你的標(biāo)注樣本只有幾十到幾百條時(shí)用規(guī)則配合詞表比訓(xùn)練任何模型都強(qiáng)。因?yàn)槟Ｐ驮跇颖静粔驎r(shí)會嚴(yán)重過擬合上線后碰到稍有變化的句式就會崩。當(dāng)樣本量達(dá)到幾千條時(shí)可以考慮訓(xùn)練輕量的分類或匹配模型此時(shí)詞向量特征加上簡單的神經(jīng)網(wǎng)絡(luò)往往效果穩(wěn)定。當(dāng)樣本量達(dá)到幾萬條以上且你有多卡訓(xùn)練能力時(shí)再考慮微調(diào)預(yù)訓(xùn)練語言模型這樣才能物盡其用。這個(gè)經(jīng)驗(yàn)很適合中小團(tuán)隊(duì)。很多人一上來就微調(diào)大模型結(jié)果算力消耗大、迭代速度慢最后效果和簡單的詞向量模型不相上下就是因?yàn)閿?shù)據(jù)量不夠支撐復(fù)雜模型的學(xué)習(xí)。模型復(fù)雜度不是越高越好要和手里的彈藥匹配。5.2 語義服務(wù)和業(yè)務(wù)解耦的經(jīng)驗(yàn)項(xiàng)目進(jìn)入后期語義能力最好沉淀成獨(dú)立服務(wù)而不是每個(gè)業(yè)務(wù)各寫一套。獨(dú)立服務(wù)的好處是所有場景共用同一套詞義資源、向量庫和標(biāo)注體系出了問題只需在一處修復(fù)所有調(diào)用方同時(shí)受益。設(shè)計(jì)接口時(shí)建議把輸入定義為純文本輸出定義為結(jié)構(gòu)化結(jié)果比如“消歧結(jié)果列表”“語義角色集合”“相似度分?jǐn)?shù)”。讓上游業(yè)務(wù)只關(guān)心自己需要的字段不要暴露過多的內(nèi)部細(xì)節(jié)。語義服務(wù)內(nèi)部怎么升級、換模型只要輸出schema不變業(yè)務(wù)方就感知不到。這個(gè)解耦的收益需要等系統(tǒng)做過一次大升級后才能真正體會到。5.3 預(yù)訓(xùn)練語言模型時(shí)代還需要學(xué)經(jīng)典語義嗎經(jīng)常有人問現(xiàn)在大模型這么強(qiáng)大還需要理解詞義消歧、語義角色標(biāo)注這些基礎(chǔ)概念嗎我的回答始終是需要而且理解了這些概念會幫助你更好地用大模型。大模型本質(zhì)上是分布語義的一個(gè)超級大的實(shí)現(xiàn)它的很多“聰明”之處來自深度學(xué)習(xí)語言模型但它的缺陷也繼承了分布語義的先天不足。比如它對反義詞的區(qū)分、對罕見義項(xiàng)的識別、對復(fù)雜邏輯關(guān)系的推理仍然是吃力不討好的。當(dāng)你清楚這些經(jīng)典模塊擅長什么、不擅長什么你就能在大模型輸出里敏銳識別出錯(cuò)誤信號知道該去追問還是該換一種方式提問。反過來如果你完全不懂底下這些原理你看到大模型一本正經(jīng)地胡說八道時(shí)根本不知道應(yīng)該怎么定位問題。我在每次做項(xiàng)目總結(jié)時(shí)都會把經(jīng)典語義模塊比作一套“基本裝備”詞義消歧是盾過濾歧義語義角色標(biāo)注是矛刺穿表層句子結(jié)構(gòu)相似度計(jì)算是尺度量遠(yuǎn)近。這三樣裝備不一定每個(gè)項(xiàng)目都同時(shí)用上但你手里得常備著因?yàn)殡S時(shí)會用到。最后再分享一個(gè)小技巧做語義類項(xiàng)目時(shí)千萬別只盯著單個(gè)指標(biāo)。我習(xí)慣每周固定抽幾十條線上真實(shí)請求把模型的中間輸出打印出來逐條看尤其關(guān)注那些“模型打了高分但用戶明顯不滿意”的樣本。這些樣本往往能暴露出評測集里覆蓋不到的問題比如標(biāo)的義項(xiàng)不符合業(yè)務(wù)習(xí)慣或者角色標(biāo)注把領(lǐng)域術(shù)語拆碎了。先修這類問題模型效果才會有質(zhì)的提升。