人工智能RAG大模型【免費(fèi)下載鏈接】llama_indexLlamaIndex is the document processing platform for AI項(xiàng)目地址https://gitcode.com/GitHub_Trending/ll/llama_index點(diǎn)擊查看免費(fèi)下載本文聚焦 LlamaIndex 中的SentenceEmbeddingOptimizer節(jié)點(diǎn)后處理器它在檢索與響應(yīng)合成之間運(yùn)行利用嵌入相似度逐句篩選檢索結(jié)果中與查詢真正相關(guān)的句子從而縮短送入 LLM 的上下文并顯著降低令牌消耗。讀完本文你將掌握該后處理器的全部構(gòu)造參數(shù)、兩種截?cái)嗖呗园俜治?/ 閾值的取舍、上下文窗口擴(kuò)展技巧以及它在查詢引擎流水線中的接入方式與底層實(shí)現(xiàn)原理。一、定位后處理階段的上下文瘦身器在 LlamaIndex 的查詢流水線中節(jié)點(diǎn)后處理器Node Postprocessor運(yùn)行在檢索器與響應(yīng)合成器之間它接收檢索器返回的NodeWithScore列表在 LLM 看到這些節(jié)點(diǎn)之前對(duì)它們進(jìn)行變換、過(guò)濾或重排。官方模塊指南 node_postprocessors.md 明確指出最常見(jiàn)的后處理器類型是重排器reranker而SentenceEmbeddingOptimizer走的是一條不同的路線——它不是給節(jié)點(diǎn)重新打分排序而是直接重寫(xiě)節(jié)點(diǎn)內(nèi)容刪掉與查詢無(wú)關(guān)的句子。該類的 API 參考頁(yè) sentence_optimizer.md 由 MkDocs 自動(dòng)生成指向llama_index.core.postprocessor模塊中的SentenceEmbeddingOptimizer類其完整實(shí)現(xiàn)位于 optimizer.py。類本身的 docstring 給出了最核心的定位Optimization of a text chunk given the query by shortening the input text.即針對(duì)給定查詢通過(guò)縮短輸入文本的方式優(yōu)化文本塊。它適用的典型場(chǎng)景包括檢索返回的節(jié)點(diǎn)較長(zhǎng)、上下文窗口預(yù)算緊張、希望在不大幅損失答案質(zhì)量的前提下壓縮 LLM 的輸入令牌數(shù)。二、快速上手兩個(gè)最小可用示例2.1 獨(dú)立調(diào)用后處理節(jié)點(diǎn)后處理器的核心接口繼承自 types.py 中的BaseNodePostprocessor公開(kāi)入口是postprocess_nodes(nodes, query_bundleNone, query_strNone)。SentenceEmbeddingOptimizer既可以獨(dú)立處理已有節(jié)點(diǎn)也可以作為參數(shù)掛進(jìn)查詢引擎。最簡(jiǎn)用法如下from llama_index.core.postprocessor import SentenceEmbeddingOptimizer postprocessor SentenceEmbeddingOptimizer( embed_modelembed_model, # 不傳時(shí)默認(rèn)使用 Settings.embed_model percentile_cutoff0.5, # 保留與查詢最相關(guān)的 Top 50% 句子 # threshold_cutoff0.7, # 或者改用相似度閾值截?cái)?) postprocessor.postprocess_nodes(nodes, query_strquery_str)注意該后處理器的篩選邏輯依賴查詢本身因此query_bundle或query_str是必要輸入——若兩者都未提供_postprocess_nodes會(huì)直接原樣返回節(jié)點(diǎn)不做任何優(yōu)化。2.2 接入查詢引擎的 node_postprocessors官方演示 Notebook OptimizerDemo.ipynb 展示了更常見(jiàn)的接入方式——通過(guò)index.as_query_engine(node_postprocessors[...])把它掛進(jìn)流水線from llama_index.core import VectorStoreIndex from llama_index.core.postprocessor import SentenceEmbeddingOptimizer query_engine index.as_query_engine( node_postprocessors[SentenceEmbeddingOptimizer(percentile_cutoff0.5)] ) res query_engine.query(What is the population of Berlin?)同一 Notebook 還提供了基于閾值的替代配置query_engine index.as_query_engine( node_postprocessors[SentenceEmbeddingOptimizer(threshold_cutoff0.7)] )三、構(gòu)造參數(shù)詳解含默認(rèn)值與取值范圍SentenceEmbeddingOptimizer的構(gòu)造簽名定義在 optimizer.py共 6 個(gè)可選參數(shù)均為Optional參數(shù)類型默認(rèn)值作用embed_modelBaseEmbedding \| NoneNone回落到Settings.embed_model用于給查詢與句子生成嵌入向量的模型percentile_cutofffloat \| NoneNone保留的句子百分比0~1如0.5表示只保留相似度最高的前 50% 句子threshold_cutofffloat \| NoneNone相似度原始閾值只保留相似度高于該值的句子tokenizer_fnCallable[[str], List[str]] \| NoneNone默認(rèn) NLTK Punkt 分句器把節(jié)點(diǎn)文本切成句子的函數(shù)context_beforeint \| NoneNone運(yùn)行時(shí)默認(rèn) 1每個(gè)被選中句子前面額外保留的句子數(shù)用于補(bǔ)充上下文context_afterint \| NoneNone運(yùn)行時(shí)默認(rèn) 1每個(gè)被選中句子后面額外保留的句子數(shù)3.1 兩種截?cái)嗖呗詐ercentile 與 threshold源碼 optimizer.py 中二者的換算邏輯非常直觀percentile_cutoffnum_top_k int(len(split_text) * percentile_cutoff)即先把文本切成 N 個(gè)句子再取前N × percentile個(gè)與查詢最相似的句子threshold_cutoff作為similarity_cutoff直接傳入 Top-K 選取邏輯只保留相似度得分高于該原始閾值的句子。兩者的關(guān)鍵區(qū)別百分位截?cái)嗍窍鄬?duì)排名無(wú)論相似度絕對(duì)值如何都按比例保留一定數(shù)量閾值截?cái)嗍墙^對(duì)門(mén)檻是否保留取決于相似度數(shù)值本身。類 docstring 明確指出二者可以同時(shí)使用——同時(shí)設(shè)置時(shí)會(huì)先按百分位確定num_top_k再用閾值做二次過(guò)濾取兩個(gè)條件的交集最終結(jié)果以更嚴(yán)格者為準(zhǔn)。3.2 上下文窗口context_before / context_after單純保留相關(guān)句子可能破壞句間邏輯因此該類支持按選中句為中心擴(kuò)展窗口。運(yùn)行時(shí)默認(rèn)值均為1見(jiàn) optimizer.py即默認(rèn)保留每個(gè)相關(guān)句子前后各 1 句窗口切片還會(huì)自動(dòng)做越界裁剪split_text[max(idx - context_before, 0) : min(idx context_after 1, len(split_text))]例如對(duì)句子列表[hello, world, foo, bar]選中foo時(shí)context_before0, context_after0→ 只保留foocontext_before0, context_after1→ 保留foo barcontext_before1, context_after1→ 保留world foo bar。以上三種行為均被單元測(cè)試 test_optimizer.py 逐一斷言驗(yàn)證。3.3 嵌入模型與分詞器的回退邏輯構(gòu)造函數(shù)中有兩處值得注意的隱形默認(rèn)嵌入模型self._embed_model embed_model or Settings.embed_model見(jiàn) optimizer.py。若全局設(shè)置中也未配置則嘗試導(dǎo)入llama_index.embeddings.openai的OpenAIEmbedding失敗時(shí)拋出帶安裝提示的ImportErrorpip install llama-index-embeddings-openai。這意味著在全新環(huán)境中直接使用本類大概率需要一個(gè) OpenAI API Key演示 Notebook 中也是先os.environ[OPENAI_API_KEY] INSERT OPENAI KEY。分詞器默認(rèn)使用全局幫助類 utils.py 中的globals_helper.punkt_tokenizer即 NLTK 的PunktSentenceTokenizer按英文標(biāo)點(diǎn)分句。你也可以傳入自定義的tokenizer_fn例如按空格或按逗號(hào)切分——測(cè)試代碼 test_optimizer.py 正是通過(guò)text.split( )和text.split(,)兩種自定義分詞器驗(yàn)證了該參數(shù)的作用。四、內(nèi)部原理一次后處理調(diào)用發(fā)生了什么SentenceEmbeddingOptimizer._postprocess_nodesoptimizer.py對(duì)傳入的每個(gè)節(jié)點(diǎn)執(zhí)行以下 6 步取 LLM 模式文本node.get_content(metadata_modeMetadataMode.LLM)只取最終會(huì)喂給 LLM 的內(nèi)容不包含非 LLM 元數(shù)據(jù)分句用tokenizer_fn把文本切成句子列表補(bǔ)查詢向量若query_bundle.embedding為空則調(diào)用self._embed_model.get_agg_embedding_from_queries(query_bundle.embedding_strs)生成。該方法定義在 base.py默認(rèn)把多個(gè)查詢字符串的向量做均值聚合mean_agg句級(jí)嵌入self._embed_model._get_text_embeddings(split_text)對(duì)每個(gè)句子單獨(dú)編碼Top-K 選取調(diào)用 embedding_utils.py 中的get_top_k_embeddings以similarity_fnself._embed_model.similarity計(jì)算查詢向量與各句向量的相似度內(nèi)部用**堆heap**維護(hù)前 K 個(gè)最相似句子并支持similarity_cutoff過(guò)濾若篩選后結(jié)果為空直接拋出ValueError(Optimizer returned zero sentences.)重寫(xiě)節(jié)點(diǎn)按context_before/context_after擴(kuò)展窗口、拼接后調(diào)用node.set_content(...)覆蓋節(jié)點(diǎn)文本。由此可見(jiàn)它的壓縮本質(zhì)是把整個(gè)節(jié)點(diǎn)文本降維成與查詢最相關(guān)的若干句子及其鄰近句從而在保留核心信息的同時(shí)減少 LLM 輸入。調(diào)試時(shí)打開(kāi)logging.DEBUG可以看到每條入選句及其相似度得分 Top {n} sentences with scores: 0. sentence (0.9123) 1. sentence (0.8734)五、接入方式與兼容性說(shuō)明推薦導(dǎo)入路徑from llama_index.core.postprocessor import SentenceEmbeddingOptimizer已在 postprocessor/init.py 導(dǎo)出向后兼容路徑from llama_index.core.indices.postprocessor import SentenceEmbeddingOptimizer同樣可用見(jiàn) indices/postprocessor.py其全部導(dǎo)出均來(lái)自llama_index.core.postprocessorCLI 映射該名稱也注冊(cè)在 mappings.json 中便于工具鏈解析異步支持BaseNodePostprocessor基類提供了apostprocess_nodes異步入口默認(rèn)通過(guò)asyncio.to_thread包裝同步實(shí)現(xiàn)見(jiàn) types.py因此SentenceEmbeddingOptimizer可直接用于異步查詢場(chǎng)景。六、實(shí)戰(zhàn)效果來(lái)自官方 Notebook 的對(duì)照數(shù)據(jù)OptimizerDemo.ipynb 使用 Wikipedia 的 Berlin 詞條構(gòu)建VectorStoreIndex后對(duì)同一查詢做了開(kāi)/關(guān)優(yōu)化的對(duì)照實(shí)驗(yàn)其記錄的真實(shí)運(yùn)行輸出如下配置LLM 令牌數(shù)Embedding 令牌數(shù)耗時(shí)不使用優(yōu)化器35457≈2.89spercentile_cutoff0.517797另計(jì)優(yōu)化階段 7≈2.35s在同一 Notebook 中閾值版本threshold_cutoff0.7也得到了正確答案Berlin 人口約 450 萬(wàn)且日志中能看到[optimize] Total embedding token usage: 7 tokens這一獨(dú)立的優(yōu)化階段令牌計(jì)數(shù)。這說(shuō)明句級(jí)篩選本身只需一次極小的嵌入調(diào)用卻能將近一半的 LLM 上下文令牌攔在門(mén)外。七、使用建議與注意事項(xiàng)兩個(gè)截?cái)鄥?shù)二選一或同用追求無(wú)論相似度多低都保留固定比例用percentile_cutoff追求只信任高質(zhì)量匹配用threshold_cutoff對(duì)相似度絕對(duì)值敏感的場(chǎng)景建議兩者結(jié)合。context_before/context_after不是越大越好窗口越大保留的上下文越多、壓縮率越低但對(duì)強(qiáng)依賴句間指代代詞、過(guò)渡句的文檔適度擴(kuò)展能明顯提升回答連貫性。確保配置了嵌入模型若不傳embed_model且Settings.embed_model未設(shè)置構(gòu)造時(shí)會(huì)嘗試加載llama-index-embeddings-openai否則拋ImportError建議顯式傳入避免隱式依賴與 API 配額波動(dòng)。默認(rèn)分詞器面向英文默認(rèn)的 NLTKPunktSentenceTokenizer適合英文分句處理中文或其他語(yǔ)言文本時(shí)建議通過(guò)tokenizer_fn傳入適配的分句函數(shù)測(cè)試中的中文 mock 見(jiàn) test_optimizer.py。空結(jié)果保護(hù)當(dāng)所有句子相似度都低于閾值時(shí)代碼會(huì)拋出ValueError。在接入生產(chǎn)流水線時(shí)建議先在小樣本上校驗(yàn)threshold_cutoff的取值避免某類查詢觸發(fā)空選集。壓縮后的 LLM 上下文更省但信息有損該后處理器適合檢索結(jié)果過(guò)長(zhǎng)、預(yù)算優(yōu)先的場(chǎng)景若任務(wù)要求極高的答案保真度可評(píng)估結(jié)合重排類后處理器如LLMRerank、SentenceTransformerRerank見(jiàn) node_postprocessors.md在排序之后再做句級(jí)壓縮。綜上SentenceEmbeddingOptimizer以嵌入相似度 句級(jí)裁剪實(shí)現(xiàn)了對(duì) LLM 上下文的輕量瘦身實(shí)現(xiàn)精簡(jiǎn)、參數(shù)收斂、默認(rèn)值即開(kāi)即用并且擁有完整的單元測(cè)試與可復(fù)現(xiàn)的 Notebook 佐證是 RAG 流水線中控制成本、縮短延遲的實(shí)用組件。贊分享人工智能RAG大模型【免費(fèi)下載鏈接】llama_indexLlamaIndex is the document processing platform for AI項(xiàng)目地址https://gitcode.com/GitHub_Trending/ll/llama_index點(diǎn)擊查看免費(fèi)下載相關(guān)推薦LlamaIndex NERPIINodePostprocessor 實(shí)戰(zhàn)基于 NER 的 PII 脫敏節(jié)點(diǎn)后處理器深度解析LlamaIndex NERPIINodePostprocessor 實(shí)戰(zhàn)基于 NER 的 PII 脫敏節(jié)點(diǎn)后處理器深度解析 本文圍繞 LlamaIndex人工智能RAG大模型LlamaIndex 集成 IBM watsonx.ai RerankWatsonxRerank 節(jié)點(diǎn)后處理器實(shí)戰(zhàn)指南LlamaIndex 集成 IBM watsonx.ai RerankWatsonxRerank 節(jié)點(diǎn)后處理器實(shí)戰(zhàn)指南 導(dǎo)讀 本文圍繞 LlamaIndex人工智能RAG大模型LlamaIndex 集成 Mixedbread AI Rerank基于 mxbai-rerank-large-v1 的節(jié)點(diǎn)重排后處理器實(shí)戰(zhàn)LlamaIndex 集成 Mixedbread AI Rerank基于 mxbai rerank large v1 的節(jié)點(diǎn)重排后處理器實(shí)戰(zhàn) 本文面向在 Ll人工智能RAG大模型上一篇如何讓老舊Mac煥發(fā)新生OpenCore Legacy Patcher完整使用指南下一篇顛覆性游戲模組開(kāi)發(fā)零基礎(chǔ)掌握REFramework一站式打造RE引擎游戲增強(qiáng)體驗(yàn)創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考