前言在PDF財報、技術(shù)手冊這類富文檔場景文檔內(nèi)部包含大量圖片、圖表、表格。傳統(tǒng)RAG直接對原文切塊向量化會出現(xiàn)圖表信息丟失、檢索召回不準(zhǔn)、表格結(jié)構(gòu)被切片破壞等問題。本文講解Multi?Vector多向量多模態(tài)RAG完整鏈路對比傳統(tǒng)Chunk RAG的差異、優(yōu)缺點(diǎn)與工程風(fēng)險給出選型建議。1 傳統(tǒng)RAG原文Chunk直接向量化工作流程多格式文檔 → 文本解析 → 按固定長度切分原文Chunk → Chunk文本向量化存入向量庫用戶Query → 向量檢索匹配Chunk → 將命中Chunk送入LLM生成答案核心特點(diǎn)向量庫存儲的就是文檔原文切片檢索拿到切片直接用于回答。圖片圖表直接丟棄僅保留文本。優(yōu)缺點(diǎn)維度傳統(tǒng)Chunk RAG向量庫存儲原文切片Chunk素材存儲向量庫直接保存切片文本無獨(dú)立原始素材存儲圖片/圖表處理丟棄圖片圖表僅靠OCR結(jié)構(gòu)丟失檢索依據(jù)原文片段原始語義輸入LLM內(nèi)容檢索命中的Chunk片段優(yōu)勢實(shí)現(xiàn)簡單無需額外調(diào)用大模型做摘要不存在摘要失真劣勢長Chunk噪聲大檢索容易跑偏短Chunk語義不完整圖片圖表無法檢索表格容易被切壞切片邊界割裂上下文典型痛點(diǎn)財報里一張營收趨勢圖傳統(tǒng)RAG直接丟棄圖片。用戶詢問營收相關(guān)問題完全無法召回該圖表對應(yīng)的信息。2 Multi?Vector多向量多模態(tài)RAG架構(gòu)整體分為兩大階段文檔入庫預(yù)處理階段、用戶查詢檢索生成階段。2.1 入庫預(yù)處理Ingest多格式文檔輸入經(jīng)過Layout解析器LlamaParse / Docling做版面解析拆分成三大分支文本分支、表格分支、圖片分支。兩路存儲分離DocStore原始素材庫完整保存原文、原始表格、原始圖片保證素材100%保真不做壓縮修改。向量索引不存儲原始素材。存儲的是提煉后的語義載體文本摘要、圖片MLLM描述文本、表格結(jié)構(gòu)化文本。文本分支原文存入DocStore生成文本摘要摘要向量化寫入向量索引。圖片分支原圖存入DocStore調(diào)用MLLM生成圖片描述文本描述向量化寫入向量索引。表格分支原始表格存入DocStore輸出表格結(jié)構(gòu)化文本結(jié)構(gòu)化文本向量化寫入向量索引。核心設(shè)計思想向量索引只負(fù)責(zé)檢索召回真實(shí)完整原始素材統(tǒng)一放在DocStore通過ID關(guān)聯(lián)。檢索匹配摘要回答回源原始素材。2.2 查詢檢索階段用戶輸入Query執(zhí)行多向量檢索查詢向量索引命中的對象是摘要/圖片描述/表格結(jié)構(gòu)化文本。根據(jù)命中結(jié)果的ID回源DocStore拉取完整原始素材原文、原圖、原始表格。將原始素材交付給多模態(tài)LLM完成綜合生成輸出最終答案。??架構(gòu)紅線絕對不能直接拿向量索引返回的摘要給LLM生成答案。摘要只是檢索的索引卡片存在信息壓縮甚至失真生成必須使用DocStore原始素材。優(yōu)缺點(diǎn)維度Multi?Vector多向量RAG向量庫存儲文本摘要、圖片MLLM描述、表格結(jié)構(gòu)化文本壓縮語義原始素材存儲獨(dú)立DocStore保存完整原始素材向量庫只負(fù)責(zé)檢索圖片/圖表處理圖片通過MLLM描述參與檢索原圖回傳給多模態(tài)LLM表格保留原始結(jié)構(gòu)檢索依據(jù)提煉后的摘要語義輸入LLM內(nèi)容DocStore拉取的完整原始素材優(yōu)勢摘要語義聚焦召回質(zhì)量高圖片圖表可以參與檢索表格不會被切片破壞原始素材與檢索索引解耦一份源數(shù)據(jù)可生成多路檢索向量劣勢預(yù)處理階段大量調(diào)用MLLMToken開銷大、耗時高存在摘要漂移風(fēng)險需要維護(hù)向量索引DocStore兩套存儲ID關(guān)聯(lián)邏輯復(fù)雜3 核心工程風(fēng)險點(diǎn)3.1 摘要漂移向量索引中存儲的是大模型生成的摘要。如果摘要理解文檔出錯會檢索召回不匹配的素材。雖然最終生成使用原始素材多模態(tài)LLM有機(jī)會修正摘要錯誤但最壞情況摘要錯誤導(dǎo)致檢索拿到完全無關(guān)的原始素材答案必然錯誤。3.2 禁止摘要直接作答摘要經(jīng)過壓縮丟失大量細(xì)節(jié)。業(yè)務(wù)代碼必須嚴(yán)格實(shí)現(xiàn)回源邏輯禁止把命中摘要直接送入LLM。3.3 ID關(guān)聯(lián)一致性向量索引每一條向量記錄都必須綁定DocStore對應(yīng)的素材唯一ID。入庫、更新、刪除文檔時向量索引與DocStore數(shù)據(jù)要同步維護(hù)避免出現(xiàn)ID失效、找不到原始素材。4 技術(shù)選型建議純文本、短文檔場景優(yōu)先傳統(tǒng)Chunk RAG。開發(fā)成本低足夠滿足業(yè)務(wù)需求。PDF報告、財報、技術(shù)手冊、大量圖表截圖場景選擇Multi?Vector多向量多模態(tài)RAG也就是本文流程圖這套鏈路。5 通俗類比總結(jié)傳統(tǒng)RAG把一本書撕成碎片碎片存入數(shù)據(jù)庫查詢搜到碎片直接拿碎片回答用戶。Multi?Vector多向量RAG為書中每段文字、每張圖表寫一張索引卡片摘要/描述卡片存入數(shù)據(jù)庫完整書籍保存在DocStore查詢匹配卡片編號再取出完整書頁交給大模型閱讀作答。結(jié)語多向量架構(gòu)解決了傳統(tǒng)RAG處理富媒體文檔的短板但并非銀彈。它以更高預(yù)處理成本換取檢索質(zhì)量提升工程落地要重點(diǎn)把控摘要質(zhì)量、ID關(guān)聯(lián)、回源邏輯這幾個關(guān)鍵點(diǎn)。