庫完全指南：讓你的語音Agent基于自己的文檔回答)
為qwen-audio-agent搭建知識(shí)庫完全指南讓你的語音Agent基于自己的文檔回答【免費(fèi)下載鏈接】qwen-audio-agentA realtime voice runtime that keeps Agents talking, working, and present. Real-time Voice Runtime for AI Agents項(xiàng)目地址: https://gitcode.com/gh_mirrors/qw/qwen-audio-agentqwen-audio-agent 是一個(gè)面向 AI Agent 的實(shí)時(shí)語音運(yùn)行時(shí)讓語音助理能夠持續(xù)對(duì)話、持續(xù)工作、持續(xù)在線。它的知識(shí)庫功能可以讓你的語音 Agent 不再憑空回答而是基于你自己導(dǎo)入的文檔來檢索證據(jù)、組織答案——無論是產(chǎn)品手冊(cè)、公司內(nèi)部制度還是項(xiàng)目資料都能在語音對(duì)話中被直接問到。本文將帶你用最少的步驟完成從啟用知識(shí)庫、導(dǎo)入文檔到語音提問驗(yàn)證的完整流程并介紹如何接入 LightRAG 獲得更強(qiáng)的語義檢索能力。為什么語音 Agent 需要知識(shí)庫沒有知識(shí)庫時(shí)語音前臺(tái)Realtime Frontstage只能依靠模型的通用能力回答問題。而接入知識(shí)庫后整個(gè)鏈路變成你用麥克風(fēng)提問語音前臺(tái)判斷需要查證調(diào)用knowledge工具檢索知識(shí)庫返回命中的原文片段帶來源引用語音前臺(tái)基于這些片段組織回答并語音播報(bào)。這種設(shè)計(jì)的兩個(gè)好處回答有據(jù)可查檢索結(jié)果會(huì)被標(biāo)注為不可信數(shù)據(jù)并由前臺(tái)統(tǒng)一規(guī)范化避免編造文檔內(nèi)容知識(shí)庫可替換系統(tǒng)只依賴一個(gè)輕量的KnowledgeProvider接口你可以用內(nèi)置的本機(jī)資料庫也可以接企業(yè)已有的 RAG 系統(tǒng)而無需改動(dòng)語音前臺(tái)。完整接口說明見 知識(shí)庫 Provider。一鍵啟用開啟內(nèi)置知識(shí)庫內(nèi)置資料庫使用輕量本地關(guān)鍵詞檢索不需要向量數(shù)據(jù)庫也不需要 Embedding 模型是新手最省心的起點(diǎn)。第 1 步修改 Gateway 使用的config.envQWEN_AUDIO_DOMAIN_LIBRARYon這個(gè)變量在 .env.example 中有對(duì)應(yīng)注釋說明開啟后如果沒有另外注入自定義的knowledgeProvider內(nèi)置的本機(jī)資料庫會(huì)自動(dòng)成為知識(shí)庫 Provider。第 2 步確認(rèn)知識(shí)工具未被顯式關(guān)閉如果你之前設(shè)置過QWEN_AUDIO_KNOWLEDGE_TOOL_ENABLEDfalse請(qǐng)恢復(fù)為true或刪掉這一行。否則會(huì)出現(xiàn)資料能導(dǎo)入、但語音前臺(tái)沒有檢索工具的情況。第 3 步重啟 Gateway按照你的運(yùn)行方式重啟即可桌面端、TUI 或獨(dú)立 Gateway 進(jìn)程。重啟后語音 Provider 需支持工具調(diào)用知識(shí)庫工具才會(huì)注冊(cè)生效。詳細(xì)步驟可參考官方文檔 知識(shí)庫指南。導(dǎo)入文檔支持哪些格式Gateway 啟動(dòng)后打開WebUI連接同一個(gè) Gateway點(diǎn)擊頁面頂部的知識(shí)庫 / Knowledge Library面板對(duì)應(yīng)源碼 KnowledgeLibraryPanel.jsx粘貼一個(gè)Gateway 主機(jī)上的絕對(duì)文件路徑例如/Users/me/Documents/handbook.md點(diǎn)擊Add to library加入資料庫等待導(dǎo)入完成文檔出現(xiàn)在列表中后就可以開始提問了。 小提示路徑管理器復(fù)制來的帶引號(hào)路徑、file://形式的 URL 也支持但都指向 Gateway 所在主機(jī)的文件。它不是文件上傳器——手機(jī)上的文件路徑對(duì)電腦無效請(qǐng)先將文檔放到 Gateway 主機(jī)上。不同格式的處理方式文件類型處理方式Markdown、TXT 等純文本直接導(dǎo)入本機(jī)資料目錄無需后臺(tái) AgentPDF、Word、PPT 等復(fù)雜文檔由已配置的后臺(tái) Agent 在隔離會(huì)話中轉(zhuǎn)換為 Markdown 后入庫如果系統(tǒng)里沒有可用的后臺(tái) Agent 或隔離執(zhí)行能力純文本文件仍可正常導(dǎo)入復(fù)雜文檔則會(huì)明確提示當(dāng)前沒有可用轉(zhuǎn)換器此時(shí)你可以先把文檔手動(dòng)轉(zhuǎn)成 Markdown 或 TXT 再導(dǎo)入。幾個(gè)實(shí)用限制內(nèi)置資料庫默認(rèn)最多容納40 篇文檔達(dá)到上限時(shí)會(huì)提示你清理而不是悄悄丟棄舊文檔刪除只刪除資料庫中的副本和可檢索內(nèi)容不會(huì)動(dòng)原始文件源文件更新后不會(huì)自動(dòng)同步需要重新導(dǎo)入。語音提問驗(yàn)證知識(shí)庫是否生效導(dǎo)入完成后直接用自然語言提問即可。建議的問法是把查資料庫作為前綴例如搜一下資料庫手冊(cè)里關(guān)于發(fā)布流程是怎么說的內(nèi)置的關(guān)鍵詞檢索會(huì)掃描文檔的標(biāo)題與正文塊返回命中的原文片段再由語音前臺(tái)組織成自然回答。如果檢索效果不理想可以試試使用文檔里出現(xiàn)過的原詞提問關(guān)鍵詞檢索對(duì)同義替換不敏感把問題問得更具體而不是大而全的概括式提問。?? 注意如果你使用的是云端語音模型檢索到的原文片段會(huì)作為上下文發(fā)送給該模型參與回答。導(dǎo)入敏感文檔前請(qǐng)確認(rèn)模型服務(wù)符合你的數(shù)據(jù)合規(guī)要求。進(jìn)階玩法接入 LightRAG 獲得語義與圖譜檢索內(nèi)置資料庫是關(guān)鍵詞檢索適合中小規(guī)模文檔。如果你需要完整的語義檢索 知識(shí)圖譜倉庫提供了一個(gè)完整的外部知識(shí)庫接入示例examples/lightrag。它的工作方式組件職責(zé)qwen-audio-agent Gateway實(shí)時(shí)語音對(duì)話、知識(shí)工具、入庫任務(wù)生命周期LightRAG Provider示例代碼把 LightRAG API 映射為通用KnowledgeProvider接口你獨(dú)立運(yùn)行的 LightRAG Server文檔解析、切分、Embedding、圖譜與檢索核心流程用uv tool install lightrag-hku[api]安裝并啟動(dòng) LightRAG Server → 在 examples/lightrag/.env.local 中填寫LIGHTRAG_URL、LIGHTRAG_API_KEY等配置 → 運(yùn)行示例 Gatewaynode --env-fileexamples/lightrag/.env.local examples/lightrag/gateway.mjs→ 打開 WebUI 的資料庫面板導(dǎo)入文件等待索引完成即可語音查詢。接入代碼入口見 gateway.mjs它在創(chuàng)建 Gateway 應(yīng)用時(shí)只替換了knowledgeProvider其余語音鏈路完全不變——這正是 Provider 抽象的價(jià)值換知識(shí)庫不改語音前臺(tái)。更多可替換方案LangChain、LlamaIndex、Haystack、企業(yè) RAG 服務(wù)、MCP/HTTP見 Knowledge Provider 接口文檔。常見問題 FAQ問知識(shí)庫數(shù)據(jù)存在哪里內(nèi)置資料庫的數(shù)據(jù)存放在 Gateway 主機(jī)本地的共享數(shù)據(jù)目錄中不依賴任何外部數(shù)據(jù)庫。問桌面端小球Desktop Orb為什么沒有知識(shí)庫管理入口目前資料庫管理入口只在 WebUI 中提供桌面端和會(huì)話面板暫未開放該按鈕。請(qǐng)用 WebUI 管理文檔。問知識(shí)工具為什么沒生效按順序檢查①Q(mào)WEN_AUDIO_DOMAIN_LIBRARYon是否已設(shè)置并重啟②QWEN_AUDIO_KNOWLEDGE_TOOL_ENABLED是否被設(shè)為false③ 語音 Provider 是否支持工具調(diào)用。問想刪掉某篇文檔怎么辦在 WebUI 資料庫面板點(diǎn)擊 Remove刪除的是資料庫副本原始文件不受影響。相關(guān)文件速查內(nèi)容路徑知識(shí)庫使用指南中文docs/guides/knowledge.zh.mdKnowledge Provider 接口參考docs/reference/knowledge.zh.md內(nèi)置知識(shí)庫服務(wù)實(shí)現(xiàn)server/src/knowledge/LightRAG 接入示例examples/lightrag/WebUI 資料庫面板web/src/KnowledgeLibraryPanel.jsx環(huán)境變量模板.env.example按照以上步驟你只需要一個(gè)QWEN_AUDIO_DOMAIN_LIBRARYon的配置項(xiàng)和幾次點(diǎn)擊就能讓語音 Agent 真正讀懂你的文檔。當(dāng)文檔規(guī)模增長或需要語義級(jí)檢索時(shí)再平滑升級(jí)到 LightRAG 等外部知識(shí)系統(tǒng)即可?！久赓M(fèi)下載鏈接】qwen-audio-agentA realtime voice runtime that keeps Agents talking, working, and present. Real-time Voice Runtime for AI Agents項(xiàng)目地址: https://gitcode.com/gh_mirrors/qw/qwen-audio-agent創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 為qwen-audio-agent搭建知識(shí)庫完全指南：讓你的語音Agent基于自己的文檔回答
為qwen-audio-agent搭建知識(shí)庫完全指南讓你的語音Agent基于自己的文檔回答【免費(fèi)下載鏈接】qwen-audio-agentA realtime voice runtime that keeps Agents talking, working, and present. Real-time Voice Runtime for AI Agents項(xiàng)目地址: https://gitcode.com/gh_mirrors/qw/qwen-audio-agentqwen-audio-agent 是一個(gè)面向 AI Agent 的實(shí)時(shí)語音運(yùn)行時(shí)讓語音助理能夠持續(xù)對(duì)話、持續(xù)工作、持續(xù)在線。它的知識(shí)庫功能可以讓你的語音 Agent 不再憑空回答而是基于你自己導(dǎo)入的文檔來檢索證據(jù)、組織答案——無論是產(chǎn)品手冊(cè)、公司內(nèi)部制度還是項(xiàng)目資料都能在語音對(duì)話中被直接問到。本文將帶你用最少的步驟完成從啟用知識(shí)庫、導(dǎo)入文檔到語音提問驗(yàn)證的完整流程并介紹如何接入 LightRAG 獲得更強(qiáng)的語義檢索能力。為什么語音 Agent 需要知識(shí)庫沒有知識(shí)庫時(shí)語音前臺(tái)Realtime Frontstage只能依靠模型的通用能力回答問題。而接入知識(shí)庫后整個(gè)鏈路變成你用麥克風(fēng)提問語音前臺(tái)判斷需要查證調(diào)用knowledge工具檢索知識(shí)庫返回命中的原文片段帶來源引用語音前臺(tái)基于這些片段組織回答并語音播報(bào)。這種設(shè)計(jì)的兩個(gè)好處回答有據(jù)可查檢索結(jié)果會(huì)被標(biāo)注為不可信數(shù)據(jù)并由前臺(tái)統(tǒng)一規(guī)范化避免編造文檔內(nèi)容知識(shí)庫可替換系統(tǒng)只依賴一個(gè)輕量的KnowledgeProvider接口你可以用內(nèi)置的本機(jī)資料庫也可以接企業(yè)已有的 RAG 系統(tǒng)而無需改動(dòng)語音前臺(tái)。完整接口說明見 知識(shí)庫 Provider。一鍵啟用開啟內(nèi)置知識(shí)庫內(nèi)置資料庫使用輕量本地關(guān)鍵詞檢索不需要向量數(shù)據(jù)庫也不需要 Embedding 模型是新手最省心的起點(diǎn)。第 1 步修改 Gateway 使用的config.envQWEN_AUDIO_DOMAIN_LIBRARYon這個(gè)變量在 .env.example 中有對(duì)應(yīng)注釋說明開啟后如果沒有另外注入自定義的knowledgeProvider內(nèi)置的本機(jī)資料庫會(huì)自動(dòng)成為知識(shí)庫 Provider。第 2 步確認(rèn)知識(shí)工具未被顯式關(guān)閉如果你之前設(shè)置過QWEN_AUDIO_KNOWLEDGE_TOOL_ENABLEDfalse請(qǐng)恢復(fù)為true或刪掉這一行。否則會(huì)出現(xiàn)資料能導(dǎo)入、但語音前臺(tái)沒有檢索工具的情況。第 3 步重啟 Gateway按照你的運(yùn)行方式重啟即可桌面端、TUI 或獨(dú)立 Gateway 進(jìn)程。重啟后語音 Provider 需支持工具調(diào)用知識(shí)庫工具才會(huì)注冊(cè)生效。詳細(xì)步驟可參考官方文檔 知識(shí)庫指南。導(dǎo)入文檔支持哪些格式Gateway 啟動(dòng)后打開WebUI連接同一個(gè) Gateway點(diǎn)擊頁面頂部的知識(shí)庫 / Knowledge Library面板對(duì)應(yīng)源碼 KnowledgeLibraryPanel.jsx粘貼一個(gè)Gateway 主機(jī)上的絕對(duì)文件路徑例如/Users/me/Documents/handbook.md點(diǎn)擊Add to library加入資料庫等待導(dǎo)入完成文檔出現(xiàn)在列表中后就可以開始提問了。 小提示路徑管理器復(fù)制來的帶引號(hào)路徑、file://形式的 URL 也支持但都指向 Gateway 所在主機(jī)的文件。它不是文件上傳器——手機(jī)上的文件路徑對(duì)電腦無效請(qǐng)先將文檔放到 Gateway 主機(jī)上。不同格式的處理方式文件類型處理方式Markdown、TXT 等純文本直接導(dǎo)入本機(jī)資料目錄無需后臺(tái) AgentPDF、Word、PPT 等復(fù)雜文檔由已配置的后臺(tái) Agent 在隔離會(huì)話中轉(zhuǎn)換為 Markdown 后入庫如果系統(tǒng)里沒有可用的后臺(tái) Agent 或隔離執(zhí)行能力純文本文件仍可正常導(dǎo)入復(fù)雜文檔則會(huì)明確提示當(dāng)前沒有可用轉(zhuǎn)換器此時(shí)你可以先把文檔手動(dòng)轉(zhuǎn)成 Markdown 或 TXT 再導(dǎo)入。幾個(gè)實(shí)用限制內(nèi)置資料庫默認(rèn)最多容納40 篇文檔達(dá)到上限時(shí)會(huì)提示你清理而不是悄悄丟棄舊文檔刪除只刪除資料庫中的副本和可檢索內(nèi)容不會(huì)動(dòng)原始文件源文件更新后不會(huì)自動(dòng)同步需要重新導(dǎo)入。語音提問驗(yàn)證知識(shí)庫是否生效導(dǎo)入完成后直接用自然語言提問即可。建議的問法是把查資料庫作為前綴例如搜一下資料庫手冊(cè)里關(guān)于發(fā)布流程是怎么說的內(nèi)置的關(guān)鍵詞檢索會(huì)掃描文檔的標(biāo)題與正文塊返回命中的原文片段再由語音前臺(tái)組織成自然回答。如果檢索效果不理想可以試試使用文檔里出現(xiàn)過的原詞提問關(guān)鍵詞檢索對(duì)同義替換不敏感把問題問得更具體而不是大而全的概括式提問。?? 注意如果你使用的是云端語音模型檢索到的原文片段會(huì)作為上下文發(fā)送給該模型參與回答。導(dǎo)入敏感文檔前請(qǐng)確認(rèn)模型服務(wù)符合你的數(shù)據(jù)合規(guī)要求。進(jìn)階玩法接入 LightRAG 獲得語義與圖譜檢索內(nèi)置資料庫是關(guān)鍵詞檢索適合中小規(guī)模文檔。如果你需要完整的語義檢索 知識(shí)圖譜倉庫提供了一個(gè)完整的外部知識(shí)庫接入示例examples/lightrag。它的工作方式組件職責(zé)qwen-audio-agent Gateway實(shí)時(shí)語音對(duì)話、知識(shí)工具、入庫任務(wù)生命周期LightRAG Provider示例代碼把 LightRAG API 映射為通用KnowledgeProvider接口你獨(dú)立運(yùn)行的 LightRAG Server文檔解析、切分、Embedding、圖譜與檢索核心流程用uv tool install lightrag-hku[api]安裝并啟動(dòng) LightRAG Server → 在 examples/lightrag/.env.local 中填寫LIGHTRAG_URL、LIGHTRAG_API_KEY等配置 → 運(yùn)行示例 Gatewaynode --env-fileexamples/lightrag/.env.local examples/lightrag/gateway.mjs→ 打開 WebUI 的資料庫面板導(dǎo)入文件等待索引完成即可語音查詢。接入代碼入口見 gateway.mjs它在創(chuàng)建 Gateway 應(yīng)用時(shí)只替換了knowledgeProvider其余語音鏈路完全不變——這正是 Provider 抽象的價(jià)值換知識(shí)庫不改語音前臺(tái)。更多可替換方案LangChain、LlamaIndex、Haystack、企業(yè) RAG 服務(wù)、MCP/HTTP見 Knowledge Provider 接口文檔。常見問題 FAQ問知識(shí)庫數(shù)據(jù)存在哪里內(nèi)置資料庫的數(shù)據(jù)存放在 Gateway 主機(jī)本地的共享數(shù)據(jù)目錄中不依賴任何外部數(shù)據(jù)庫。問桌面端小球Desktop Orb為什么沒有知識(shí)庫管理入口目前資料庫管理入口只在 WebUI 中提供桌面端和會(huì)話面板暫未開放該按鈕。請(qǐng)用 WebUI 管理文檔。問知識(shí)工具為什么沒生效按順序檢查①Q(mào)WEN_AUDIO_DOMAIN_LIBRARYon是否已設(shè)置并重啟②QWEN_AUDIO_KNOWLEDGE_TOOL_ENABLED是否被設(shè)為false③ 語音 Provider 是否支持工具調(diào)用。問想刪掉某篇文檔怎么辦在 WebUI 資料庫面板點(diǎn)擊 Remove刪除的是資料庫副本原始文件不受影響。相關(guān)文件速查內(nèi)容路徑知識(shí)庫使用指南中文docs/guides/knowledge.zh.mdKnowledge Provider 接口參考docs/reference/knowledge.zh.md內(nèi)置知識(shí)庫服務(wù)實(shí)現(xiàn)server/src/knowledge/LightRAG 接入示例examples/lightrag/WebUI 資料庫面板web/src/KnowledgeLibraryPanel.jsx環(huán)境變量模板.env.example按照以上步驟你只需要一個(gè)QWEN_AUDIO_DOMAIN_LIBRARYon的配置項(xiàng)和幾次點(diǎn)擊就能讓語音 Agent 真正讀懂你的文檔。當(dāng)文檔規(guī)模增長或需要語義級(jí)檢索時(shí)再平滑升級(jí)到 LightRAG 等外部知識(shí)系統(tǒng)即可?！久赓M(fèi)下載鏈接】qwen-audio-agentA realtime voice runtime that keeps Agents talking, working, and present. Real-time Voice Runtime for AI Agents項(xiàng)目地址: https://gitcode.com/gh_mirrors/qw/qwen-audio-agent創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考