WorkBuddy 免費(fèi)接本地 Nex-N2.5-ProOllama 保姆級(jí)配置積分消耗直接打骨折【免費(fèi)下載鏈接】Nex-N2.5-Pro項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/nex-agi/Nex-N2.5-ProAI 智能體工具用起來(lái)順手但順手的代價(jià)往往是賬單。以 WorkBuddy 為代表的一批編排類 AI 工作臺(tái)把任務(wù)規(guī)劃、工具調(diào)用、多輪交互全部交給云端大模型一次深度任務(wù)動(dòng)輒消耗數(shù)萬(wàn) token積分余額肉眼可見(jiàn)地見(jiàn)底。社區(qū)里最近流傳開來(lái)的玩法是把 WorkBuddy 的推理層從云端摘下來(lái)掛到本地 Ollama 上——編排能力保持不變token 積分幾乎歸零。這套方案的可行性依據(jù)來(lái)自 Nex-N2.5-Pro 這類開源智能體模型的開放生態(tài)模型權(quán)重 Apache 2.0 開放、推理服務(wù)提供 OpenAI 兼容接口、工具調(diào)用協(xié)議標(biāo)準(zhǔn)化。本文結(jié)合 Nex-N2.5-Pro 倉(cāng)庫(kù)源碼給出從原理到落地的完整配置路徑。為什么免費(fèi)成立編排層與推理層分離先拆解 WorkBuddy 這類智能體工作臺(tái)的成本結(jié)構(gòu)。它本質(zhì)上是一個(gè)**編排層Orchestration 推理層Inference**的雙層系統(tǒng)編排層負(fù)責(zé)理解用戶意圖、拆解任務(wù)、調(diào)度工具推理層負(fù)責(zé)真正生成文本與調(diào)用決策。默認(rèn)配置下兩層都在云端因此每一次思考、每一次工具調(diào)用的確認(rèn)都要按 token 計(jì)費(fèi)。本地接入的思路很直接——把推理層的 API 地址從云端服務(wù)商換成localhost。Ollama 從 0.1.27 起內(nèi)置 OpenAI 兼容端點(diǎn)/v1WorkBuddy 這類客戶端只需修改 base_url 與模型名即可完成切換編排層代碼一行不用動(dòng)。對(duì)大量任務(wù)拆解 工具調(diào)用確認(rèn)的固定模式請(qǐng)求而言本地推理不消耗任何云端積分這就是打骨折的機(jī)制來(lái)源。Nex-N2.5-Pro 之所以適合做這套方案的模型底座從倉(cāng)庫(kù) config.json 可以找到硬證據(jù)architectures為Qwen3_5MoeForConditionalGenerationmodel_type為qwen3_5_moe屬于標(biāo)準(zhǔn)的 transformers 生態(tài)模型同時(shí)quantization_config顯示權(quán)重已按compressed-tensors的 FP8_BLOCK 方案量化128×128 塊、8 bit、group 粒度這意味著模型文件對(duì)顯存和帶寬的要求比 BF16 原版顯著更低是本地可承載的前提之一。認(rèn)識(shí) Nex-N2.5-Pro它是為干活訓(xùn)練的在動(dòng)手配置之前值得先明確接入的模型能帶來(lái)什么。Nex-N2.5-Pro 是 Nex-N2.5 家族mini / Pro / Max中的多模態(tài)智能體檔位倉(cāng)庫(kù) README.md 的定義是 built for long-horizon tasks in real-world environments——面向真實(shí)環(huán)境中的長(zhǎng)時(shí)程任務(wù)。它不只是會(huì)聊天而是把視覺(jué)變成了智能體感知與驗(yàn)證環(huán)境的接口操作電腦、瀏覽網(wǎng)頁(yè)、執(zhí)行并測(cè)試程序、通過(guò)視覺(jué)反饋?zhàn)晕壹m錯(cuò)。從 config.json 可以看到它的體量與設(shè)計(jì)取向MoE 稀疏激活512 個(gè)專家、每個(gè) token 激活 10 個(gè)配合共享專家shared_expert_intermediate_size在保持大容量知識(shí)的同時(shí)壓低單 token 計(jì)算量60 層混合注意力layer_types中線性注意力linear_attention與全注意力full_attention按 3:1 交替線性注意力層顯著降低長(zhǎng)序列下的 KV 緩存開銷256K 上下文max_position_embeddings: 262144長(zhǎng)文檔、長(zhǎng)任務(wù)日志、多輪工具調(diào)用都能裝進(jìn)一次會(huì)話真多模態(tài)vision_config定義了 27 層視覺(jué)編碼器patch 16、時(shí)間 patch 2processor_config.json中同時(shí)配置了圖像處理器與視頻處理器支持 2fps 采樣、最長(zhǎng) 768 幀即圖像與視頻都可作為智能體輸入。性能方面README 給出了與當(dāng)前頭部模型的對(duì)照數(shù)據(jù)。只看 Pro 檔的關(guān)鍵項(xiàng)Terminal-Bench 2.1 得分 82.7、SWE-Bench Pro 61.2、Toolathlon Verified 68.5、BrowseComp 89.7多模態(tài)與計(jì)算機(jī)操作維度OSWorld-Verified 82.2、OSWorld-G 87.4、WebArena-Verified 67.6、OmniDoc 92.2。這些數(shù)字說(shuō)明它的強(qiáng)項(xiàng)正是邊看邊操作的智能體場(chǎng)景——和 WorkBuddy 的定位高度重合。值得強(qiáng)調(diào)的是它的工程化設(shè)計(jì)采樣參數(shù)推薦temperature 0.7 / top_p 0.95 / top_k 40README 明確給出支持reasoning_effort三檔思考模式none直答、medium自適應(yīng)思考、high強(qiáng)制思考工具調(diào)用格式在 chat_template.jinja 中固化為tool_callfunction...parameter...的 XML 結(jié)構(gòu)并支持多步工具調(diào)用multi-step tool。這些特性決定了它接入 WorkBuddy 后既能想、又能調(diào)工具。保姆級(jí)配置Ollama 部署與 OpenAI 兼容端點(diǎn)第一步環(huán)境準(zhǔn)備Ollama 的部署目標(biāo)可以是社區(qū)教程中常見(jiàn)的 ARM NPU 低功耗一體設(shè)備也可以是任何一臺(tái)有 8GB 以上內(nèi)存的 x86 機(jī)器。先完成基礎(chǔ)安裝# macOS / Linux 一鍵安裝 curl -fsSL https://ollama.com/install.sh | sh # Windows 用戶直接下載安裝包或使用 WSL2 ollama serve # 確認(rèn)服務(wù)默認(rèn)監(jiān)聽(tīng) 11434 端口第二步拉取模型對(duì) WorkBuddy 的日常編排任務(wù)任務(wù)拆解、摘要、格式化、工具調(diào)用確認(rèn)社區(qū)教程驗(yàn)證過(guò)的qwen2.5:7b與qwen2.5:3b是性價(jià)比很高的起點(diǎn)如果機(jī)器配置充裕、希望獲得更強(qiáng)的智能體能力可進(jìn)一步嘗試 Nex-N2.5 系列的 GGUF 量化版mini 檔或直接看下文第四節(jié)的 SGLang 方案ollama pull qwen2.5:7b ollama list # 確認(rèn)模型已就緒第三步驗(yàn)證 OpenAI 兼容接口Ollama 啟動(dòng)后即暴露/v1兼容端點(diǎn)WorkBuddy 不需要任何 Ollama 私有協(xié)議適配curl http://localhost:11434/v1/models curl http://localhost:11434/v1/chat/completions \ -H Content-Type: application/json \ -d {model:qwen2.5:7b,messages:[{role:user,content:ping}]}返回正常的 JSON 結(jié)構(gòu)即表示本地推理鏈路已通。若希望局域網(wǎng)內(nèi)的其他機(jī)器如另一臺(tái)跑 WorkBuddy 的筆記本也能訪問(wèn)可將 Ollama 服務(wù)綁定到0.0.0.0并放行 11434 端口——但注意這只是內(nèi)網(wǎng)玩具級(jí)配置公網(wǎng)暴露必須加反向代理鑒權(quán)。第四步WorkBuddy 切換后端在 WorkBuddy 的模型設(shè)置中新建一個(gè)自定義/本地供應(yīng)商API Base URLhttp://localhost:11434/v1遠(yuǎn)程場(chǎng)景填http://內(nèi)網(wǎng)IP:11434/v1API Key任意占位字符串Ollama 默認(rèn)不做鑒權(quán)但客戶端一般要求非空模型名qwen2.5:7b與ollama list中的名稱完全一致切換后發(fā)起一個(gè)任務(wù)WorkBuddy 的編排層依舊運(yùn)行但每一次推理都發(fā)生在本地云端積分不再隨任務(wù)推進(jìn)被扣減。升級(jí)路徑真跑 Nex-N2.5-Pro 的 SGLang 方案如果對(duì)能力有更高要求倉(cāng)庫(kù)官方給出的 Nex-N2.5-Pro 部署方案是基于定制版 SGLang 的 Docker 鏡像nexagi/sglang:v0.5.18-nex-patch單機(jī) 8×H100docker run --gpus all --shm-size 32g --ipchost \ -p 30000:30000 \ -v /path/to/your/model:/model \ nexagi/sglang:v0.5.18-nex-patch \ python3 -m sglang.launch_server \ --model-path /model \ --tp 8 \ --host 0.0.0.0 --port 30000 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --chat-template /path/to/nex-N2.5-Pro/chat_template.jinja \ --mamba-scheduler-strategy extra_buffer注意兩個(gè)關(guān)鍵參數(shù)--tool-call-parser qwen3_coder開啟函數(shù)調(diào)用解析對(duì)應(yīng) chat_template.jinja 中的tool_call輸出協(xié)議--reasoning-parser qwen3將模型輸出的think推理軌跡與最終回答分離WorkBuddy 拿到的是干凈的最終結(jié)果。啟動(dòng)后同樣暴露 OpenAI 兼容的/v1/chat/completions端口 30000在 WorkBuddy 中把 base_url 指過(guò)來(lái)即可接入邏輯與 Ollama 完全一致。對(duì)于算力有限的個(gè)人開發(fā)者mini 檔只需 2×H100命令見(jiàn) README.md是更現(xiàn)實(shí)的過(guò)渡選擇。備用云端模型兜底而不破防本地推理并非萬(wàn)能極復(fù)雜的推理任務(wù)、多模態(tài)長(zhǎng)視頻分析或本地服務(wù)宕機(jī)時(shí)純本地方案會(huì)露怯。合理的架構(gòu)是本地優(yōu)先、云端兜底WorkBuddy 主模型設(shè)為本地端點(diǎn)默認(rèn)零積分在 WorkBuddy 的備用/降級(jí)配置中保留云端模型如云端 Nex-N2.5-Pro或你原本的付費(fèi)模型日常任務(wù)全部走本地當(dāng)任務(wù)超時(shí)、上下文超限或本地進(jìn)程異常時(shí)WorkBuddy 自動(dòng)降級(jí)到云端模型完成本輪任務(wù)。這樣既能把 90% 以上的固定模式請(qǐng)求留在本地積分消耗大幅下降又在關(guān)鍵任務(wù)上保留云端大模型的完整能力。社區(qū)教程中同樣建議保留這一層屬于降本不降可靠性的標(biāo)準(zhǔn)姿勢(shì)。MCP 擴(kuò)展掛載與工具調(diào)用對(duì)齊WorkBuddy 的一大賣點(diǎn)是 MCP 工具生態(tài)——文件系統(tǒng)、瀏覽器、代碼執(zhí)行器等工具通過(guò) MCP 協(xié)議掛載。要讓本地模型真正會(huì)用這些工具關(guān)鍵不在 WorkBuddy 側(cè)而在模型側(cè)的協(xié)議對(duì)齊。Nex-N2.5 系列在這一點(diǎn)上做了原生適配chat_template.jinja 在 system 段注入完整工具清單tools塊并把工具調(diào)用約束為tool_callfunction名稱parameter參數(shù)名值/parameter/function/tool_call的嚴(yán)格格式且要求先自然語(yǔ)言說(shuō)明再調(diào)用禁止調(diào)用后追加說(shuō)明——這套規(guī)范與 MCP 工具的確定性調(diào)用需求完全匹配模板支持多輪 tool_response 回傳tool_response包裹這正是 MCP 工具鏈中模型調(diào)用工具 → 工具返回結(jié)果 → 模型繼續(xù)推理的循環(huán)骨架tokenizer_config.json 中chat_template內(nèi)嵌了同一套邏輯保證 transformers 與 SGLang 兩條推理路徑行為一致。實(shí)操層面把 MCP 服務(wù)器如filesystem、playwright掛到 WorkBuddy 后在本地模型的采樣參數(shù)中建議顯式設(shè)置 README 推薦的temperature0.7, top_p0.95, top_k40避免高溫度導(dǎo)致的工具調(diào)用格式漂移。若發(fā)現(xiàn)模型偶爾輸出非結(jié)構(gòu)化文本而不是tool_call優(yōu)先檢查本地服務(wù)的--tool-call-parser是否開啟而不是懷疑模型能力。常見(jiàn)問(wèn)題與避坑清單連不上本地端點(diǎn)確認(rèn)ollama serve存活、端口未被占用遠(yuǎn)程訪問(wèn)場(chǎng)景確認(rèn)防火墻與OLLAMA_HOST環(huán)境變量。上下文超限本地小模型3b/7b的上下文窗口遠(yuǎn)小于 Nex-N2.5 的 256K。長(zhǎng)文檔任務(wù)建議先做切片或摘要把完整文件喂給本地 7b 模型容易直接報(bào)錯(cuò)。工具調(diào)用格式錯(cuò)亂優(yōu)先檢查--tool-call-parser qwen3_coder與--reasoning-parser qwen3是否在啟動(dòng)命令中Ollama 路徑下確認(rèn)模型本身支持工具調(diào)用qwen2.5系支持原生 function calling。首次加載慢FP8 量化模型的冷啟動(dòng)需要把權(quán)重讀入顯存8×H100 部署 Nex-N2.5-Pro 時(shí)預(yù)留充足--shm-size個(gè)人設(shè)備第一次拉取 GGUF 也要耐心等待下載完成。免費(fèi)的邊界本地推理省的是云端 token 積分電費(fèi)與硬件折舊是實(shí)際成本7b 檔模型適合高頻簡(jiǎn)單任務(wù)真正復(fù)雜的智能體任務(wù)仍建議按任務(wù)價(jià)值決定是否走云端備用模型。把 WorkBuddy 接到本地本質(zhì)上是把按 token 付費(fèi)的推理?yè)Q成了一次性的硬件投入——對(duì)于每天高頻使用智能體工具的用戶這個(gè)置換幾乎總是劃算的。而 Nex-N2.5-Pro 這類 Apache 2.0 開源模型的存在讓這條路徑從妥協(xié)方案變成了能力增強(qiáng)方案256K 上下文、稀疏 MoE、視覺(jué)感知與原生工具調(diào)用協(xié)議恰好覆蓋了編排型工作臺(tái)對(duì)底座模型的全部核心要求。配置鏈路短、協(xié)議標(biāo)準(zhǔn)、源碼可查剩下的就交給你的硬件了?！久赓M(fèi)下載鏈接】Nex-N2.5-Pro項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/nex-agi/Nex-N2.5-Pro創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考