1. 為什么要在 WorkBuddy 里接入本地模型1.1 從“積分焦慮”說(shuō)起用 WorkBuddy 有一段時(shí)間的人大概都有體會(huì)云端模型確實(shí)省事但積分消耗速度經(jīng)常超出預(yù)期。尤其是做批量代碼審查、長(zhǎng)文檔摘要、多輪對(duì)話調(diào)試這類任務(wù)時(shí)積分就像沙漏里的沙子肉眼可見(jiàn)地往下掉。我自己的使用習(xí)慣是每天固定跑幾輪代碼重構(gòu)建議和文檔整理一個(gè)月下來(lái)積分消耗相當(dāng)可觀。本地模型的價(jià)值就在這里。把 Ollama 跑起來(lái)之后WorkBuddy 通過(guò) OpenAI 兼容協(xié)議對(duì)接本地推理服務(wù)所有請(qǐng)求都走本機(jī)回環(huán)地址不經(jīng)過(guò)任何外部接口自然也就不消耗積分。對(duì)于日常高頻、對(duì)模型能力要求不是極端苛刻的場(chǎng)景本地模型完全夠用。像 Qwen 系列的中小參數(shù)版本、Llama 系列的量化版本在消費(fèi)級(jí)顯卡甚至純 CPU 上都能跑出可接受的速度。這個(gè)方案適合幾類人一是積分預(yù)算有限但使用頻率高的重度用戶二是對(duì)數(shù)據(jù)隱私有要求、不希望內(nèi)容離開(kāi)本機(jī)的開(kāi)發(fā)者三是想折騰本地推理、順便把 WorkBuddy 當(dāng)成統(tǒng)一入口來(lái)管理多個(gè)模型的人。如果你屬于其中任何一類接下來(lái)的三步走流程值得完整走一遍。1.2 整體思路三步走的邏輯所謂“三步走”本質(zhì)是把整條鏈路拆成三個(gè)獨(dú)立可驗(yàn)證的環(huán)節(jié)裝 Ollama、拉模型、配 WorkBuddy。每一步都能單獨(dú)測(cè)試出問(wèn)題也容易定位。很多人一上來(lái)就把三件事混在一起做結(jié)果報(bào)錯(cuò)了根本不知道是 Ollama 沒(méi)起來(lái)、模型沒(méi)拉下來(lái)還是 WorkBuddy 的配置寫錯(cuò)了。我建議的順序是先確保 Ollama 服務(wù)本身能正常響應(yīng)再用命令行驗(yàn)證模型能對(duì)話最后才去動(dòng) WorkBuddy 的配置文件。這樣每一步都有明確的驗(yàn)收標(biāo)準(zhǔn)不會(huì)出現(xiàn)“全配完了但不知道哪壞了”的情況。提示整個(gè)流程的核心是 OpenAI 兼容協(xié)議。Ollama 默認(rèn)在 11434 端口暴露了一個(gè)兼容 OpenAI 接口規(guī)范的服務(wù)端點(diǎn)WorkBuddy 只要把 base_url 指過(guò)去、填一個(gè)占位的 api_key就能像調(diào)用云端模型一樣調(diào)用本地模型。2. 第一步把 Ollama 裝好并跑起來(lái)2.1 各平臺(tái)的安裝方式選擇Ollama 的安裝在不同系統(tǒng)上差異不小選對(duì)方式能省很多事。Windows 用戶直接去官網(wǎng)下載安裝包雙擊一路下一步即可。安裝完成后 Ollama 會(huì)常駐在系統(tǒng)托盤默認(rèn)開(kāi)機(jī)自啟。這里有個(gè)細(xì)節(jié)Windows 版的模型默認(rèn)存放在C:\Users\你的用戶名\.ollama\models如果 C 盤空間緊張一定要在拉模型之前改掉存儲(chǔ)路徑否則后面幾個(gè)大模型下來(lái)幾十 GB 就沒(méi)了。macOS 用戶同樣下載 dmg 安裝包拖進(jìn) Applications 就行。Apple Silicon 芯片的機(jī)器跑 Ollama 體驗(yàn)相當(dāng)好統(tǒng)一內(nèi)存架構(gòu)讓模型加載和推理都比較順暢。Linux 用戶推薦用官方的一鍵腳本安裝curl -fsSL https://ollama.com/install.sh | sh裝完之后用systemctl status ollama檢查服務(wù)狀態(tài)。如果顯示 active (running) 就說(shuō)明后臺(tái)服務(wù)已經(jīng)起來(lái)了。注意Linux 上如果遇到服務(wù)起不來(lái)的情況先看journalctl -u ollama -n 50的日志。常見(jiàn)原因是顯卡驅(qū)動(dòng)沒(méi)裝好或者端口被占用。2.2 驗(yàn)證服務(wù)是否正常裝完之后別急著拉模型先確認(rèn)服務(wù)本身是通的。打開(kāi)終端執(zhí)行curl http://localhost:11434/api/tags如果返回一個(gè) JSON里面是空的 models 列表說(shuō)明服務(wù)正常只是還沒(méi)拉模型。如果連接被拒絕那就是服務(wù)沒(méi)起來(lái)回去檢查安裝步驟。另一個(gè)驗(yàn)證方式是直接跑ollama list這個(gè)命令會(huì)列出本地已有的模型。能正常輸出就說(shuō)明命令行工具和服務(wù)之間的通信沒(méi)問(wèn)題。2.3 修改模型存儲(chǔ)路徑可選但推薦前面提到 C 盤空間的問(wèn)題這里給出具體做法。Windows 上設(shè)置系統(tǒng)環(huán)境變量OLLAMA_MODELS指向你想要的目錄比如D:\ollama-models。設(shè)置完重啟 Ollama 服務(wù)生效。Linux 上則是編輯 systemd 服務(wù)文件sudo systemctl edit ollama在打開(kāi)的編輯器里加入[Service] EnvironmentOLLAMA_MODELS/data/ollama-models保存后sudo systemctl daemon-reload sudo systemctl restart ollama。這個(gè)改動(dòng)一定要在拉模型之前做已經(jīng)拉下來(lái)的模型不會(huì)自動(dòng)遷移得手動(dòng)搬。3. 第二步拉取適合你的本地模型3.1 模型選型的幾個(gè)維度Ollama 上的模型成百上千選哪個(gè)直接決定了后續(xù)體驗(yàn)。我一般從三個(gè)維度考慮參數(shù)量、量化等級(jí)、任務(wù)類型。參數(shù)量決定了模型的基礎(chǔ)能力上限但也直接決定了顯存占用和推理速度。7B 到 9B 這個(gè)區(qū)間是消費(fèi)級(jí)硬件的甜點(diǎn)區(qū)8GB 顯存基本能跑量化版本。14B 以上就需要 12GB 甚至 16GB 顯存了。如果只有 CPU那建議從 3B 到 4B 起步否則速度會(huì)讓你懷疑人生。量化等級(jí)用 Q4、Q5、Q8 這樣的標(biāo)記表示數(shù)字越大精度越高、體積越大。Q4_K_M 是性價(jià)比最高的選擇精度損失很小體積卻比 Q8 小一半左右。任務(wù)類型方面代碼相關(guān)任務(wù)優(yōu)先考慮 Qwen 系列和 DeepSeek 系列的代碼版本通用對(duì)話和文檔處理Qwen 的通用版本表現(xiàn)均衡如果要做英文為主的任務(wù)Llama 系列也是穩(wěn)妥選擇。3.2 拉模型的命令與國(guó)內(nèi)加速基本命令很簡(jiǎn)單ollama pull qwen2.5:7b但國(guó)內(nèi)直接拉經(jīng)常慢得讓人抓狂幾十 GB 的模型下幾個(gè)小時(shí)是常事。解決辦法是配置鏡像源。Ollama 支持通過(guò)環(huán)境變量指定鏡像具體地址可以在社區(qū)里找當(dāng)前可用的配置方式是在啟動(dòng)服務(wù)前設(shè)置OLLAMA_HOST或者使用支持鏡像的拉取工具。另一個(gè)思路是找離線安裝包。有些社區(qū)會(huì)打包好常用模型的完整文件下載后放到OLLAMA_MODELS目錄下對(duì)應(yīng)的文件夾里Ollama 啟動(dòng)時(shí)能直接識(shí)別。這個(gè)方式適合網(wǎng)絡(luò)條件實(shí)在不行的場(chǎng)景。提示拉模型的時(shí)候可以另開(kāi)一個(gè)終端跑ollama list看進(jìn)度或者直接觀察模型目錄的大小變化。大模型拉取中斷是常事Ollama 支持?jǐn)帱c(diǎn)續(xù)傳重新執(zhí)行 pull 命令會(huì)接著下。3.3 驗(yàn)證模型能正常對(duì)話模型拉完之后先用命令行確認(rèn)它能跑ollama run qwen2.5:7b進(jìn)入交互界面后隨便問(wèn)一句比如“用一句話解釋什么是遞歸”。能正常返回就說(shuō)明模型加載和推理都沒(méi)問(wèn)題。這時(shí)候可以按 CtrlD 退出。這一步很關(guān)鍵因?yàn)槿绻Ｐ捅旧碛袉?wèn)題后面 WorkBuddy 報(bào)錯(cuò)你會(huì)以為是配置問(wèn)題白白浪費(fèi)時(shí)間排查。命令行能跑通才說(shuō)明問(wèn)題不在 Ollama 這一側(cè)。4. 第三步配置 WorkBuddy 對(duì)接本地模型4.1 找到配置文件的位置WorkBuddy 的模型配置通常放在用戶配置目錄下的models.json文件里。不同系統(tǒng)路徑不一樣系統(tǒng)典型路徑Windows%APPDATA%\WorkBuddy\models.jsonmacOS~/Library/Application Support/WorkBuddy/models.jsonLinux~/.config/WorkBuddy/models.json如果找不到這個(gè)文件可以在 WorkBuddy 的設(shè)置界面里找“模型管理”或“自定義模型”相關(guān)的入口通常會(huì)有“打開(kāi)配置文件”的按鈕。實(shí)在找不到就全局搜一下models.json。4.2 models.json 的寫法配置文件的核心是聲明一個(gè) OpenAI 兼容的模型條目。結(jié)構(gòu)大致如下{ models: [ { name: local-qwen, provider: openai, base_url: http://localhost:11434/v1, api_key: ollama, model: qwen2.5:7b } ] }幾個(gè)字段的含義需要說(shuō)清楚。provider填openai是因?yàn)?Ollama 暴露的是 OpenAI 兼容接口WorkBuddy 會(huì)按 OpenAI 的協(xié)議去發(fā)請(qǐng)求。base_url指向 Ollama 的 v1 端點(diǎn)注意結(jié)尾的/v1不能少。api_key隨便填一個(gè)非空字符串就行Ollama 不校驗(yàn)這個(gè)值但 WorkBuddy 可能要求字段存在。model字段必須和ollama list里顯示的模型名完全一致大小寫和標(biāo)簽都不能錯(cuò)。4.3 保存后重啟與驗(yàn)證改完配置文件后一定要完全退出 WorkBuddy 再重新打開(kāi)光關(guān)窗口不夠得確保進(jìn)程真的結(jié)束了。重啟后在模型選擇列表里應(yīng)該能看到local-qwen這個(gè)條目選中它發(fā)一條消息如果正常返回就說(shuō)明整條鏈路通了。如果報(bào)錯(cuò)先看 WorkBuddy 的錯(cuò)誤提示。常見(jiàn)的error report里如果提到連接失敗多半是 Ollama 服務(wù)沒(méi)起來(lái)或者端口不對(duì)如果提到模型不存在就是model字段和實(shí)際模型名對(duì)不上。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 連接類問(wèn)題速查現(xiàn)象可能原因排查方法連接被拒絕Ollama 服務(wù)未啟動(dòng)curl localhost:11434/api/tags測(cè)試404 錯(cuò)誤base_url 缺少 /v1檢查配置里的路徑超時(shí)端口被防火墻攔截檢查本機(jī)防火墻規(guī)則模型不存在model 字段名不匹配ollama list核對(duì)名稱連接類問(wèn)題占了報(bào)錯(cuò)的大多數(shù)。我踩過(guò)的一個(gè)坑是Windows 上 Ollama 裝完后服務(wù)是起來(lái)了但 WorkBuddy 用的是另一個(gè)用戶賬戶運(yùn)行的導(dǎo)致訪問(wèn) localhost 時(shí)解析到了不同的網(wǎng)絡(luò)上下文。解決辦法是確認(rèn)兩者在同一用戶會(huì)話下運(yùn)行。5.2 性能類問(wèn)題“接入本地模型后反應(yīng)非常慢”是高頻反饋。原因通常有三個(gè)模型太大硬件帶不動(dòng)、量化等級(jí)選太高、或者上下文長(zhǎng)度設(shè)置過(guò)長(zhǎng)。先看硬件。用nvidia-smi看推理時(shí)顯存占用如果顯存爆了會(huì)退到內(nèi)存甚至 CPU速度斷崖式下跌。這時(shí)候要么換更小的模型要么換更低的量化等級(jí)。上下文長(zhǎng)度也是隱形殺手。WorkBuddy 默認(rèn)可能給很長(zhǎng)的上下文窗口本地模型處理長(zhǎng)上下文時(shí)顯存占用會(huì)線性增長(zhǎng)。在配置里把上下文限制調(diào)小比如 4096 或 8192速度會(huì)明顯改善。5.3 配置保存失敗的處理“保存本地模型配置失敗”通常和文件權(quán)限有關(guān)。Linux 和 macOS 上檢查models.json的屬主是不是當(dāng)前用戶Windows 上檢查文件是不是被其他進(jìn)程占用。另一個(gè)可能是 JSON 格式寫錯(cuò)了比如多了個(gè)逗號(hào)或者少了引號(hào)用 JSON 校驗(yàn)工具過(guò)一遍就能發(fā)現(xiàn)。提示改配置文件前先備份一份改壞了能快速回滾。這個(gè)習(xí)慣在折騰各種配置時(shí)能救命。5.4 幾個(gè)實(shí)操心得第一模型名里的標(biāo)簽別省略。qwen2.5:7b和qwen2.5在 Ollama 里可能是不同的東西配置里寫全最保險(xiǎn)。第二如果同時(shí)用多個(gè)本地模型可以在 models.json 里配多個(gè)條目用不同的 name 區(qū)分WorkBuddy 的模型列表里就能切換。第三本地模型不消耗積分這一點(diǎn)在批量任務(wù)里優(yōu)勢(shì)特別明顯。我習(xí)慣把代碼格式化、注釋生成、簡(jiǎn)單重構(gòu)這類重復(fù)性工作全部交給本地模型云端模型只留給真正需要強(qiáng)推理的任務(wù)積分消耗直接降了一個(gè)數(shù)量級(jí)。第四Ollama 的日志在排查問(wèn)題時(shí)很有用。Linux 上用journalctl -u ollama -f實(shí)時(shí)看Windows 上在托盤圖標(biāo)右鍵能找到日志入口。請(qǐng)求進(jìn)來(lái)時(shí)日志里會(huì)有記錄能確認(rèn) WorkBuddy 的請(qǐng)求到底有沒(méi)有到達(dá) Ollama。6. 把本地模型用出效率的幾個(gè)進(jìn)階思路6.1 按任務(wù)分配模型本地模型和云端模型不是替代關(guān)系而是分工關(guān)系。我的做法是在 WorkBuddy 里同時(shí)保留本地和云端兩個(gè)模型條目簡(jiǎn)單任務(wù)切本地復(fù)雜任務(wù)切云端。判斷標(biāo)準(zhǔn)很簡(jiǎn)單如果這個(gè)任務(wù)你自己看一眼就能給出答案本地模型基本夠用如果需要多步推理或者涉及大量背景知識(shí)交給云端。這種分工帶來(lái)的積分節(jié)省是實(shí)打?qū)嵉?。以前一個(gè)月積分不夠用現(xiàn)在同樣的工作量還能剩下一半。6.2 模型文件的復(fù)用與遷移Ollama 的模型文件是自包含的整個(gè)models目錄可以直接拷貝到另一臺(tái)機(jī)器上復(fù)用。換電腦或者給團(tuán)隊(duì)其他成員部署時(shí)把目錄拷過(guò)去、配好環(huán)境變量省去重新下載的時(shí)間。這個(gè)技巧在批量部署時(shí)特別有用。6.3 保持 Ollama 更新Ollama 的迭代速度很快新版本經(jīng)常帶來(lái)推理性能優(yōu)化和新模型支持。定期更新能白嫖到不少性能提升。Linux 上重新跑一遍安裝腳本就是更新Windows 和 macOS 下載新安裝包覆蓋安裝即可。更新前記得確認(rèn)模型目錄不會(huì)被清掉正常情況下模型文件是保留的。6.4 關(guān)于 OpenAI 兼容協(xié)議的更多可能理解了 Ollama 暴露的是 OpenAI 兼容接口這一點(diǎn)之后你會(huì)發(fā)現(xiàn)很多工具都能接進(jìn)來(lái)。任何支持自定義 OpenAI 端點(diǎn)的應(yīng)用理論上都能把 base_url 指向http://localhost:11434/v1來(lái)使用本地模型。這意味著你搭好一套 Ollama能同時(shí)服務(wù)多個(gè)工具邊際成本幾乎為零。這也是我推薦優(yōu)先用 Ollama 而不是其他本地推理方案的原因之一——生態(tài)兼容性帶來(lái)的復(fù)用價(jià)值太高了。我自己現(xiàn)在的配置是Ollama 常駐后臺(tái)WorkBuddy 作為主力入口偶爾用其他支持 OpenAI 協(xié)議的工具做補(bǔ)充。整套跑下來(lái)本地模型承擔(dān)了大概七成的日常請(qǐng)求積分消耗降到了原來(lái)的三成左右而體驗(yàn)上除了極端復(fù)雜的推理任務(wù)基本感覺(jué)不到差別。如果你也在為積分發(fā)愁這套三步走的方案值得花一個(gè)下午完整搭一遍。