這兩年只要一聊到本地大模型Ollama 基本是繞不開(kāi)的關(guān)鍵詞。我一開(kāi)始也不太理解明明寫(xiě) Python 也能加載模型為什么還要多套一層工具真正上手后才發(fā)現(xiàn)Ollama 干的不是“又多一個(gè)框架”這種事而是把模型下載、管理、推理、服務(wù)化打包成了一套很順手的命令行體驗(yàn)。這篇筆記記錄了我從安裝到接入業(yè)務(wù)腳本的完整過(guò)程包含環(huán)境變量、參數(shù)調(diào)優(yōu)和若干次翻車實(shí)錄。如果你手頭有一臺(tái)普通電腦哪怕是顯存不大甚至只有純 CPU 的機(jī)器也想把開(kāi)源模型真正跑起來(lái)那這份安裝配置教程可以直接照著抄。1. 快速認(rèn)識(shí) Ollama它到底解決了什么實(shí)際問(wèn)題1.1 為什么選擇本地部署而不是直接調(diào) API本地部署最大的理由其實(shí)就三個(gè)隱私、成本、可控性。把數(shù)據(jù)發(fā)給云端接口雖然在大多數(shù)場(chǎng)景下沒(méi)啥問(wèn)題但你自己項(xiàng)目的內(nèi)部文檔、客戶數(shù)據(jù)、甚至早期探索性的 Prompt 內(nèi)容一旦出了機(jī)器就很難追溯。而 Ollama 啟動(dòng)的模型完全跑在本地沒(méi)有上傳過(guò)程適合離線網(wǎng)絡(luò)環(huán)境也適合對(duì)數(shù)據(jù)敏感的開(kāi)發(fā)場(chǎng)景。成本上也可以算一筆賬。高頻調(diào)用云端接口每個(gè)月賬單會(huì)穩(wěn)定增長(zhǎng)而本地模型是一次性硬件投入只要機(jī)器不換跑多少次都是同樣的電費(fèi)。網(wǎng)絡(luò)波動(dòng)、接口限流、版本更新導(dǎo)致的返回格式變化這些外部依賴在本地部署里都不存在。我用一個(gè)家常類比來(lái)理解調(diào)云端 API 像每次用水都從自來(lái)水公司買水本地跑模型就像自己院子里打了一口井前期挖井費(fèi)工夫但之后用水不花錢、不限量、不受停水影響。1.2 Ollama 的核心機(jī)制一個(gè)工具集合體Ollama 最吸引人的地方是它把四件事打包在了一起模型下載與管理ollama pull能直接從模型倉(cāng)庫(kù)拉取不需要自己找權(quán)重文件解壓推理運(yùn)行時(shí)內(nèi)置了推理引擎不用手動(dòng)裝 PyTorch、CUDA 環(huán)境開(kāi)箱即跑命令行交互ollama run直接進(jìn)聊天界面HTTP 服務(wù)默認(rèn)在 11434 端口起一個(gè)接口支持/api/chat、/api/generate等路徑也兼容許多常見(jiàn)接口格式。模型文件的底層格式是 GGUF 量化文件。不需要深入理解它只需要記住一個(gè)結(jié)論同樣是 7B 參數(shù)的模型發(fā)布方原始權(quán)重可能是 16GB量化成 Q4_K_M 之后通常只有 4GB 到 5GB。量化本質(zhì)上就是把浮點(diǎn)數(shù)參數(shù)的精度降低來(lái)?yè)Q取體積和顯存占用代價(jià)是推理質(zhì)量有微小損失但對(duì)日常問(wèn)答、摘要、代碼生成來(lái)說(shuō)基本感覺(jué)不到。所以 Ollama 模型名字里的7b和實(shí)際占用硬盤(pán)大小千萬(wàn)別直接畫(huà)等號(hào)得看具體標(biāo)簽。2. 安裝部署從零把服務(wù)跑起來(lái)2.1 Windows 和 macOS圖形化安裝后驗(yàn)證Windows 和 macOS 的安裝方式最省事到 Ollama 官網(wǎng)下載對(duì)應(yīng)安裝包雙擊安裝。macOS 是標(biāo)準(zhǔn)的 .dmg 拖拽安裝Windows 是 .exe 安裝向?qū)б宦废乱徊骄托?。裝完以后最重要的一步是驗(yàn)證環(huán)境變量是否生效建議重新開(kāi)一個(gè)終端窗口再執(zhí)行ollama -v看到版本號(hào)就說(shuō)明安裝成功。如果提示“不是內(nèi)部或外部命令”先檢查系統(tǒng)環(huán)境變量里有沒(méi)有把安裝目錄加進(jìn) PATH沒(méi)加上就手動(dòng)加一下或者干脆重新登錄系統(tǒng)再試。驗(yàn)證完版本直接跑第一個(gè)模型ollama run qwen2.5:7bOllama 會(huì)自動(dòng)拉取模型拉取完成進(jìn)入會(huì)話后輸入“你好”之類的內(nèi)容測(cè)試。這一步能通過(guò)說(shuō)明安裝和基礎(chǔ)推理鏈路都沒(méi)問(wèn)題。Windows 上安裝完以后 Ollama 服務(wù)默認(rèn)是后臺(tái)運(yùn)行的托盤(pán)區(qū)會(huì)出現(xiàn)一個(gè)小圖標(biāo)不需要每次手動(dòng)啟動(dòng)。2.2 Linux 服務(wù)器命令行安裝與服務(wù)管理Linux 上用腳本安裝最方便curl -fsSL https://ollama.com/install.sh | sh腳本會(huì)自動(dòng)下載二進(jìn)制、創(chuàng)建ollama用戶、配置 systemd 服務(wù)。裝完以后systemctl status ollama看到active (running)就說(shuō)明服務(wù)起來(lái)了。如果沒(méi)自動(dòng)啟動(dòng)手動(dòng)執(zhí)行sudo systemctl start ollama開(kāi)機(jī)自啟用sudo systemctl enable ollama。這一步很多教程不提但服務(wù)器重啟后發(fā)現(xiàn) Ollama 連不上多半就是 enable 這步漏了。Linux 安裝前還有一件小事值得做檢查顯卡驅(qū)動(dòng)。用nvidia-smi看一眼能顯示出顯卡信息說(shuō)明驅(qū)動(dòng)正常。Ollama 只認(rèn)驅(qū)動(dòng)層不認(rèn)你之前裝沒(méi)裝過(guò)深度學(xué)習(xí)框架所以驅(qū)動(dòng)是硬門(mén)檻。如果驅(qū)動(dòng)沒(méi)裝好后文會(huì)提到一切運(yùn)行都會(huì)變成 CPU 龜速模式。某些精簡(jiǎn)系統(tǒng)或 ARM 設(shè)備上腳本安裝可能會(huì)失敗。這時(shí)候可以下載官方編譯好的二進(jìn)制手動(dòng)部署解壓到/usr/local/bin之類目錄再用 systemd 管理。手動(dòng)部署的目錄權(quán)限要注意別讓服務(wù)以 root 身份運(yùn)行。2.3 Docker 部署適合隔離環(huán)境如果不想在宿主機(jī)上裝一堆東西Docker 是另一個(gè)干凈方案docker run -d --name ollama \ -v /opt/ollama:/root/.ollama \ -p 11434:11434 \ ollama/ollama-v把模型目錄映射到宿主機(jī)的/opt/ollama這樣容器重建后模型還在不用二次下載。映射端口是關(guān)鍵只映射不指定 host 端口也行但建議顯式寫(xiě)出來(lái)。想用 GPU 時(shí)加一行--gpus all然后給容器安裝對(duì)應(yīng)顯卡運(yùn)行時(shí)組件。這套組合在隔離網(wǎng)絡(luò)、需要隨時(shí)重置環(huán)境的場(chǎng)景下特別好用。原生安裝和 Docker 部署怎么選我給個(gè)判斷邏輯個(gè)人開(kāi)發(fā)機(jī)、長(zhǎng)期使用、想圖形化管理用原生安裝臨時(shí)體驗(yàn)、多環(huán)境切換、害怕依賴污染系統(tǒng)用 Docker。我自己的主力機(jī)器用 Docker 跑服務(wù)端但 CLI 工具還是用原生的兩者互不沖突。2.4 安裝后的環(huán)境檢查清單跑模型之前先花兩分鐘做環(huán)境自檢省得后面排查半天。我會(huì)依次確認(rèn)這四件事磁盤(pán)空間是不是夠一個(gè) 7B 模型普遍要 4GB 以上32B 模型可能要 20GB 以上顯存有沒(méi)有被其他程序占了瀏覽器開(kāi)了幾十個(gè)標(biāo)簽頁(yè)、后臺(tái)跑著訓(xùn)練任務(wù)顯存就沒(méi)剩多少了Ollama 服務(wù)是否在監(jiān)聽(tīng)瀏覽器打開(kāi)http://localhost:11434能看到 “Ollama is running” 類似的提示終端里執(zhí)行ollama ps能否正常顯示為空列表。前三項(xiàng)都過(guò)了基本不會(huì)遇到安裝層面的幺蛾子。3. 模型選擇與模型管理別只會(huì)跑一個(gè)默認(rèn)模型3.1 主流模型怎么選尺寸怎么定Ollama 雖然是“一條命令拉模型”但模型倉(cāng)庫(kù)里各種名字很多隨手亂拉既占硬盤(pán)又占顯存。我平時(shí)主要看幾類qwen2.5 系列中英文混合表現(xiàn)穩(wěn)定7B 和 14B 都適合入門(mén)llama3.1 系列英文生態(tài)、推理、代碼能力均衡8B 是經(jīng)典入門(mén)選擇gemma2 系列輕量風(fēng)格9B 在消費(fèi)級(jí)顯卡上比較友好mistral 系列響應(yīng)速度快適合搭對(duì)話機(jī)器人phi3 系列小參數(shù)純 CPU 機(jī)器也能扛一下。選擇時(shí)不要只盯著參數(shù)看量化版本更重要。拿 7B 模型舉例完整精度可能占十幾個(gè) GBQ4 量化后只要 4GB 到 5GB 顯存。顯存 8GB 的機(jī)器跑 7B 量化版比較舒服顯存 16GB 可以嘗試 14B 甚至 32B但如果還要同時(shí)處理長(zhǎng)文本容量會(huì)變得緊張。我用一句經(jīng)驗(yàn)總結(jié)顯存里能放得下模型才有流暢體驗(yàn)放不下就會(huì)有一部分層跑在 CPU 和內(nèi)存上生成速度會(huì)明顯掉一截。所以入門(mén)階段別貪大Q4 量化模型的體驗(yàn)足夠日常使用。3.2 拉取、運(yùn)行、查看、刪除模型這四個(gè)命令是天天都在用的# 拉取模型等同于 run 時(shí)自動(dòng)下載 ollama pull qwen2.5:7b # 進(jìn)入交互對(duì)話 ollama run qwen2.5:7b # 查看本地已有模型 ollama list # 查看當(dāng)前加載在內(nèi)存/顯存里的模型 ollama ps # 刪除不需要的模型 ollama rm qwen2.5:7bollama ps很容易被忽略但它對(duì)排查性能問(wèn)題特別有用。它顯示每個(gè)模型占用的 processor 類型是 GPU 還是 CPU以及保持加載的時(shí)間。我發(fā)現(xiàn)模型響應(yīng)變慢時(shí)第一件事就是執(zhí)行ollama ps看模型是不是已經(jīng)被換出到 CPU。交互模式下輸入/bye退出不會(huì)結(jié)束服務(wù)。如果想一次性傳問(wèn)題用ollama run qwen2.5:7b 請(qǐng)寫(xiě)一段排序代碼這種非交互方式也是可以的。對(duì)于腳本直接調(diào) API 更合理后面專門(mén)講。3.3 模型存儲(chǔ)路徑與自定義 ModelfileOllama 默認(rèn)把模型存放在用戶主目錄下的.ollama/models。Linux 就是~/.ollama/modelsWindows 是%USERPROFILE%\.ollama\models。如果系統(tǒng)盤(pán)不夠大這個(gè)目錄一定要挪走挪法很簡(jiǎn)單設(shè)置環(huán)境變量OLLAMA_MODELS指向新路徑然后重啟 Ollama 服務(wù)。提醒一下已經(jīng)下載好的模型不會(huì)自動(dòng)搬家要手動(dòng)移動(dòng)舊目錄內(nèi)容或者干脆重新拉一遍。Ollama 允許用 Modelfile 定制模型行為。Modelfile 類似 Dockerfile是一個(gè)純文本配置。我給了個(gè)簡(jiǎn)單示例FROM qwen2.5:7b PARAMETER temperature 0.7 PARAMETER num_ctx 4096 SYSTEM 你是一個(gè)嚴(yán)謹(jǐn)?shù)闹形募夹g(shù)助手回答要簡(jiǎn)潔、有條理。保存為Modelfile后執(zhí)行ollama create my-assistant -f Modelfile就能生成一個(gè)新模型。這一步最大的價(jià)值是團(tuán)隊(duì)可以共用同一個(gè)系統(tǒng)提示詞和參數(shù)集合不用每次對(duì)話都在 API 請(qǐng)求里重復(fù)傳。4. 性能與配置優(yōu)化把硬件潛力盡量挖出來(lái)4.1 環(huán)境變量是調(diào)優(yōu)的主入口Ollama 的默認(rèn)參數(shù)對(duì)很多機(jī)器是偏保守的不一定吃滿硬件。想調(diào)優(yōu)先認(rèn)識(shí)幾個(gè)核心環(huán)境變量環(huán)境變量作用我的常用值OLLAMA_HOST監(jiān)聽(tīng)地址和端口0.0.0.0:11434允許局域網(wǎng)訪問(wèn)OLLAMA_MODELS模型存放路徑指向大容量磁盤(pán)OLLAMA_NUM_PARALLEL并行處理請(qǐng)求的數(shù)量小顯存 1大顯存 2 或 4OLLAMA_MAX_LOADED_MODELS同時(shí)保持加載的模型數(shù)量?jī)?nèi)存緊張時(shí)設(shè) 1OLLAMA_KEEP_ALIVE模型保持加載的時(shí)間5m 或 -1OLLAMA_CONTEXT_LENGTH默認(rèn)上下文長(zhǎng)度默認(rèn) 2048按需調(diào)大Windows 配置環(huán)境變量的標(biāo)準(zhǔn)路徑是右鍵“此電腦”→“屬性”→“高級(jí)系統(tǒng)設(shè)置”→“環(huán)境變量”新建一個(gè)系統(tǒng)變量。Linux 原生安裝時(shí)如果用了 systemd推薦通過(guò) override 文件配置sudo mkdir -p /etc/systemd/system/ollama.service.d sudo tee /etc/systemd/system/ollama.service.d/override.conf EOF [Service] EnvironmentOLLAMA_HOST0.0.0.0:11434 EnvironmentOLLAMA_MAX_LOADED_MODELS1 EnvironmentOLLAMA_KEEP_ALIVE-1 EOF sudo systemctl daemon-reload sudo systemctl restart ollama改完配置文件必須重啟服務(wù)才生效這是一個(gè)非常容易踩的坑。用docker run時(shí)則通過(guò)-e參數(shù)傳進(jìn)來(lái)比如-e OLLAMA_KEEP_ALIVE-1。4.2 顯存、內(nèi)存與上下文長(zhǎng)度怎么換算上下文長(zhǎng)度是很多人忽視的顯存大戶。模型文件本身占一塊顯存推理時(shí)的 KV Cache可以理解為模型在回答過(guò)程中臨時(shí)保存的“工作筆記”也會(huì)隨上下文長(zhǎng)度增長(zhǎng)。上下文越長(zhǎng)這個(gè)“工作筆記”越大。一個(gè)粗略的估算7B 量化的模型文件約 4GB 到 5GB上下文 2048 時(shí) KV Cache 額外占用大約 1GB 左右上下文拉到 8192KV Cache 可能到 2GB 以上。所以 8GB 顯存的機(jī)器跑 7B 模型時(shí)把上下文從默認(rèn)的 2048 拉到 4096 還可以接受再往上就容易出現(xiàn)顯存不足Ollama 會(huì)把部分層切到 CPU生成速度瞬間變慢。還有個(gè)容易翻車的點(diǎn)是多個(gè)模型同時(shí)加載。默認(rèn)情況下 Ollama 允許同時(shí)保持加載多個(gè)模型這會(huì)導(dǎo)致顯存和內(nèi)存迅速吃緊。我自己吃過(guò)這個(gè)虧先后跑了 7B 和 14B 兩個(gè)模型機(jī)器開(kāi)始瘋狂換頁(yè)UI 都卡成了幻燈片。后來(lái)把OLLAMA_MAX_LOADED_MODELS設(shè)為 1一個(gè)模型用完自動(dòng)卸載世界清凈多了。4.3 四套可直接抄的配置模板不同硬件環(huán)境我推薦下面四種配置模版。不需要照抄全部按需挑選即可。先看 8GB 顯存日常使用版OLLAMA_NUM_PARALLEL1 OLLAMA_MAX_LOADED_MODELS1 OLLAMA_KEEP_ALIVE5m OLLAMA_CONTEXT_LENGTH4096模型選 qwen2.5 或 llama3.1 的 7B/8B 量化版。并行度拉滿沒(méi)有意義一次干好一件事更重要。16GB 顯存進(jìn)階版OLLAMA_NUM_PARALLEL2 OLLAMA_MAX_LOADED_MODELS2 OLLAMA_KEEP_ALIVE10m OLLAMA_CONTEXT_LENGTH8192可以嘗試 14B 模型。并行 2 適合同時(shí)處理多個(gè)請(qǐng)求但注意單線程的生成速度不會(huì)因?yàn)椴⑿卸兛熘皇峭掏铝刻嵘?。?CPU 小內(nèi)存版OLLAMA_NUM_PARALLEL1 OLLAMA_MAX_LOADED_MODELS1 OLLAMA_CONTEXT_LENGTH2048模型選 3B 到 4B 的小尺寸量化版。純 CPU 推理速度慢是客觀事實(shí)小模型是保證體驗(yàn)的唯一出路。內(nèi)網(wǎng)服務(wù)版OLLAMA_HOST0.0.0.0:11434 OLLAMA_KEEP_ALIVE-1局域網(wǎng)內(nèi)多臺(tái)設(shè)備訪問(wèn)一臺(tái)機(jī)器時(shí)KEEP_ALIVE-1能讓模型常駐避免每次請(qǐng)求都經(jīng)歷重新加載的等待。內(nèi)網(wǎng)部署時(shí)建議加一層防火墻或接口鑒權(quán)畢竟模型服務(wù)沒(méi)有自帶的用戶體系。5. 把模型接到業(yè)務(wù)腳本與網(wǎng)頁(yè)上5.1 用 Python 請(qǐng)求快速調(diào)通接口Ollama 默認(rèn)的/api/chat接口很適合快速集成。我會(huì)先用requests做一個(gè)最小驗(yàn)證import requests url http://localhost:11434/api/chat payload { model: qwen2.5:7b, messages: [ {role: user, content: 用一句話解釋什么是本地大模型} ], stream: False } resp requests.post(url, jsonpayload) data resp.json() print(data[message][content])這個(gè)請(qǐng)求不會(huì)阻塞太久因?yàn)槟Ｐ鸵呀?jīng)加載過(guò)了。如果需要流式輸出把stream: False改成True然后一行行讀取返回內(nèi)容。流式響應(yīng)在我的經(jīng)驗(yàn)里對(duì) Web 應(yīng)用的體驗(yàn)提升巨大用戶不用干等全部生成完。需要注意接口返回結(jié)構(gòu)里正文內(nèi)容是message.content不是包在最外層的response字段。我用/api/generate時(shí)偶爾會(huì)混兩個(gè)接口的返回結(jié)構(gòu)不一樣。5.2 兼容接口和 Web 界面Ollama 還提供了/v1/chat/completions這類常見(jiàn)兼容路徑很多現(xiàn)成的客戶端庫(kù)可以直接指向它。對(duì)大多數(shù)開(kāi)源生態(tài)來(lái)說(shuō)這意味著不用寫(xiě)太多膠水代碼把 base_url 改成http://localhost:11434/v1就能用上。想要圖形界面我試過(guò)幾個(gè)方案最順手的是 Open WebUI。Docker 部署命令大概是docker run -d --name open-webui \ -p 3000:8080 \ -v /opt/open-webui:/app/backend/data \ --add-hosthost.docker.internal:host-gateway \ ghcr.io/open-webui/open-webui:main啟動(dòng)后瀏覽器訪問(wèn)http://localhost:3000在設(shè)置里把 Ollama 服務(wù)地址填成http://host.docker.internal:11434就能在頁(yè)面上選擇模型對(duì)話。注冊(cè)賬號(hào)之后注意默認(rèn)不需要給每個(gè)用戶授權(quán)如果團(tuán)隊(duì)使用建議在設(shè)置里打開(kāi)用戶審核避免所有人都能在模型上下載和刪除東西。5.3 接進(jìn)常見(jiàn)編排框架如果項(xiàng)目本身依賴 Agent 編排框架Ollama 也有現(xiàn)成集成。拿 Python 生態(tài)舉例用官方 SDK 是最省心的import ollama response ollama.chat( modelqwen2.5:7b, messages[{role: user, content: 總結(jié)這段日志里的異常}] ) print(response[message][content])SDK 會(huì)把 HTTP 細(xì)節(jié)封裝掉。用其他框架時(shí)一般只要關(guān)心兩件事設(shè)置正確的 base_url以及確認(rèn)模型名稱已經(jīng) pull 到本地。我經(jīng)常踩的坑是框架配置寫(xiě)成了云端模型名本地根本沒(méi)有對(duì)應(yīng)模型然后會(huì)收到 model not found這個(gè)問(wèn)題下一節(jié)專門(mén)說(shuō)。6. 高頻問(wèn)題排查實(shí)錄我踩過(guò)的坑都在這里6.1 模型下載慢、中斷、校驗(yàn)失敗怎么辦現(xiàn)象大多是ollama pull長(zhǎng)時(shí)間卡在下載百分比不動(dòng)或者跑到一半進(jìn)度跳紅。最直接的原因是網(wǎng)絡(luò)波動(dòng)模型文件動(dòng)輒幾個(gè) GB連接稍微不穩(wěn)就會(huì)中斷。我的處理建議是這樣的先確認(rèn)磁盤(pán)空間充足針對(duì)大模型尤其重要中斷后重新執(zhí)行ollama pull通?？梢曰谝延胁糠掷^續(xù)盡量不要手動(dòng)刪除下載目錄否則就是徹底從頭開(kāi)始換一個(gè)網(wǎng)絡(luò)環(huán)境再試或者避開(kāi)聯(lián)網(wǎng)高峰如果下載到一半失敗可以看看模型下載目錄有沒(méi)有臨時(shí)文件殘留有的話先確認(rèn)不是完整權(quán)重再清理。另外我把OLLAMA_MODELS指到了機(jī)械硬盤(pán)上結(jié)果模型加載速度也變慢了。后來(lái)才發(fā)現(xiàn)閃存文件和權(quán)重都在同一個(gè)盤(pán)讀寫(xiě)瓶頸會(huì)影響冷啟動(dòng)。建議把 Ollama 放固態(tài)盤(pán)上尤其是要跑 14B 以上的模型的時(shí)候。6.2 GPU 不識(shí)別、顯存不夠、被迫 CPU 跑明明有顯卡跑起來(lái)卻慢得離譜這是最常見(jiàn)的困惑。打開(kāi)任務(wù)管理器發(fā)現(xiàn) GPU 使用率只有個(gè)位數(shù)而 CPU 飆滿基本可以判斷模型沒(méi)跑在 GPU 上。排查順序比較固定顯卡驅(qū)動(dòng)是否正常執(zhí)行nvidia-smi能顯示驅(qū)動(dòng)和顯存信息才行Ollama 服務(wù)是否是在驅(qū)動(dòng)安裝后重啟的先改驅(qū)動(dòng)后起服務(wù)這種順序經(jīng)常踩坑Docker 環(huán)境是否真的啟用了 GPU runtime容器里執(zhí)行nvidia-smi驗(yàn)證模型是否太大無(wú)法完全放入顯存Ollama 會(huì)自動(dòng)把放不下的層切到 CPU日志里會(huì)提示部分層使用 CPU。如果模型勉強(qiáng)超出顯存容量復(fù)現(xiàn)時(shí)頻繁出現(xiàn)“Error: model requires more memory”提示我的優(yōu)化順序是換更小的模型→換 Q4 量化版→調(diào)低上下文長(zhǎng)度→關(guān)掉其他占顯存軟件。如果還不行就接受 CPU 推理反正本地模型勝在離線可用速度慢一點(diǎn)也能忍。6.3 API 報(bào)錯(cuò)、端口占用、服務(wù)崩了怎么辦API 調(diào)用報(bào)錯(cuò)原因很集中我整理過(guò)一份速查表報(bào)錯(cuò)現(xiàn)象可能原因處理辦法404 Not FoundAPI 路徑寫(xiě)錯(cuò)了確認(rèn)是/api/chat還是/v1/chat/completionsmodel xxx not found本地沒(méi)有該模型先ollama pull xxx或ollama run xxxConnection refusedOllama 服務(wù)沒(méi)啟動(dòng)啟動(dòng)服務(wù)執(zhí)行ollama serve或 systemctl 啟動(dòng)Port already in use11434 被其他進(jìn)程占用換端口OLLAMA_HOST0.0.0.0:11435重啟服務(wù)響應(yīng)空白或卡住模型正在加載冷啟動(dòng)查看ollama ps看是否已經(jīng)有模型在加載端口占用時(shí)我一般用lsof -i :11434看誰(shuí)占了端口確認(rèn)后換到 11435。還有個(gè)比較隱蔽的問(wèn)題改了OLLAMA_HOST后忘記重啟服務(wù)表面上配置變了實(shí)際上監(jiān)聽(tīng)地址沒(méi)變所有局域網(wǎng)請(qǐng)求全打不進(jìn)來(lái)。配置環(huán)境變量之后無(wú)一例外重啟一次。服務(wù)崩潰時(shí)用日志定位最省時(shí)間。原生部署直接看journalctl -u ollama -f --no-pager容器環(huán)境用docker logs ollama。日志里如果出現(xiàn)顯存分配失敗的記錄十有八九是模型太大或上下文太長(zhǎng)。寫(xiě)在最后的幾點(diǎn)實(shí)戰(zhàn)體會(huì)真正常踩完這些坑之后我最大的感受是本地大模型的價(jià)值不在于跑出一個(gè)漂亮的參數(shù)而在于能穩(wěn)穩(wěn)地把模型接入自己的工具鏈。顯存緊張的時(shí)候我寧可選擇更小量化的模型也不要硬上一個(gè)把內(nèi)存打滿的大家伙因?yàn)橥评硭俣鹊粝聛?lái)之后體驗(yàn)是災(zāi)難級(jí)的。先把環(huán)境變量一次配到位再把 Web 界面或者腳本調(diào)通最后根據(jù)實(shí)際使用再?zèng)Q定升不升級(jí)更大的模型。這個(gè)路徑對(duì)大多數(shù)需求都成立。如果你后續(xù)想擴(kuò)展還可以考慮多模型分工、按場(chǎng)景切換、引入 RAG 給模型外掛知識(shí)庫(kù)但這都是跑通基礎(chǔ)之后的事了。Ollama 真正的門(mén)檻不在安裝那一瞬間而在每天使用它時(shí)你是否清楚自己的硬件邊界在哪里。