llama.cpp 與 GGUF 格式本地大模型的裸引擎本篇拆到發(fā)動(dòng)機(jī)層llama.cpp 是什么、GGUF 為什么成為本地模型的主流容器格式、Windows/Linux 怎么獲取、llama-cli 怎么跑模型、llama-server 怎么起 OpenAI 兼容服務(wù)。適合想搞懂底層、想榨性能、想把自己應(yīng)用接到輕量級推理服務(wù)上的人。讀完你會(huì)拿到 llama.cpp 可執(zhí)行文件、跑通第一個(gè).gguf模型、理解 Q4_K_M/Q8_0 量化檔位、用 curl 調(diào)通 8080 端口的/v1/chat/completions。一、為什么需要它先建立定位Ollama 和 LMStudio 底層就是 llama.cpp 系引擎它們幫你打包好了模型管理、服務(wù)、界面而直接用 llama.cpp相當(dāng)于開著沒有擋位自動(dòng)擋的裸引擎——少了一層封裝換來的是完全的控制權(quán)GPU 層數(shù)、線程、編譯選項(xiàng)和最小的依賴。搞清楚它等于把整個(gè)本地推理?xiàng)５牡鼗蚶蜲llama 報(bào)的錯(cuò)、LMStudio 的參數(shù)追到底都是這一層的行為。GGUF 是理解 llama.cpp 的鑰匙。它是 GGML 的統(tǒng)一文件格式把一個(gè).gguf文件做成量化權(quán)重 模型配置一體的單文件容器文件里既有量化后的張量數(shù)據(jù)也有模型結(jié)構(gòu)、量化檔位等元信息對 CPU/GPU 混合推理特別友好。這也是為什么現(xiàn)在社區(qū)量化模型幾乎清一色以.gguf發(fā)布——Ollama 的模型、LMStudio 的 Model Finder、各種 GGUF 鏡像站本質(zhì)都是這個(gè)格式。你從《AI-06》下到的qwen2.5-7b-instruct-q4_k_m.gguf就是 Ollama、LMStudio、llama.cpp 三家都能直接加載的同一份文件。格式統(tǒng)一帶來的一套權(quán)重、多處能用已經(jīng)是本地生態(tài)的默認(rèn)預(yù)期換工具不用重新下載模型這也是 GGUF 能一統(tǒng)本地量化模型市場的關(guān)鍵原因。搜索詞llama.cpp 編譯“GGUF 是什么”Q4_K_M 什么量化指向的其實(shí)是同一件事本地跑模型為什么大家都用這套 C/C 引擎 GGUF 格式答案是性能與格式的平衡純 C/C 實(shí)現(xiàn)、不依賴重型框架、量化推理成熟是 CPU/GPU 混合推理的事實(shí)標(biāo)準(zhǔn)倉庫ggerganov/llama.cpp。純 C/C意味著什么沒有 Python 環(huán)境、沒有 pip install、沒有框架依賴解壓出來的 exe 直接就能跑Windows。這帶來兩個(gè)直接好處一是體小、啟動(dòng)快單文件起服務(wù)適合把本地模型嵌進(jìn)自己小工具的場景二是可移植——整個(gè)目錄拷到另一臺(tái)沒有 Python 的電腦上照樣能用。對 Ollama/LMStudio 這類整機(jī)方案你得到的是便利對 llama.cpp你得到的是控制權(quán)兩者不沖突模型文件還通用。二、環(huán)境要求項(xiàng)目要求說明系統(tǒng)Windows用現(xiàn)成 exe或 Linux可自行編譯本篇兩條路都講CPU任意現(xiàn)代 x86/ARM 均可無 N 卡也能純 CPU 跑速度降檔GPU可選。N 卡 對應(yīng)編譯選項(xiàng)GPU 版加-DGGML_CUDAon層數(shù)越靠 GPU 越快顯存要夠磁盤工具 模型放非 C 盤如D:\llama.cpp、D:\models7B Q4_K_M 約 4-5 GB網(wǎng)絡(luò)能訪問 GitHub或鏡像站即可國內(nèi)直連 GitHub 不穩(wěn)見 3.1編譯鏈僅 Linux 自編git cmake C/C 編譯器apt install build-essential cmake gitUbuntu顯存口徑與《AI-05》一致7B 級 fp16 權(quán)重約 14-15 GB量化后Q8_0 約 7-8 GB、Q4_K_M 約 4-5 GB。8 GB 顯存跑 7B Q4_K_M 很舒適想跑 32B Q4約 16-20 GB就需要 24 GB 卡或 CPU/GPU 混合-ngl控制見第五節(jié)。三、安裝與部署3.1 獲取 llama.cppWindowsReleases 免編譯打開倉庫github.com/ggerganov/llama.cpp的Releases頁下載最新的 Windows.zip包內(nèi)含llama-cli、llama-server等 exe解壓到非 C 盤如D:\llama.cpp無需安裝、無需 PATH直接進(jìn)目錄運(yùn)行或把目錄加進(jìn) PATH。國內(nèi)網(wǎng)絡(luò)提示GitHub 直連時(shí)快時(shí)慢git clone極慢/失敗時(shí)用鏡像站/代理或直接下 Releases 壓縮包下載失敗重跑即可瀏覽器/下載工具帶續(xù)傳的更穩(wěn)。3.2 獲取 llama.cppLinuxgit clone cmakeCPU 版兩行命令先配置、再編譯Release 開優(yōu)化git clone https://github.com/ggerganov/llama.cpp cd llama.cpp cmake -B build cmake --build build --config ReleaseN 卡 GPU 版編譯時(shí)加 CUDA 開關(guān)cmake -B build -DGGML_CUDAon cmake --build build --config Release預(yù)期編譯結(jié)束build/bin或 build 目錄下出現(xiàn)llama-cli、llama-server、llama-bench等可執(zhí)行文件。編譯報(bào)錯(cuò)多數(shù)是缺工具鏈Ubuntu 先apt install build-essential cmake git。3.3 準(zhǔn)備模型任意 .gguf復(fù)用 AI-06 成果用《AI-06 模型下載全攻略》的任一方案下好一個(gè) GGUF 到D:\models例如set HF_ENDPOINThttps://hf-mirror.com huggingface-cli download Qwen/Qwen2.5-7B-Instruct-GGUF --include qwen2.5-7b-instruct-q4_k_m.gguf --local-dir D:\models或 ModelScope / 直鏈 wget-c命令見 AI-06。單個(gè).gguf即完整可加載的模型。3.4 跑模型llama-cli:: Windows在 D:\llama.cpp 下 llama-cli -m D:\models\qwen2.5-7b-instruct-q4_k_m.gguf -p 你好 :: Linux自編版模型放 ~/models ./build/bin/llama-cli -m ~/models/qwen2.5-7b-instruct-q4_k_m.gguf -p 你好-m指模型文件-p給提示詞。預(yù)期先打印模型權(quán)重加載進(jìn)度隨后輸出通順回答。首次加載時(shí)若你有 N 卡且用的是 GPU 版權(quán)重層會(huì)自動(dòng)進(jìn)顯存層數(shù)可手動(dòng)控制見第五節(jié)。輸出之后是停在終端里繼續(xù)對話還是回答完直接退出因版本而異——以終端提示和llama-cli --help的輸出為準(zhǔn)。腳本化使用時(shí)常見做法就是用-p傳一次性問題把輸出重定向給后面的程序處理。3.5 起服務(wù)llama-serverOpenAI 兼容llama-server -m D:\models\qwen2.5-7b-instruct-q4_k_m.gguf --port 8080啟動(dòng)后默認(rèn)監(jiān)聽 8080 端口進(jìn)程里會(huì)打印監(jiān)聽地址瀏覽器打開http://localhost:8080能看到內(nèi)置 Web 界面同時(shí)對外提供OpenAI 兼容的/v1/chat/completions接口。用 curl 驗(yàn)證model字段填你的.gguf文件名curl http://localhost:8080/v1/chat/completions -H Content-Type: application/json -d {\model\:\qwen2.5-7b-instruct-q4_k_m.gguf\,\messages\:[{\role\:\user\,\content\:\你好\}]}預(yù)期返回 JSONchoices[0].message.content為正常回答。這個(gè)接口和 Ollama 的 OpenAI 兼容端點(diǎn)localhost:11434/v1、和云端 OpenAI 的形狀一致差別只在 base_url 和 model 名——Cherry Studio、OpenWebUI、OpenAI SDK 把 base_url 填http://localhost:8080/v1就能直接用應(yīng)用代碼一行不用改。另外http://localhost:8080本身還帶一個(gè) Web 聊天頁正式接第三方之前可以先在瀏覽器里快速試問兩句。四、驗(yàn)證llama-cli 跑通-p 你好輸出通順中文不重復(fù)不亂碼亂碼/重復(fù)先懷疑量化過低或文件不完整見第六節(jié)llama-bench 測速llama-bench -m D:\models\qwen2.5-7b-instruct-q4_k_m.gguf輸出 tokens/s 基準(zhǔn)——量級參考GPU 上 7B Q4 應(yīng)明顯高于個(gè)位數(shù) tokens/s純 CPU 通常是每 token 一秒上下具體數(shù)值隨硬件差異很大服務(wù)連通curl http://localhost:8080/v1/chat/completions命令見 3.5能拿到 JSON 回答瀏覽器http://localhost:8080能打開。三項(xiàng)都過裸引擎這條線就驗(yàn)收合格可以接自己的應(yīng)用。一個(gè)習(xí)慣把llama-bench的輸出pp/tg tokens/s連同硬件型號、模型檔位、-ngl層數(shù)記一行到筆記里。以后換量化檔位、調(diào)-ngl層數(shù)、升級驅(qū)動(dòng)之后重測同一行就能判斷這次調(diào)整到底有沒有收益——沒有基線記錄調(diào)優(yōu)就只能靠感覺方法口徑見《AI-29 推理性能調(diào)優(yōu)》。五、進(jìn)階技巧量化檔位怎么選§5.10 口徑GGUF 家族常見Q2_K / Q3_K_M / Q4_K_M / Q5_K_M / Q6_K / Q8_0。Q4_K_M 是精度-體積甜點(diǎn)默認(rèn)推薦7B 約 4-5 GBQ8_0 近無損7B 約 7-8 GB顯存夠且要質(zhì)量就選它Q2/Q3 會(huì)明顯掉智商輸出重復(fù)、變笨除非機(jī)器很弱否則別用。需要自己量化時(shí)倉庫自帶的llama-quantize工具可以從已有權(quán)重生成目標(biāo)量化檔的.ggufQ4_K_M為默認(rèn)推薦檔按磁盤與顯存余量再選更低/更高檔。CPU/GPU 混合推理-ngl 層數(shù)大模型可以只把部分層放到 GPU、其余留在 CPU 內(nèi)存里跑-ngl指定卸載到 GPU 的層數(shù)——層數(shù)越多越快但顯存占用越高顯存不夠就把-ngl調(diào)小用 CPU 內(nèi)存兜底。實(shí)操順序先按全部層進(jìn) GPU試報(bào)顯存不足再往下調(diào)直到裝得下且速度可接受為止。沒有 N 卡的純 CPU 機(jī)器不用關(guān)心這個(gè)參數(shù)——所有層走 CPU速度主要看物理核心數(shù)和模型大小7B Q4_K_M 大概能維持每 token 一秒上下輕體驗(yàn)夠用。其余參數(shù)線程數(shù)、上下文長度等建議直接看llama-cli --help/llama-server --help以工具當(dāng)前版本輸出為準(zhǔn)。和 Ollama 的關(guān)系Ollama 底層即 llama.cpp 系模型同為 GGUF。選法很簡單要省心、多模型管理、局域網(wǎng)共享 → Ollama詳見《AI-07 Ollama本地部署大模型》要精細(xì)控制-ngl、線程、自編 GPU 優(yōu)化、嵌入自己項(xiàng)目→ llama.cpp 本篇路線兩者模型文件直接復(fù)用不沖突。目錄紀(jì)律exe 放D:\llama.cpp、模型放D:\models與 Ollama 的OLLAMA_MODELS、LMStudio 模型目錄統(tǒng)一思路——大文件一律非 C 盤 SSD。跑服務(wù)時(shí)給 llama-server 的日志留個(gè)終端窗口或重定向到文件排錯(cuò)時(shí)第一手信息都在啟動(dòng)日志里和 Ollama 看日志的習(xí)慣一致。六、故障排查按層定位#癥狀報(bào)錯(cuò)原文層原因解決1git clone極慢/失敗GitHub網(wǎng)絡(luò)國內(nèi)訪問 GitHub 不穩(wěn)用鏡像站/代理或直接下 Releases 壓縮包Windows 首選中斷重跑2HuggingFace 下載卡住 / ConnectionError / 超時(shí)網(wǎng)絡(luò)國內(nèi)直連 huggingface.co 受限set HF_ENDPOINThttps://hf-mirror.comWin/export HF_ENDPOINThttps://hf-mirror.comLinux或改 ModelScope / wget-c續(xù)傳見《AI-06》3CUDA error: out of memory顯存模型/上下文/卸載層數(shù)超出顯存調(diào)小-ngl讓 CPU 兜底、降上下文、換 Q4_K_M 更低檔位nvidia-smi查顯存占用4CUDA error: no kernel image is available for execution on the device框架/CUDA編譯所用 CUDA 版本與顯卡架構(gòu)不匹配如太新的 CUDA 編譯 老卡換與顯卡架構(gòu)匹配的預(yù)編譯包或用匹配的 CUDA 重新編譯-DGGML_CUDAon5模型加載成功但輸出亂碼/重復(fù)量化量化位寬過低Q2/Q3或 tokenizer 不匹配升量化位寬Q4_K_M 起確認(rèn)權(quán)重與 tokenizer 來自同一 repo6port 8080 already in use端口8080 被其他程序占用換端口--port 8081Windowsnetstat -ano | findstr :8080/ Linuxlsof -i:8080找占用進(jìn)程7Linux 編譯報(bào)錯(cuò)缺 cmake/編譯器環(huán)境編譯工具鏈不全sudo apt install build-essential cmake git后重跑 cmake 兩行命令七、本篇自檢清單能說出 llama.cpp 與 Ollama/LMStudio 的關(guān)系后者底層即 llama.cpp 系本篇是裸引擎能說出 GGUF 的結(jié)構(gòu)量化權(quán)重 配置一體的單文件格式CPU/GPU 混合推理友好Windows 下會(huì)拿 GitHub Releases .zipllama-cli/llama-serverLinux 下會(huì)cmake -B build cmake --build build --config ReleaseGPU 加-DGGML_CUDAon跑通llama-cli -m model.gguf -p 你好輸出通順起過llama-server -m model.gguf --port 8080curl/v1/chat/completions拿到 JSON會(huì)用llama-bench -m model.gguf測 tokens/s 并知道量級參考能講清量化檔位Q4_K_M 甜點(diǎn) / Q8_0 近無損 / Q2、Q3 掉智商且會(huì)按顯存選工具與模型都在非 C 盤了解-ngl層數(shù)與顯存的權(quán)衡 llama.cpp 與 GGUF 格式：本地大模型的“裸引擎“
llama.cpp 與 GGUF 格式本地大模型的裸引擎本篇拆到發(fā)動(dòng)機(jī)層llama.cpp 是什么、GGUF 為什么成為本地模型的主流容器格式、Windows/Linux 怎么獲取、llama-cli 怎么跑模型、llama-server 怎么起 OpenAI 兼容服務(wù)。適合想搞懂底層、想榨性能、想把自己應(yīng)用接到輕量級推理服務(wù)上的人。讀完你會(huì)拿到 llama.cpp 可執(zhí)行文件、跑通第一個(gè).gguf模型、理解 Q4_K_M/Q8_0 量化檔位、用 curl 調(diào)通 8080 端口的/v1/chat/completions。一、為什么需要它先建立定位Ollama 和 LMStudio 底層就是 llama.cpp 系引擎它們幫你打包好了模型管理、服務(wù)、界面而直接用 llama.cpp相當(dāng)于開著沒有擋位自動(dòng)擋的裸引擎——少了一層封裝換來的是完全的控制權(quán)GPU 層數(shù)、線程、編譯選項(xiàng)和最小的依賴。搞清楚它等于把整個(gè)本地推理?xiàng)５牡鼗蚶蜲llama 報(bào)的錯(cuò)、LMStudio 的參數(shù)追到底都是這一層的行為。GGUF 是理解 llama.cpp 的鑰匙。它是 GGML 的統(tǒng)一文件格式把一個(gè).gguf文件做成量化權(quán)重 模型配置一體的單文件容器文件里既有量化后的張量數(shù)據(jù)也有模型結(jié)構(gòu)、量化檔位等元信息對 CPU/GPU 混合推理特別友好。這也是為什么現(xiàn)在社區(qū)量化模型幾乎清一色以.gguf發(fā)布——Ollama 的模型、LMStudio 的 Model Finder、各種 GGUF 鏡像站本質(zhì)都是這個(gè)格式。你從《AI-06》下到的qwen2.5-7b-instruct-q4_k_m.gguf就是 Ollama、LMStudio、llama.cpp 三家都能直接加載的同一份文件。格式統(tǒng)一帶來的一套權(quán)重、多處能用已經(jīng)是本地生態(tài)的默認(rèn)預(yù)期換工具不用重新下載模型這也是 GGUF 能一統(tǒng)本地量化模型市場的關(guān)鍵原因。搜索詞llama.cpp 編譯“GGUF 是什么”Q4_K_M 什么量化指向的其實(shí)是同一件事本地跑模型為什么大家都用這套 C/C 引擎 GGUF 格式答案是性能與格式的平衡純 C/C 實(shí)現(xiàn)、不依賴重型框架、量化推理成熟是 CPU/GPU 混合推理的事實(shí)標(biāo)準(zhǔn)倉庫ggerganov/llama.cpp。純 C/C意味著什么沒有 Python 環(huán)境、沒有 pip install、沒有框架依賴解壓出來的 exe 直接就能跑Windows。這帶來兩個(gè)直接好處一是體小、啟動(dòng)快單文件起服務(wù)適合把本地模型嵌進(jìn)自己小工具的場景二是可移植——整個(gè)目錄拷到另一臺(tái)沒有 Python 的電腦上照樣能用。對 Ollama/LMStudio 這類整機(jī)方案你得到的是便利對 llama.cpp你得到的是控制權(quán)兩者不沖突模型文件還通用。二、環(huán)境要求項(xiàng)目要求說明系統(tǒng)Windows用現(xiàn)成 exe或 Linux可自行編譯本篇兩條路都講CPU任意現(xiàn)代 x86/ARM 均可無 N 卡也能純 CPU 跑速度降檔GPU可選。N 卡 對應(yīng)編譯選項(xiàng)GPU 版加-DGGML_CUDAon層數(shù)越靠 GPU 越快顯存要夠磁盤工具 模型放非 C 盤如D:\llama.cpp、D:\models7B Q4_K_M 約 4-5 GB網(wǎng)絡(luò)能訪問 GitHub或鏡像站即可國內(nèi)直連 GitHub 不穩(wěn)見 3.1編譯鏈僅 Linux 自編git cmake C/C 編譯器apt install build-essential cmake gitUbuntu顯存口徑與《AI-05》一致7B 級 fp16 權(quán)重約 14-15 GB量化后Q8_0 約 7-8 GB、Q4_K_M 約 4-5 GB。8 GB 顯存跑 7B Q4_K_M 很舒適想跑 32B Q4約 16-20 GB就需要 24 GB 卡或 CPU/GPU 混合-ngl控制見第五節(jié)。三、安裝與部署3.1 獲取 llama.cppWindowsReleases 免編譯打開倉庫github.com/ggerganov/llama.cpp的Releases頁下載最新的 Windows.zip包內(nèi)含llama-cli、llama-server等 exe解壓到非 C 盤如D:\llama.cpp無需安裝、無需 PATH直接進(jìn)目錄運(yùn)行或把目錄加進(jìn) PATH。國內(nèi)網(wǎng)絡(luò)提示GitHub 直連時(shí)快時(shí)慢git clone極慢/失敗時(shí)用鏡像站/代理或直接下 Releases 壓縮包下載失敗重跑即可瀏覽器/下載工具帶續(xù)傳的更穩(wěn)。3.2 獲取 llama.cppLinuxgit clone cmakeCPU 版兩行命令先配置、再編譯Release 開優(yōu)化git clone https://github.com/ggerganov/llama.cpp cd llama.cpp cmake -B build cmake --build build --config ReleaseN 卡 GPU 版編譯時(shí)加 CUDA 開關(guān)cmake -B build -DGGML_CUDAon cmake --build build --config Release預(yù)期編譯結(jié)束build/bin或 build 目錄下出現(xiàn)llama-cli、llama-server、llama-bench等可執(zhí)行文件。編譯報(bào)錯(cuò)多數(shù)是缺工具鏈Ubuntu 先apt install build-essential cmake git。3.3 準(zhǔn)備模型任意 .gguf復(fù)用 AI-06 成果用《AI-06 模型下載全攻略》的任一方案下好一個(gè) GGUF 到D:\models例如set HF_ENDPOINThttps://hf-mirror.com huggingface-cli download Qwen/Qwen2.5-7B-Instruct-GGUF --include qwen2.5-7b-instruct-q4_k_m.gguf --local-dir D:\models或 ModelScope / 直鏈 wget-c命令見 AI-06。單個(gè).gguf即完整可加載的模型。3.4 跑模型llama-cli:: Windows在 D:\llama.cpp 下 llama-cli -m D:\models\qwen2.5-7b-instruct-q4_k_m.gguf -p 你好 :: Linux自編版模型放 ~/models ./build/bin/llama-cli -m ~/models/qwen2.5-7b-instruct-q4_k_m.gguf -p 你好-m指模型文件-p給提示詞。預(yù)期先打印模型權(quán)重加載進(jìn)度隨后輸出通順回答。首次加載時(shí)若你有 N 卡且用的是 GPU 版權(quán)重層會(huì)自動(dòng)進(jìn)顯存層數(shù)可手動(dòng)控制見第五節(jié)。輸出之后是停在終端里繼續(xù)對話還是回答完直接退出因版本而異——以終端提示和llama-cli --help的輸出為準(zhǔn)。腳本化使用時(shí)常見做法就是用-p傳一次性問題把輸出重定向給后面的程序處理。3.5 起服務(wù)llama-serverOpenAI 兼容llama-server -m D:\models\qwen2.5-7b-instruct-q4_k_m.gguf --port 8080啟動(dòng)后默認(rèn)監(jiān)聽 8080 端口進(jìn)程里會(huì)打印監(jiān)聽地址瀏覽器打開http://localhost:8080能看到內(nèi)置 Web 界面同時(shí)對外提供OpenAI 兼容的/v1/chat/completions接口。用 curl 驗(yàn)證model字段填你的.gguf文件名curl http://localhost:8080/v1/chat/completions -H Content-Type: application/json -d {\model\:\qwen2.5-7b-instruct-q4_k_m.gguf\,\messages\:[{\role\:\user\,\content\:\你好\}]}預(yù)期返回 JSONchoices[0].message.content為正常回答。這個(gè)接口和 Ollama 的 OpenAI 兼容端點(diǎn)localhost:11434/v1、和云端 OpenAI 的形狀一致差別只在 base_url 和 model 名——Cherry Studio、OpenWebUI、OpenAI SDK 把 base_url 填http://localhost:8080/v1就能直接用應(yīng)用代碼一行不用改。另外http://localhost:8080本身還帶一個(gè) Web 聊天頁正式接第三方之前可以先在瀏覽器里快速試問兩句。四、驗(yàn)證llama-cli 跑通-p 你好輸出通順中文不重復(fù)不亂碼亂碼/重復(fù)先懷疑量化過低或文件不完整見第六節(jié)llama-bench 測速llama-bench -m D:\models\qwen2.5-7b-instruct-q4_k_m.gguf輸出 tokens/s 基準(zhǔn)——量級參考GPU 上 7B Q4 應(yīng)明顯高于個(gè)位數(shù) tokens/s純 CPU 通常是每 token 一秒上下具體數(shù)值隨硬件差異很大服務(wù)連通curl http://localhost:8080/v1/chat/completions命令見 3.5能拿到 JSON 回答瀏覽器http://localhost:8080能打開。三項(xiàng)都過裸引擎這條線就驗(yàn)收合格可以接自己的應(yīng)用。一個(gè)習(xí)慣把llama-bench的輸出pp/tg tokens/s連同硬件型號、模型檔位、-ngl層數(shù)記一行到筆記里。以后換量化檔位、調(diào)-ngl層數(shù)、升級驅(qū)動(dòng)之后重測同一行就能判斷這次調(diào)整到底有沒有收益——沒有基線記錄調(diào)優(yōu)就只能靠感覺方法口徑見《AI-29 推理性能調(diào)優(yōu)》。五、進(jìn)階技巧量化檔位怎么選§5.10 口徑GGUF 家族常見Q2_K / Q3_K_M / Q4_K_M / Q5_K_M / Q6_K / Q8_0。Q4_K_M 是精度-體積甜點(diǎn)默認(rèn)推薦7B 約 4-5 GBQ8_0 近無損7B 約 7-8 GB顯存夠且要質(zhì)量就選它Q2/Q3 會(huì)明顯掉智商輸出重復(fù)、變笨除非機(jī)器很弱否則別用。需要自己量化時(shí)倉庫自帶的llama-quantize工具可以從已有權(quán)重生成目標(biāo)量化檔的.ggufQ4_K_M為默認(rèn)推薦檔按磁盤與顯存余量再選更低/更高檔。CPU/GPU 混合推理-ngl 層數(shù)大模型可以只把部分層放到 GPU、其余留在 CPU 內(nèi)存里跑-ngl指定卸載到 GPU 的層數(shù)——層數(shù)越多越快但顯存占用越高顯存不夠就把-ngl調(diào)小用 CPU 內(nèi)存兜底。實(shí)操順序先按全部層進(jìn) GPU試報(bào)顯存不足再往下調(diào)直到裝得下且速度可接受為止。沒有 N 卡的純 CPU 機(jī)器不用關(guān)心這個(gè)參數(shù)——所有層走 CPU速度主要看物理核心數(shù)和模型大小7B Q4_K_M 大概能維持每 token 一秒上下輕體驗(yàn)夠用。其余參數(shù)線程數(shù)、上下文長度等建議直接看llama-cli --help/llama-server --help以工具當(dāng)前版本輸出為準(zhǔn)。和 Ollama 的關(guān)系Ollama 底層即 llama.cpp 系模型同為 GGUF。選法很簡單要省心、多模型管理、局域網(wǎng)共享 → Ollama詳見《AI-07 Ollama本地部署大模型》要精細(xì)控制-ngl、線程、自編 GPU 優(yōu)化、嵌入自己項(xiàng)目→ llama.cpp 本篇路線兩者模型文件直接復(fù)用不沖突。目錄紀(jì)律exe 放D:\llama.cpp、模型放D:\models與 Ollama 的OLLAMA_MODELS、LMStudio 模型目錄統(tǒng)一思路——大文件一律非 C 盤 SSD。跑服務(wù)時(shí)給 llama-server 的日志留個(gè)終端窗口或重定向到文件排錯(cuò)時(shí)第一手信息都在啟動(dòng)日志里和 Ollama 看日志的習(xí)慣一致。六、故障排查按層定位#癥狀報(bào)錯(cuò)原文層原因解決1git clone極慢/失敗GitHub網(wǎng)絡(luò)國內(nèi)訪問 GitHub 不穩(wěn)用鏡像站/代理或直接下 Releases 壓縮包Windows 首選中斷重跑2HuggingFace 下載卡住 / ConnectionError / 超時(shí)網(wǎng)絡(luò)國內(nèi)直連 huggingface.co 受限set HF_ENDPOINThttps://hf-mirror.comWin/export HF_ENDPOINThttps://hf-mirror.comLinux或改 ModelScope / wget-c續(xù)傳見《AI-06》3CUDA error: out of memory顯存模型/上下文/卸載層數(shù)超出顯存調(diào)小-ngl讓 CPU 兜底、降上下文、換 Q4_K_M 更低檔位nvidia-smi查顯存占用4CUDA error: no kernel image is available for execution on the device框架/CUDA編譯所用 CUDA 版本與顯卡架構(gòu)不匹配如太新的 CUDA 編譯 老卡換與顯卡架構(gòu)匹配的預(yù)編譯包或用匹配的 CUDA 重新編譯-DGGML_CUDAon5模型加載成功但輸出亂碼/重復(fù)量化量化位寬過低Q2/Q3或 tokenizer 不匹配升量化位寬Q4_K_M 起確認(rèn)權(quán)重與 tokenizer 來自同一 repo6port 8080 already in use端口8080 被其他程序占用換端口--port 8081Windowsnetstat -ano | findstr :8080/ Linuxlsof -i:8080找占用進(jìn)程7Linux 編譯報(bào)錯(cuò)缺 cmake/編譯器環(huán)境編譯工具鏈不全sudo apt install build-essential cmake git后重跑 cmake 兩行命令七、本篇自檢清單能說出 llama.cpp 與 Ollama/LMStudio 的關(guān)系后者底層即 llama.cpp 系本篇是裸引擎能說出 GGUF 的結(jié)構(gòu)量化權(quán)重 配置一體的單文件格式CPU/GPU 混合推理友好Windows 下會(huì)拿 GitHub Releases .zipllama-cli/llama-serverLinux 下會(huì)cmake -B build cmake --build build --config ReleaseGPU 加-DGGML_CUDAon跑通llama-cli -m model.gguf -p 你好輸出通順起過llama-server -m model.gguf --port 8080curl/v1/chat/completions拿到 JSON會(huì)用llama-bench -m model.gguf測 tokens/s 并知道量級參考能講清量化檔位Q4_K_M 甜點(diǎn) / Q8_0 近無損 / Q2、Q3 掉智商且會(huì)按顯存選工具與模型都在非 C 盤了解-ngl層數(shù)與顯存的權(quán)衡