始的新手部署教程)
【免費(fèi)下載鏈接】gemma-4-31B-it-GGUF項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF點(diǎn)擊查看免費(fèi)下載想在自己的電腦上私有化部署 Google 最新開(kāi)源多模態(tài)大模型嗎gemma-4-31B-it-GGUF 倉(cāng)庫(kù)由 Unsloth 提供收錄了Gemma 4 31B指令微調(diào)版的全部 GGUF 量化版本Q2 到 Q8、BF16開(kāi)箱即用支持文本與圖像輸入、最長(zhǎng) 256K 上下文Apache 2.0 協(xié)議可自由商用。本教程帶你從零開(kāi)始5 分鐘在本地跑起它。一、這個(gè)倉(cāng)庫(kù)里有什么先花 1 分鐘了解倉(cāng)庫(kù)結(jié)構(gòu)下載時(shí)心里有數(shù)目錄/文件說(shuō)明根目錄各*.gguf不同量化精度的主模型從約 10GB 的UD-IQ2_XXS到約 33GB 的Q8_0BF16/16 位原始精度模型分 2 個(gè)文件效果最好但顯存要求最高M(jìn)TP/MTP 多 token 預(yù)測(cè)草稿模型用于推測(cè)解碼加速生成速度mmproj-*.gguf視覺(jué)編碼器投影文件看懂圖片必須搭配使用mtp-gemma-4-31B-it.gguf倉(cāng)庫(kù)根目錄的 Q8_0 版 MTP 草稿模型供自動(dòng)發(fā)現(xiàn)config.json模型架構(gòu)配置可見(jiàn) 60 層、262K 詞表、256K 上下文等參數(shù)imatrix_unsloth.gguf_fileUnsloth 量化時(shí)使用的 imatrix 校準(zhǔn)數(shù)據(jù)如何選量化版本按顯存對(duì)號(hào)入座即可 顯存推薦版本體積約16GBUD-Q2_K_XL/UD-IQ3_XXS10~13GB24GBQ4_K_M最均衡官方 MTP 驗(yàn)證用此版本約 19GB40GBQ8_0或UD-Q8_K_XL30GB80GB / 雙卡BF16/ 原始精度約 61GB 帶UD前綴的是 Unsloth Dynamic 動(dòng)態(tài)量化按層重要性分配比特?cái)?shù)同體積下質(zhì)量更好-XL后綴為更大文件內(nèi)的高精度變體。二、部署前準(zhǔn)備安裝 llama.cppGemma 4 需要較新的 llama.cppMTP 功能于 2026-06-07 合并進(jìn)主干。以 NVIDIA 顯卡為例克隆源碼并編譯git clone https://github.com/ggml-org/llama.cpp cd llama.cpp # -DCMAKE_CUDA_ARCHITECTURES 按你的顯卡填寫(xiě)89(RTX 4090)、90(H100)、100(B200) cmake -B build -DGGML_CUDAON -DCMAKE_CUDA_ARCHITECTURES90 cmake --build build --config Release -j --target llama-server更多構(gòu)建細(xì)節(jié)可參考 MTP/README.md。三、5分鐘快速啟動(dòng) llama-server本倉(cāng)庫(kù)是一個(gè)鏡像倉(cāng)庫(kù)可以直接克隆到本地然后指向本地文件啟動(dòng)git clone https://gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF cd gemma-4-31B-it-GGUF ./path/to/llama-server \ -m gemma-4-31B-it-Q4_K_M.gguf \ --mmproj mmproj-BF16.gguf \ -ngl 999 -fa on參數(shù)小白注釋 -m主模型文件換成你選定的量化版本即可--mmproj視覺(jué)投影文件加上它模型才能看圖-ngl 999把所有層卸載到 GPU-fa on開(kāi)啟 Flash Attention省顯存提速啟動(dòng)后瀏覽器打開(kāi)http://localhost:8080即可在 Web 界面與模型對(duì)話、上傳圖片。?? 注意倉(cāng)庫(kù)內(nèi)文件較大若只是下載單個(gè)文件建議用hf download之類的工具按需拉取不必 clone 整個(gè)倉(cāng)庫(kù)。四、進(jìn)階用 MTP 推測(cè)解碼再提速 40% MTP/README.md 中給出了實(shí)測(cè)數(shù)據(jù)在單卡 B200 上跑Q4_K_M開(kāi)啟 MTP 后從70 tok/s 提升到 101 tok/s草稿接受率 0.78。新版 llama.cpp 能自動(dòng)發(fā)現(xiàn)倉(cāng)庫(kù)根目錄的 mtp-gemma-4-31B-it.gguf直接加兩個(gè)參數(shù)即可./path/to/llama-server \ -m gemma-4-31B-it-Q4_K_M.gguf \ --spec-type draft-mtp --spec-draft-n-max 4 \ -ngl 999 -fa on想要指定精度或多卡部署可改用顯式寫(xiě)法--model-draft MTP/mtp-gemma-4-31B-it-Q8_0.gguf詳見(jiàn) MTP/README.md。五、最佳采樣參數(shù)官方推薦按照 README.md 的 Best Practices無(wú)論何種任務(wù)都建議使用統(tǒng)一采樣配置參數(shù)推薦值temperature1.0top_p0.95top_k64其他小貼士多模態(tài)輸入圖片/音頻放在提示詞前面效果最佳圖像分辨率支持 70~1120 的視覺(jué) token 預(yù)算OCR 讀小字用高值分類/看圖說(shuō)話用低值多輪對(duì)話歷史消息中只保留最終回答不要保留中間思考內(nèi)容六、常見(jiàn)問(wèn)題Q內(nèi)存/顯存不夠模型卡住怎么辦換更低的量化版本如UD-IQ2_XXS或減少-ngl讓部分層留在內(nèi)存。Q加載 MTP 文件報(bào)錯(cuò)gemma4-assistant架構(gòu)不認(rèn)識(shí)你的 llama.cpp 太舊了請(qǐng)編譯 2026-06-07 之后的版本。Q只想要文字能力能省掉 mmproj 嗎可以不傳--mmproj參數(shù)即可還能省一點(diǎn)顯存。至此一臺(tái) 24GB 顯卡的機(jī)器上Gemma 4 31B 已經(jīng)可以流暢本地運(yùn)行了。它支持 140 語(yǔ)言、256K 長(zhǎng)上下文和圖像理解配合 MTP 加速日常問(wèn)答、文檔解析、代碼任務(wù)都值得一試。贊分享【免費(fèi)下載鏈接】gemma-4-31B-it-GGUF項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF點(diǎn)擊查看免費(fèi)下載相關(guān)推薦5分鐘跑通gemma-1.1-2b-it本地部署大語(yǔ)言模型新手完全教程5分鐘跑通gemma 1.1 2b it本地部署大語(yǔ)言模型新手完全教程 gemma 1.1 2b it 是 Google 推出的輕量級(jí)開(kāi)源大語(yǔ)言模型約 20大模型基礎(chǔ)模型10分鐘本地跑通Gemma 4 12B多模態(tài)大模型gemma-4-12B-it-GGUF新手完全入門指南10分鐘本地跑通Gemma 4 12B多模態(tài)大模型gemma 4 12B it GGUF新手完全入門指南 gemma 4 12B it GGUF 是 Goog如何用llama.cpp 5分鐘跑通DeepSeek-V4-Flash-GGUF面向新手的本地部署快速上手教程如何用llama.cpp 5分鐘跑通DeepSeek V4 Flash GGUF面向新手的本地部署快速上手教程 本教程面向新手講解如何用 llama.cpp上一篇IDM激活腳本終極指南Windows下載工具永久免費(fèi)解決方案下一篇dagster-postgres 實(shí)戰(zhàn)指南用 PostgreSQL 為 Dagster OSS 提供持久化實(shí)例存儲(chǔ)創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何5分鐘在本地跑起gemma-4-31B-it-GGUF：從零開(kāi)始的新手部署教程
【免費(fèi)下載鏈接】gemma-4-31B-it-GGUF項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF點(diǎn)擊查看免費(fèi)下載想在自己的電腦上私有化部署 Google 最新開(kāi)源多模態(tài)大模型嗎gemma-4-31B-it-GGUF 倉(cāng)庫(kù)由 Unsloth 提供收錄了Gemma 4 31B指令微調(diào)版的全部 GGUF 量化版本Q2 到 Q8、BF16開(kāi)箱即用支持文本與圖像輸入、最長(zhǎng) 256K 上下文Apache 2.0 協(xié)議可自由商用。本教程帶你從零開(kāi)始5 分鐘在本地跑起它。一、這個(gè)倉(cāng)庫(kù)里有什么先花 1 分鐘了解倉(cāng)庫(kù)結(jié)構(gòu)下載時(shí)心里有數(shù)目錄/文件說(shuō)明根目錄各*.gguf不同量化精度的主模型從約 10GB 的UD-IQ2_XXS到約 33GB 的Q8_0BF16/16 位原始精度模型分 2 個(gè)文件效果最好但顯存要求最高M(jìn)TP/MTP 多 token 預(yù)測(cè)草稿模型用于推測(cè)解碼加速生成速度mmproj-*.gguf視覺(jué)編碼器投影文件看懂圖片必須搭配使用mtp-gemma-4-31B-it.gguf倉(cāng)庫(kù)根目錄的 Q8_0 版 MTP 草稿模型供自動(dòng)發(fā)現(xiàn)config.json模型架構(gòu)配置可見(jiàn) 60 層、262K 詞表、256K 上下文等參數(shù)imatrix_unsloth.gguf_fileUnsloth 量化時(shí)使用的 imatrix 校準(zhǔn)數(shù)據(jù)如何選量化版本按顯存對(duì)號(hào)入座即可 顯存推薦版本體積約16GBUD-Q2_K_XL/UD-IQ3_XXS10~13GB24GBQ4_K_M最均衡官方 MTP 驗(yàn)證用此版本約 19GB40GBQ8_0或UD-Q8_K_XL30GB80GB / 雙卡BF16/ 原始精度約 61GB 帶UD前綴的是 Unsloth Dynamic 動(dòng)態(tài)量化按層重要性分配比特?cái)?shù)同體積下質(zhì)量更好-XL后綴為更大文件內(nèi)的高精度變體。二、部署前準(zhǔn)備安裝 llama.cppGemma 4 需要較新的 llama.cppMTP 功能于 2026-06-07 合并進(jìn)主干。以 NVIDIA 顯卡為例克隆源碼并編譯git clone https://github.com/ggml-org/llama.cpp cd llama.cpp # -DCMAKE_CUDA_ARCHITECTURES 按你的顯卡填寫(xiě)89(RTX 4090)、90(H100)、100(B200) cmake -B build -DGGML_CUDAON -DCMAKE_CUDA_ARCHITECTURES90 cmake --build build --config Release -j --target llama-server更多構(gòu)建細(xì)節(jié)可參考 MTP/README.md。三、5分鐘快速啟動(dòng) llama-server本倉(cāng)庫(kù)是一個(gè)鏡像倉(cāng)庫(kù)可以直接克隆到本地然后指向本地文件啟動(dòng)git clone https://gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF cd gemma-4-31B-it-GGUF ./path/to/llama-server \ -m gemma-4-31B-it-Q4_K_M.gguf \ --mmproj mmproj-BF16.gguf \ -ngl 999 -fa on參數(shù)小白注釋 -m主模型文件換成你選定的量化版本即可--mmproj視覺(jué)投影文件加上它模型才能看圖-ngl 999把所有層卸載到 GPU-fa on開(kāi)啟 Flash Attention省顯存提速啟動(dòng)后瀏覽器打開(kāi)http://localhost:8080即可在 Web 界面與模型對(duì)話、上傳圖片。?? 注意倉(cāng)庫(kù)內(nèi)文件較大若只是下載單個(gè)文件建議用hf download之類的工具按需拉取不必 clone 整個(gè)倉(cāng)庫(kù)。四、進(jìn)階用 MTP 推測(cè)解碼再提速 40% MTP/README.md 中給出了實(shí)測(cè)數(shù)據(jù)在單卡 B200 上跑Q4_K_M開(kāi)啟 MTP 后從70 tok/s 提升到 101 tok/s草稿接受率 0.78。新版 llama.cpp 能自動(dòng)發(fā)現(xiàn)倉(cāng)庫(kù)根目錄的 mtp-gemma-4-31B-it.gguf直接加兩個(gè)參數(shù)即可./path/to/llama-server \ -m gemma-4-31B-it-Q4_K_M.gguf \ --spec-type draft-mtp --spec-draft-n-max 4 \ -ngl 999 -fa on想要指定精度或多卡部署可改用顯式寫(xiě)法--model-draft MTP/mtp-gemma-4-31B-it-Q8_0.gguf詳見(jiàn) MTP/README.md。五、最佳采樣參數(shù)官方推薦按照 README.md 的 Best Practices無(wú)論何種任務(wù)都建議使用統(tǒng)一采樣配置參數(shù)推薦值temperature1.0top_p0.95top_k64其他小貼士多模態(tài)輸入圖片/音頻放在提示詞前面效果最佳圖像分辨率支持 70~1120 的視覺(jué) token 預(yù)算OCR 讀小字用高值分類/看圖說(shuō)話用低值多輪對(duì)話歷史消息中只保留最終回答不要保留中間思考內(nèi)容六、常見(jiàn)問(wèn)題Q內(nèi)存/顯存不夠模型卡住怎么辦換更低的量化版本如UD-IQ2_XXS或減少-ngl讓部分層留在內(nèi)存。Q加載 MTP 文件報(bào)錯(cuò)gemma4-assistant架構(gòu)不認(rèn)識(shí)你的 llama.cpp 太舊了請(qǐng)編譯 2026-06-07 之后的版本。Q只想要文字能力能省掉 mmproj 嗎可以不傳--mmproj參數(shù)即可還能省一點(diǎn)顯存。至此一臺(tái) 24GB 顯卡的機(jī)器上Gemma 4 31B 已經(jīng)可以流暢本地運(yùn)行了。它支持 140 語(yǔ)言、256K 長(zhǎng)上下文和圖像理解配合 MTP 加速日常問(wèn)答、文檔解析、代碼任務(wù)都值得一試。贊分享【免費(fèi)下載鏈接】gemma-4-31B-it-GGUF項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF點(diǎn)擊查看免費(fèi)下載相關(guān)推薦5分鐘跑通gemma-1.1-2b-it本地部署大語(yǔ)言模型新手完全教程5分鐘跑通gemma 1.1 2b it本地部署大語(yǔ)言模型新手完全教程 gemma 1.1 2b it 是 Google 推出的輕量級(jí)開(kāi)源大語(yǔ)言模型約 20大模型基礎(chǔ)模型10分鐘本地跑通Gemma 4 12B多模態(tài)大模型gemma-4-12B-it-GGUF新手完全入門指南10分鐘本地跑通Gemma 4 12B多模態(tài)大模型gemma 4 12B it GGUF新手完全入門指南 gemma 4 12B it GGUF 是 Goog如何用llama.cpp 5分鐘跑通DeepSeek-V4-Flash-GGUF面向新手的本地部署快速上手教程如何用llama.cpp 5分鐘跑通DeepSeek V4 Flash GGUF面向新手的本地部署快速上手教程 本教程面向新手講解如何用 llama.cpp上一篇IDM激活腳本終極指南Windows下載工具永久免費(fèi)解決方案下一篇dagster-postgres 實(shí)戰(zhàn)指南用 PostgreSQL 為 Dagster OSS 提供持久化實(shí)例存儲(chǔ)創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考