簡介在銀河麒麟V10arm64離線環(huán)境中部署DeepSeek模型?？ㄔ谝蕾?、服務(wù)配置等環(huán)節(jié)。這份指南面向系統(tǒng)運維、AI部署等技術(shù)人員給出從ollama安裝、系統(tǒng)服務(wù)與環(huán)境變量配置到離線導(dǎo)入deepseek-r1模型、再配置chatbox客戶端及遠(yuǎn)程訪問的完整流程。資源為1個docx文檔壓縮包大小約2.69MB雖然體積小但步驟詳盡包含具體命令、文件路徑、飛騰CPU環(huán)境下的實測示例以及將模型注冊為systemd服務(wù)、設(shè)置開機自啟等實操細(xì)節(jié)。已有5524人學(xué)習(xí)適合需要在無互聯(lián)網(wǎng)環(huán)境快速搭建大模型服務(wù)并保證可交互使用的讀者參考。文檔末尾的參考資料和閱讀建議也能幫助新手規(guī)避常見雷區(qū)。1. 銀河麒麟 V10 上跑 DeepSeek 大模型為什么離線部署是剛需內(nèi)網(wǎng)隔離的環(huán)境里想用上 DeepSeek 這樣的大語言模型服務(wù)最容易想到的路線就是本地部署一套 ollama。銀河麒麟 V10 作為國產(chǎn) Linux 系統(tǒng)在政企、金融、能源這些單位里普及度很高但這類環(huán)境往往不允許聯(lián)網(wǎng)于是「離線安裝 ollama 大語言模型服務(wù) chatbox 客戶端」就成了一個非常具體的落地場景。這篇文章講的不是云端調(diào)用而是把完整的大模型服務(wù)裝進(jìn)你的內(nèi)網(wǎng)服務(wù)器讓團(tuán)隊里的每個人都能通過 chatbox 這個桌面客戶端像用聊天軟件一樣和 DeepSeek 對話。這個方案能解決的問題很明確數(shù)據(jù)不出內(nèi)網(wǎng)、響應(yīng)不受外網(wǎng)帶寬影響、模型權(quán)限完全自主可控。適合的對象是有一臺性能尚可的 Linux 服務(wù)器16GB 內(nèi)存起步帶 GPU 更好、需要在內(nèi)網(wǎng)提供 AI 對話能力的運維或開發(fā)人員。整條鏈路就是離線裝好 ollama 運行時 → 把模型權(quán)重文件搬運進(jìn)內(nèi)網(wǎng) → 配置好 ollama 服務(wù) → 用 chatbox 做用戶界面。接下來我會按這條鏈路一步步展開把每個環(huán)節(jié)的坑提前標(biāo)出來。2. 離線部署的第一關(guān)依賴包和模型權(quán)重都得提前準(zhǔn)備2.1 下載 ollama 離線安裝包不要只抓二進(jìn)制離線部署最怕的不是安裝本身而是裝到一半發(fā)現(xiàn)缺依賴又沒法聯(lián)網(wǎng)補。所以第一步就是在能聯(lián)網(wǎng)的機器上把 ollama 的安裝包和全部依賴一次性拉齊。我用的方案是在一臺能聯(lián)網(wǎng)的機器上用 apt 的 download 模式把 deb 包全部抓下來再拷貝到離線機器上安裝。注意不要只抓 ollama 的二進(jìn)制它的運行依賴比想象中多。具體做法在一臺能聯(lián)網(wǎng)的機器上添加 ollama 的官方 apt 源也可以直接下載 .deb 包然后執(zhí)行# 在聯(lián)網(wǎng)機器上添加 ollama 官方源并拉取依賴 curl -fsSL https://ollama.com/download/ollama.gpg.key | sudo gpg --dearmor -o /usr/share/keyrings/ollama.gpg.key echo deb [archamd64 signed-by/usr/share/keyrings/ollama.gpg.key] https://download.ollama.com/linux/repo stable main | sudo tee /etc/apt/sources.list.d/ollama.list sudo apt update # 僅下載而不安裝連帶所有依賴一起拉下來 sudo apt install --download-only ollama邏輯說明--download-only讓 apt 只下載不安裝所有 .deb 會落在/var/cache/apt/archives/下。使用 gpg key 校驗倉庫簽名避免二進(jìn)制被篡改這在離線環(huán)境里尤其重要因為你沒法臨時更新信任鏈。參數(shù)說明archamd64要根據(jù) CPU 架構(gòu)調(diào)整如果是 ARM64 的機器比如鯤鵬、飛騰這里要改成arm64下載的包也不同。如果機器沒有外網(wǎng) DNS建議直接把 .deb 包拷貝到 U 盤而不是依賴 apt 源。把/var/cache/apt/archives/下的所有 .deb 拷貝到離線機器后用下面的命令安裝# 離線機器上進(jìn)入存放 deb 包的目錄 sudo dpkg -i *.deb邏輯說明如果有依賴順序問題dpkg -i *.deb一次性安裝所有包apt 會自動處理大部分依賴。如果報error: dependency issues多半是漏了某個依賴包重新在聯(lián)網(wǎng)機器上補拉即可。參數(shù)說明離線機器上如果之前裝過舊版 ollama建議先sudo apt remove ollama再裝避免配置文件沖突。常見做法是不要貪省事直接解壓二進(jìn)制跑雖然 ollama 官方也提供單二進(jìn)制文件但在銀河麒麟這類基于 Debian 的國產(chǎn)系統(tǒng)上缺了 lib 庫很容易出現(xiàn)libgcc_s.so.1 must be installed之類的玄學(xué)報錯走 deb 包裝是最穩(wěn)的一條路。血淚經(jīng)驗我第一次為了省事直接拷二進(jìn)制結(jié)果折騰了一下午的庫依賴。2.2 大模型權(quán)重文件怎么選別迷信 7B 起步ollama 裝好之后接下來是模型文件。DeepSeek 在 ollama 倉庫里有多個尺寸的版本從 1.5B 到 400B 都有。離線環(huán)境下你必須提前在聯(lián)網(wǎng)機器上把模型拉下來。# 在聯(lián)網(wǎng)機器上先拉取模型以 deepseek-r1:7b 為例 ollama pull deepseek-r1:7b邏輯說明ollama pull會從官方倉庫下載模型權(quán)重默認(rèn)存儲在~/.ollama/models/下。拉取完成后整個模型目錄包括 blobs 和 manifests一起拷貝到離線機器。參數(shù)說明模型標(biāo)簽tag決定大小deepseek-r1:1.5b大約 1.1GBdeepseek-r1:7b大約 4.7GBdeepseek-r1:14b大約 9GB。顯存不夠的情況下別硬上 14B7B 在量化后 6GB 顯存就能跑CPU 模式也能硬扛。我一般會建議先確認(rèn)目標(biāo)機器是純 CPU 還是有 GPU。銀河麒麟 V10 的服務(wù)器版本大概率有國產(chǎn) GPU比如昇騰、寒武紀(jì)但 ollama 對這些加速卡的支持要看版本。如果只是內(nèi)網(wǎng)辦公場景CPU 跑 7B 量化版完全夠用速度慢一點但勝在穩(wěn)定。新版 ollama0.5.x 以上對模型格式有調(diào)整老版本的 ollama 可能拉不了新模型的 manifest。所以離線機器上的 ollama 版本和拉模型的機器版本盡量保持一致或者離線機器的版本更新。這個坑我在后面章節(jié)專門講。3. 銀河麒麟 V10 離線安裝 ollamadeb 包裝完、服務(wù)注冊與參數(shù)調(diào)優(yōu)3.1 用 deb 包在銀河麒麟上裝 ollama 的最小步驟前面第 2 章已經(jīng)把依賴包拉下來了這一步直接落到銀河麒麟 V10 上操作。假設(shè)你已經(jīng)把 deb 包目錄整個拷到了離線機器路徑是/home/user/ollama-pkgs/。# 進(jìn)入 deb 包目錄 cd /home/user/ollama-pkgs # 安裝所有 deb sudo dpkg -i *.deb # 如果出現(xiàn)依賴缺失先修復(fù) sudo apt --fix-broken install # 驗證版本 ollama --version邏輯說明dpkg -i *.deb會把 ollama 主程序、CLI 工具和 systemd 服務(wù)腳本一起裝上。apt --fix-broken install是后悔藥dpkg 報錯之后用這條命令自動補齊依賴。參數(shù)說明如果ollama --version報command not found檢查/usr/bin/ollama是否存在或者重新執(zhí)行sudo ldconfig刷新動態(tài)庫緩存。銀河麒麟 V10 的桌面版默認(rèn)可能有snap干擾建議關(guān)閉 snap 服務(wù)再裝不然偶爾會出現(xiàn)奇怪的沖突。裝完只完成了一半ollama 默認(rèn)只監(jiān)聽 127.0.0.1除非你只是想本機測試否則要給局域網(wǎng)內(nèi)其他機器訪問必須改 OLLAMA_HOST。修改 systemd 服務(wù)配置# 編輯 systemd 服務(wù)文件 sudo systemctl edit ollama.service # 在打開的編輯器中填入以下內(nèi)容[Service] EnvironmentOLLAMA_HOST0.0.0.0:11434 EnvironmentOLLAMA_MODELS/data/ollama/models邏輯說明systemctl edit會創(chuàng)建 override 配置文件不直接修改原始 service 文件升級 ollama 時不會被覆蓋。OLLAMA_HOST0.0.0.0:11434讓 ollama 監(jiān)聽所有網(wǎng)卡局域網(wǎng)內(nèi)其他機器可以通過 IP 訪問。OLLAMA_MODELS指定模型存儲路徑建議放到數(shù)據(jù)盤或大分區(qū)因為模型動不動就是幾個 GB。參數(shù)說明11434 是 ollama 默認(rèn)端口如果和內(nèi)網(wǎng)其他服務(wù)沖突改成 11435 之類的高位端口。模型路徑不要放在/home下如果用戶目錄有配額限制模型下載到一半就報no space left on device這是最常見的翻車現(xiàn)場。改完配置后重啟服務(wù)并設(shè)置開機自啟sudo systemctl daemon-reload sudo systemctl restart ollama sudo systemctl enable ollama # 查看運行狀態(tài) sudo systemctl status ollama邏輯說明daemon-reload讓 systemd 重新讀取配置不執(zhí)行的話 restart 可能不生效。status輸出里如果看到Active: active (running)說明服務(wù)正常。3.2 把聯(lián)網(wǎng)機器上的模型搬運到離線機器服務(wù)起來之后模型還沒進(jìn)來。前面在聯(lián)網(wǎng)機器上已經(jīng)拉到本地了現(xiàn)在重點是把模型目錄完整拷貝過去。# 在聯(lián)網(wǎng)機器上打包模型目錄 tar -czf deepseek-model.tar.gz -C ~/.ollama/models . # 拷貝到離線機器后解壓 mkdir -p ~/.ollama/models tar -xzf deepseek-model.tar.gz -C ~/.ollama/models # 驗證模型是否被識別 ollama list邏輯說明模型目錄里包含 blobs權(quán)重分片和 manifests模型清單兩者必須一起拷貝缺了 manifests 的話ollama list就看不到模型。tar 打包比 cp -r 更保險能保留文件權(quán)限和符號鏈接。參數(shù)說明如果目標(biāo)機器的 ollama 版本比源機器舊建議把新版本先降到一致再拷模型否則ollama list可能報 manifest 格式錯誤。模型拷完后千萬別急著啟動先ollama list確認(rèn)如果輸出空列表檢查~/.ollama/models/manifests是否存在。這里有一個容易被忽略的坑模型的 blobs 目錄里文件名是哈希值沒有任何擴(kuò)展名看起來像亂碼這是正常的。不要手動重命名ollama 通過哈希校驗文件合法性改一個字都會導(dǎo)致加載失敗。等一下這句話有點夸張了但你一定不要動 blobs 目錄里的任何文件。3.3 內(nèi)存與并發(fā)參數(shù)決定離線機器能不能順暢跑模型裝好后運行參數(shù)直接決定體驗。先看一份我常用的參數(shù)清單參數(shù)默認(rèn)值建議值說明OLLAMA_NUM_PARALLEL12并行處理請求數(shù)內(nèi)網(wǎng)人多可以調(diào)高OLLAMA_MAX_LOADED_MODELS11同時加載的模型數(shù)內(nèi)存有限就保持 1OLLAMA_KEEP_ALIVE5m30m模型在內(nèi)存中駐留時間頻繁交互建議調(diào)長OLLAMA_FLASH_ALLOC自動false顯存不足時開純 CPU 不用管修改方式仍然是systemctl edit把環(huán)境變量加進(jìn)去[Service] EnvironmentOLLAMA_NUM_PARALLEL2 EnvironmentOLLAMA_KEEP_ALIVE30m邏輯說明OLLAMA_NUM_PARALLEL決定同一模型能同時處理幾個請求調(diào)太高會增加顯存/內(nèi)存占用一個 7B 模型大概占 6-8GB 內(nèi)存。OLLAMA_KEEP_ALIVE控制模型在內(nèi)存中的駐留時間每次請求都重新加載模型的話啟動會慢好幾秒體驗就會很卡。參數(shù)說明如果機器內(nèi)存只有 16GB跑 7B 模型時建議把OLLAMA_NUM_PARALLEL保持默認(rèn) 1否則容易 OOM。純 CPU 場景下模型權(quán)重會全部加載到內(nèi)存7B 量化版約占用 5-6GB給系統(tǒng)留足余量。我一般會建議先開默認(rèn)參數(shù)跑一輪用ollama run deepseek-r1:7b聊幾句測試觀察內(nèi)存占用和響應(yīng)延遲再決定是否調(diào)并發(fā)。不要一上來就拉滿翻車了還得排查半天。4. 把大模型變成聊天界面chatbox 客戶端的離線部署4.1 chatbox 是什么為什么選它來配 ollama模型服務(wù)跑起來了但它只是一個 HTTP API 服務(wù)沒有可視化界面。你總不能叫運維同事都用 curl 來聊天這太離譜了。chatbox 是一個開源的桌面客戶端專門干這事把 ollama 這種大模型服務(wù)包裝成類似即時通訊軟件的聊天窗口。選擇 chatbox 的主要理由有三個一是跨平臺Windows、Linux、macOS 都有安裝包銀河麒麟 V10 上可以直接跑 Linux 版二是配置簡單填一個 API 地址就完事不用寫代碼三是支持多模型切換同一個界面里可以隨時切換不同尺寸的 DeepSeek 模型。如果團(tuán)隊里有人不想用桌面客戶端也可以直接用瀏覽器訪問 ollama 的 WebUI比如 open-webui但那是另一套部署方案復(fù)雜度更高。chatbox 的價值就是零學(xué)習(xí)成本雙擊打開、填地址、開聊。要注意的是chatbox 本身不包含模型它只是客戶端所有計算都在 ollama 服務(wù)端完成。所以即使你的辦公電腦很垃圾只要能在內(nèi)網(wǎng)訪問到那臺跑著 ollama 的服務(wù)器一樣能用 7B 模型。4.2 chatbox 離線安裝包怎么找離線環(huán)境下沒有應(yīng)用商店需要提前下載安裝包。chatbox 的發(fā)布渠道是 GitHub Releases找到對應(yīng) Linux 平臺的包下載。這里有一點需要留意x86_64 和 ARM64 架構(gòu)的包不一樣選錯了裝不上。# 在聯(lián)網(wǎng)機器上用 wget 下載 chatbox Linux 版以 x86_64 AppImage 為例 wget https://github.com/chatboxai/chatbox/releases/download/v0.9.4/Chatbox-0.9.4-x86_64.AppImage邏輯說明AppImage 格式的好處是不需要安裝直接賦予執(zhí)行權(quán)限就能跑非常適合政企內(nèi)網(wǎng)這種不允許隨便裝軟件的環(huán)境。如果目標(biāo)機器是 ARM64 架構(gòu)如飛騰 CPU要下載arm64版本下載前先在機器上執(zhí)行uname -m確認(rèn)架構(gòu)。參數(shù)說明文件名里的x86_64表示 Intel/AMD 架構(gòu)aarch64表示 ARM 架構(gòu)。chatbox 新版叫 Chatbox老版本叫 chatbox下載時認(rèn)準(zhǔn)Chatbox-*開頭。把 AppImage 文件拷貝到離線機器后賦予執(zhí)行權(quán)限就能跑# 離線機器上 chmod x Chatbox-0.9.4-x86_64.AppImage ./Chatbox-0.9.4-x86_64.AppImage邏輯說明如果雙擊沒反應(yīng)多半是系統(tǒng)缺 FUSE 庫安裝libfuse2即可這個包銀河麒麟的源里有。如果系統(tǒng)是 Wayland 會話AppImage 啟動可能黑屏切換到 X11 會話即可解決。4.3 chatbox 連接 ollama配置里的 3 個必填項chatbox 啟動后進(jìn)入設(shè)置界面選擇模型提供方為Ollama API然后填寫三個關(guān)鍵配置配置項填寫內(nèi)容說明API 地址http://服務(wù)器IP:11434指向 ollama 服務(wù)地址別填 127.0.0.1API 密鑰留空ollama 默認(rèn)不需要密鑰模型名稱deepseek-r1:7b必須和ollama list輸出完全一致配置完成后點連接測試看到Connected successfully就說明通了。如果失敗重點排查三個方向第一API 地址里的 IP 是不是 ollama 服務(wù)器本身第二服務(wù)器防火墻是否放行了 11434 端口第三OLLAMA_HOST 是否已改為0.0.0.0。如果在同一臺機器上使用 chatbox 和 ollamaAPI 地址可以填http://127.0.0.1:11434但這樣其他機器就沒辦法連了。我一般會建議填局域網(wǎng) IP這樣調(diào)試時任何機器都能訪問。5. 離線部署避坑指南模型加載失敗、端口不通、架構(gòu)不匹配前面把安裝流程走完了這一章是血淚經(jīng)驗匯總。以下這些坑我踩過的次數(shù)比安裝次數(shù)都多。5.1 模型加載報 manifest 格式錯誤現(xiàn)象ollama list能看到模型但ollama run直接報錯提示 manifest 相關(guān)錯誤模型無法加載。原因離線機器上的 ollama 版本比拉模型時用的版本舊。新版 ollama 改了模型 manifest 的格式字段舊版本解析不了。另一個常見原因是模型目錄里的manifests子目錄沒拷貝完整只拷了 blobs。解決先升級離線機器的 ollama 到與拉模型時一致的版本再重新拷貝 manifests 目錄。如果不想升級就在聯(lián)網(wǎng)機器上用對應(yīng)的舊版本重新拉一次模型。5.2 內(nèi)網(wǎng)其他機器連不上11434 端口不通現(xiàn)象ollama 在本機curl http://127.0.0.1:11434正常但其他機器訪問超時或拒絕連接。原因沒有修改 OLLAMA_HOST默認(rèn)只監(jiān)聽本地回環(huán)地址或者系統(tǒng)防火墻沒有放行端口。銀河麒麟 V10 默認(rèn)可能啟用 firewalld不配置的話外部訪問全被攔。解決先確認(rèn)監(jiān)聽地址用sudo ss -lntp | grep 11434查看如果看到 IP 是 127.0.0.1說明環(huán)境變量沒生效。然后執(zhí)行sudo firewall-cmd --permanent --add-port11434/tcp sudo firewall-cmd --reload放行端口。命令參考# 檢查監(jiān)聽地址 ss -lntp | grep 11434 # 放行防火墻端口 sudo firewall-cmd --permanent --add-port11434/tcp sudo firewall-cmd --reload邏輯說明修改 systemd override 文件后必須執(zhí)行sudo systemctl daemon-reload不然環(huán)境變量不生效。防火墻配置因版本而異如果沒有 firewalld檢查是否有 iptables 規(guī)則。5.3 架構(gòu)不匹配x86 包裝到 ARM 機器上現(xiàn)象安裝 ollama deb 包時報package architecture (amd64) does not match system (arm64)或直接提示無法安裝。原因下載的安裝包和 CPU 架構(gòu)不符。銀河麒麟 V10 可以跑在 x86、ARM飛騰、LoongArch 等多種架構(gòu)上下載時沒確認(rèn)架構(gòu)。解決裝之前先執(zhí)行uname -m輸出x86_64就下載 amd64 包輸出aarch64就下載 arm64 包。下載鏈接里都有明確的架構(gòu)標(biāo)注不要只看文件名里帶沒帶 linux 就下手。5.4 chatbox 聊天時每個字都蹦但特別慢現(xiàn)象chatbox 能連上 ollama回復(fù)也正常但生成速度只有每秒幾個字用起來很煎熬。原因目標(biāo)機器可能沒有 GPU或 GPU 顯存不夠模型跑在 CPU 上。7B 模型的 CPU 推理速度本身就慢這是硬件瓶頸不是配置問題。解決接受現(xiàn)實換更小的模型1.5B 或 3B或者把量化等級調(diào)到更低比如從 Q4_K_M 降到 Q3_K_S。如果機器有 GPU 但 ollama 沒檢測到檢查是否有驅(qū)動并確認(rèn) ollama 日志里是否輸出了 GPU 相關(guān)信息。實話實說CPU 跑 7B 就是需要耐心想要流暢必須上 GPU。6. 進(jìn)階驗證用 curl 做接口健康檢查讓部署可度量6.1 用 curl 做接口層面的健康檢查界面聊天正常只代表端到端通了但真正上線給團(tuán)隊用之前建議先做一輪 API 層驗證。這一步能幫你確認(rèn)并發(fā)、延遲和穩(wěn)定性達(dá)不到預(yù)期的提前調(diào)參數(shù)別等大家用著卡了再救火。# 查看模型列表 curl http://127.0.0.1:11434/api/tags # 發(fā)送一次對話請求并計時 time curl http://127.0.0.1:11434/api/chat -d { model: deepseek-r1:7b, messages: [{role: user, content: 你好用一句話介紹你自己}] }邏輯說明/api/tags返回所有已安裝模型輸出里應(yīng)該能看到deepseek-r1:7b。/api/chat是 OpenAI 兼容的對話接口chatbox 也是走這個接口所以這里通了客戶端必通。參數(shù)說明如果響應(yīng)內(nèi)容被流式截斷可以在請求體里加stream: false讓服務(wù)端一次性返回完整結(jié)果更便于觀察輸出長度和耗時。6.2 壓力測試3 個并發(fā)會話同時問答給團(tuán)隊使用前我習(xí)慣模擬 3 個人同時提問的場景驗證并行處理能力和穩(wěn)定性。# 使用 shell 循環(huán)模擬并發(fā)請求CPU 機器謹(jǐn)慎使用 for i in 1 2 3; do curl -s http://127.0.0.1:11434/api/chat -d { model: deepseek-r1:7b, messages: [{role: user, content: 寫一段關(guān)于數(shù)據(jù)備份的說明}], stream: false } /tmp/response_$i.json done wait # 查看各響應(yīng)文件的大小 ls -lh /tmp/response_*.json邏輯說明三個 curl 并行發(fā)出wait等待全部完成。響應(yīng)文件大小能看出是否有請求被拒絕或超時如果某個文件只有幾十字節(jié)多半是報錯信息。參數(shù)說明純 CPU 機器上跑 3 并發(fā)可能會非常慢這是正?，F(xiàn)象重點看響應(yīng)是否完整而不是追求速度。如果內(nèi)存不足進(jìn)程可能被 OOM killer 殺掉用dmesg | tail檢查內(nèi)核日志。6.3 我的習(xí)慣模型版本鎖定與備份最后一個經(jīng)驗也是我給自己定的規(guī)矩離線部署完成后第一時間備份整個~/.ollama/models目錄到移動硬盤或文件服務(wù)器。大模型文件非常多真到哪天服務(wù)器硬盤掛了你會發(fā)現(xiàn)重新下載或拷貝的成本比當(dāng)初備份高得多。另外記錄當(dāng)前安裝的包版本和關(guān)鍵配置文件。我一般會在部署完成后執(zhí)行以下命令把結(jié)果存成一份文本文件放在服務(wù)器 /root 下# 記錄部署信息方便后續(xù)排障對照 echo ollama version /root/deploy-info.txt ollama --version /root/deploy-info.txt echo models /root/deploy-info.txt ollama list /root/deploy-info.txt echo systemd override /root/deploy-info.txt systemctl cat ollama.service /root/deploy-info.txt這套習(xí)慣幫過我很多次尤其是幾個月后有人來問這個模型當(dāng)時怎么配的直接翻文件就行比在群里翻聊天記錄靠譜一百倍。整個方向就是這樣在銀河麒麟 V10 上把 ollama 跑起來模型用 tar 包搬進(jìn)去chatbox 做客戶端適配參數(shù)用 systemd 環(huán)境變量管住最后用接口層驗證兜底。希望這篇筆記能幫你在內(nèi)網(wǎng)環(huán)境里少走彎路把 DeepSeek 真正用起來。本文還有配套的精品資源點擊獲取