說實(shí)話第一次看到這個(gè)標(biāo)題我自己都愣了一下——養(yǎng)龍蝦和AI大模型有什么關(guān)系后來才反應(yīng)過來原來是把硬核玩成了養(yǎng)龍蝦的諧音梗講的其實(shí)是Intel核顯UHD/Ultra/Arc跑大模型這件事。這個(gè)路子看起來很野但實(shí)測(cè)下來還真不是瞎折騰。先說結(jié)論用Intel核顯跑本地大模型完全可行只是很多人被核顯不行的固有印象勸退了。這篇就當(dāng)作一次個(gè)人實(shí)測(cè)記錄從裝Ollama、拉取qwen3.5模型到接上Copaw做技能化改造我把完整過程、跑分?jǐn)?shù)據(jù)、踩坑點(diǎn)全部捋一遍。如果你手上只有一臺(tái)集成顯卡的辦公本、輕薄本又不想花錢租云GPU這篇文章可以幫你少走不少彎路。1. 養(yǎng)龍蝦是什么梗Intel核顯跑大模型這件事的可行性1.1 硬核變養(yǎng)龍蝦一個(gè)標(biāo)題引發(fā)的誤區(qū)澄清養(yǎng)龍蝦之因特爾UHD/Ultra/Arc核顯跑大模型拆開看就是在說用Intel集成顯卡跑大語言模型。這類裝機(jī)標(biāo)題老玩家看一眼就懂但新朋友很容易被養(yǎng)龍蝦三個(gè)字搞蒙以為是什么養(yǎng)殖農(nóng)業(yè)項(xiàng)目。其實(shí)養(yǎng)龍蝦是硬核的諧音調(diào)侃意思就是這件事做起來很硬核——要在集顯上跑LLM既考驗(yàn)軟件棧的耐心也考驗(yàn)硬件配置的兜底能力。我最初也認(rèn)為沒有NVIDIA獨(dú)顯就別指望本地跑模型了但事實(shí)證明這個(gè)判斷過時(shí)了。關(guān)鍵變化有兩個(gè)一是Intel近幾代核顯的EU單元數(shù)量和頻率明顯提升Arc系列更是跨進(jìn)了高性能核顯的陣營二是Ollama這類推理框架早就對(duì)Intel的 Level Zero 和 OpenCL 后端做了深度適配把核顯能不能跑這個(gè)問題的答案從不能變成了能但要看內(nèi)存帶寬。1.2 為什么核顯能跑LLM內(nèi)存帶寬與量化是關(guān)鍵很多人以為跑大模型最缺的是算力其實(shí)在集顯場(chǎng)景下最缺的是內(nèi)存帶寬。核顯沒有獨(dú)立的顯存它用的是共享的系統(tǒng)內(nèi)存。模型權(quán)重要從DDR4/DDR5內(nèi)存或LPDDR5內(nèi)存里搬運(yùn)到GPU核心計(jì)算內(nèi)存讀起來多快推理就能跑多快。大語言模型的推理分兩個(gè)階段prefill解析你輸入的一整段話和decode一個(gè)token一個(gè)token地生成答案。decode階段尤其吃帶寬因?yàn)槊恳徊蕉家讶繖?quán)重重新讀一遍。舉個(gè)例子qwen3.5:0.8b按4bit量化后權(quán)重大約是0.5GB左右假設(shè)你的內(nèi)存帶寬是50GB/s理論上每秒最多能掃過100次權(quán)重對(duì)應(yīng)大概幾十個(gè)token每秒的生成速度。如果你的機(jī)器是DDR5雙通道帶寬上80-90GB/s那速度會(huì)更舒服如果還是老舊的單通道DDR4帶寬只有20多GB/s那速度就只剩個(gè)位數(shù)了。所以核顯跑大模型本質(zhì)上不是顯卡行不行而是內(nèi)存快不快。理解這一點(diǎn)后面所有實(shí)測(cè)數(shù)據(jù)你都能自己推出來。2. 環(huán)境準(zhǔn)備與模型部署Ollama安裝、Intel核顯檢測(cè)與qwen3.5模型拉取2.1 檢查核顯是否滿足條件從驅(qū)動(dòng)到共享內(nèi)存如果你用的是Linux系統(tǒng)第一步不是裝Ollama而是確認(rèn)核顯暴露出來的設(shè)備節(jié)點(diǎn)和驅(qū)動(dòng)棧是否完整。打開終端先看核顯設(shè)備有沒有被系統(tǒng)識(shí)別ls /dev/dri/正常情況下你會(huì)看到card0和renderD128兩個(gè)設(shè)備。如果只有card0沒有renderD128說明渲染節(jié)點(diǎn)沒啟用核顯跑不了加速計(jì)算。接著確認(rèn)OpenCL和Level Zero運(yùn)行時(shí)是否就緒sudo apt update sudo apt install intel-opencl-icd intel-level-zero-gpu clinfo vainfo clinfo | grep Device Name vainfo | grep Driver versionclinfo能看到Intel核顯的OpenCL設(shè)備信息vainfo主要驗(yàn)證視頻加速但也能旁證圖形驅(qū)動(dòng)棧是否健康。這里有個(gè)經(jīng)驗(yàn)很多筆記本在Windows下核顯跑得好好的裝完Linux才發(fā)現(xiàn)驅(qū)動(dòng)沒打全后面一堆問題都是從這里來的。內(nèi)存方面建議至少16GB起步。qwen3.5:0.8b量完才1GB上下看起來8GB也夠但核顯默認(rèn)會(huì)從共享內(nèi)存里預(yù)分配一部分給圖形再加上系統(tǒng)本身占用8GB會(huì)很緊張。qwen3.5:9b更是直接吃5-6GB權(quán)重加上下文緩存內(nèi)存不夠你就只能眼睜睜看著它OOM。2.2 安裝Ollama并啟用Intel核顯后端Ollama的安裝其實(shí)是最沒技術(shù)含量的一步官方支持Linux、macOS、Windows一行命令搞定curl -fsSL https://ollama.com/install.sh | sh裝完先別急著拉模型確認(rèn)一下它到底用的什么后端。新版本的Ollama會(huì)自動(dòng)做硬件探測(cè)但如果你的系統(tǒng)比較老或者之前裝過亂改環(huán)境的軟件最好手動(dòng)指定一下Intel GPU后端。編輯Ollama服務(wù)配置加上環(huán)境變量sudo systemctl edit ollama.service在配置里加上[Service] EnvironmentOLLAMA_INTEL_GPU1 EnvironmentOLLAMA_LLM_LIBRARYintel保存后重啟服務(wù)sudo systemctl daemon-reload sudo systemctl restart ollama這里要補(bǔ)充一個(gè)背景Ollama在Intel核顯上走的是Level Zero API而Level Zero這套接口和NVIDIA的CUDA完全不是一個(gè)東西。如果你不顯式指定后端Ollama可能會(huì)老老實(shí)實(shí)退回CPU推理速度立刻垮一半以上。Windows用戶簡單得多安裝包雙擊完事Ollama會(huì)自動(dòng)識(shí)別Intel核顯。但Windows下想復(fù)用上面的驗(yàn)證命令你得裝Intel官方工具我建議直接在設(shè)備管理器里看有沒有Intel(R) Iris(R) Xe Graphics之類的顯示適配器有就行。2.3 拉取qwen3.5:0.8b和qwen3.5:9b不只是ollama pull那么簡單模型拉取命令看起來就是兩條ollama pull qwen3.5:0.8b ollama pull qwen3.5:9b但這里有個(gè)非常容易踩的坑默認(rèn)拉取的是量化版本還是完整版本不是你想當(dāng)然的那回事。Ollama會(huì)按標(biāo)簽拉取合適格式但你最好在拉之前用ollama show看下模型文件結(jié)構(gòu)。ollama show qwen3.5:0.8b關(guān)注輸出里顯存/內(nèi)存需求那一行如果顯示的需求量大得離譜說明拉到的不是適合集顯跑的量化版得換帶特定后綴的標(biāo)簽。說實(shí)話我一開始沒看結(jié)果0.8b的模型占了4GB內(nèi)存我還以為是正常開銷后來才發(fā)現(xiàn)拉錯(cuò)了標(biāo)簽白白浪費(fèi)半小時(shí)。正確的做法是先到模型倉庫頁確認(rèn)你想要的量化精度比如Q4_K_M之類的QLoRA量化版本體積小、精度損失可控特別適合內(nèi)存帶寬吃緊的核顯設(shè)備。0.8b這種迷你模型用Q4量化后大概0.5GB左右9b則要5.5GB這個(gè)量級(jí)參考下表模型量化格式權(quán)重體積推薦內(nèi)存適合場(chǎng)景qwen3.5:0.8bQ4_K_M約0.5-0.8GB8GB日常對(duì)話、快捷總結(jié)qwen3.5:9bQ4_K_M約5.5-6.5GB16GB長文檔分析、復(fù)雜任務(wù)拉完模型別急著關(guān)終端先跑一下自檢命令ollama list ollama run qwen3.5:0.8b 你好請(qǐng)簡單介紹一下你自己如果回復(fù)正常說明Ollama本體已經(jīng)通了。這時(shí)要看是不是真的在核顯上跑可以在另一個(gè)終端開htop或者用ollama ps看加載狀態(tài)。有些機(jī)器上Ollama顯示跑在GPU但GPU利用率是0%那就是后端沒切干凈回頭再查那個(gè)環(huán)境變量。3. 實(shí)測(cè)數(shù)據(jù)0.8b流暢到起飛9b夠用但別期待滿載3.1 0.8b的實(shí)測(cè)速度與內(nèi)存占用先說結(jié)論qwen3.5:0.8b在Intel核顯上跑起來速度完全在可用范圍。我測(cè)試用的是一臺(tái)搭載Intel Iris Xe核顯、雙通道DDR4-3200內(nèi)存的機(jī)器系統(tǒng)是Ubuntu 22.04Ollama后端明確切換到intel。實(shí)測(cè)生成一個(gè)200字的回復(fù)首token延遲大約1秒左右后續(xù)生成速度穩(wěn)定在45-55 token/s之間。這個(gè)速度是什么概念你正常讀文章的速度大約每分鐘300-400字0.8b的輸出速度已經(jīng)比你讀得快了。日常用來寫摘要、寫標(biāo)題、做文本分類這種輕量任務(wù)完全沒有任何拖沓感。內(nèi)存占用情況模型加載后大約占1.2GB左右加上系統(tǒng)和其他應(yīng)用8GB內(nèi)存的機(jī)器勉強(qiáng)也能跑但如果你想同時(shí)開瀏覽器、編輯器建議還是16GB起步更穩(wěn)。核顯會(huì)動(dòng)態(tài)劃走一部分系統(tǒng)內(nèi)存所以你在任務(wù)管理器或htop里看到的內(nèi)存數(shù)值會(huì)跳動(dòng)這是正?，F(xiàn)象。有個(gè)小細(xì)節(jié)我在跑0.8b時(shí)把上下文窗口設(shè)成了8192結(jié)果首token延遲明顯變長了。后來發(fā)現(xiàn)是KV Cache在初始化時(shí)就要占掉不少內(nèi)存核顯平臺(tái)本來內(nèi)存帶寬就緊張窗口開太大反而拖慢速度。設(shè)成4096之后整體響應(yīng)速度立刻回血。3.2 9b的實(shí)測(cè)表現(xiàn)與調(diào)參建議9b的數(shù)據(jù)就沒那么漂亮了。同樣在DDR4-3200雙通道環(huán)境下qwen3.5:9b的生成速度大約是7-10 token/s首token延遲在3秒左右。這個(gè)速度用來寫代碼注釋、做單輪問答、跑腳本任務(wù)是可以接受的但如果你習(xí)慣ChatGPT那種秒回節(jié)奏會(huì)有明顯的卡頓感。換了DDR5雙通道的機(jī)器測(cè)試速度能提升到15-20 token/s體感好不少。所以如果你的筆記本是近兩年的DDR5平臺(tái)9b其實(shí)可以當(dāng)主力模型用。參數(shù)調(diào)優(yōu)方面我建議在Ollama的運(yùn)行參數(shù)上做幾個(gè)保守設(shè)定ollama run qwen3.5:9b --num-ctx 4096 --temperature 0.6num-ctx控制在4096太大KV Cache吃內(nèi)存decode速度會(huì)進(jìn)一步下滑temperature調(diào)到0.6左右讓模型輸出更穩(wěn)定減少重復(fù)生成還有一點(diǎn)9b跑起來之后核顯溫度會(huì)明顯上升。我的機(jī)器在連續(xù)跑5分鐘后核顯溫度穩(wěn)定在80度左右CPU整體功耗也上了一個(gè)臺(tái)階。筆記本用戶如果散熱不好建議不要長會(huì)話掛著跑完一批任務(wù)就/bye退出讓模型釋放顯存。3.3 雙模型切換與Ollama常用運(yùn)維命令手上有0.8b和9b兩個(gè)模型以后最常遇到的問題就是怎么切換。Ollama的運(yùn)行參數(shù)里其實(shí)能把模型換著加載但如果你不想等重新加載可以把兩個(gè)模型都保持在后臺(tái)然后用ollama ps查看當(dāng)前加載的模型列表。ollama ps這個(gè)命令會(huì)顯示當(dāng)前正在運(yùn)行的模型、顯存/內(nèi)存占用、上下文大小、直到過期的時(shí)間。我用下來最順手的組合是0.8b常駐后臺(tái)處理快速任務(wù)9b用到一個(gè)專門的腳本臨時(shí)加載。需要9b時(shí)直接在命令行指定用完通過ollama stop qwen3.5:9b把它卸載把內(nèi)存還給系統(tǒng)。如果你想把Ollama暴露給其他工具調(diào)用首先要保證服務(wù)在監(jiān)聽端口。默認(rèn)情況下Ollama監(jiān)聽127.0.0.1:11434你可以先驗(yàn)證curl http://127.0.0.1:11434/api/generate -d {model: qwen3.5:0.8b, prompt: 你好}這一步通了后面接入Copaw就非常輕松了。4. Copaw 1.0.1接入與技能配置從聊天玩具到動(dòng)手干活4.1 Copaw如何對(duì)接本地Ollama API模型跑通了但如果只是開個(gè)終端對(duì)話那充其量是本地版ChatGPT離干活還差一步。Copaw就是專門用來做這一步銜接的工具它負(fù)責(zé)把大模型封裝成一個(gè)個(gè)可復(fù)用的技能每次執(zhí)行任務(wù)時(shí)自動(dòng)選擇對(duì)應(yīng)模型和提示詞。Copaw接Ollama的思路非常簡單Ollama本身就提供OpenAI兼容的API地址是http://127.0.0.1:11434/v1/chat/completions在Copaw的配置文件里把模型接口指到這個(gè)地址認(rèn)證方式隨便填一個(gè)任意字符串本地服務(wù)不需要真密鑰然后模型名填你在Ollama里拉好的標(biāo)簽比如qwen3.5:0.8b或qwen3.5:9b。我給Copaw配的第一個(gè)技能叫中文標(biāo)題生成器思路是讓模型根據(jù)我給的正文內(nèi)容輸出3個(gè)不同風(fēng)格的標(biāo)題。技能配置大致長這樣skill: name: 中文標(biāo)題生成器 model: qwen3.5:0.8b system: | 你是一個(gè)資深新媒體編輯擅長為技術(shù)文章生成通俗有趣的中文標(biāo)題。 要求 1. 標(biāo)題必須包含核心關(guān)鍵詞 2. 適當(dāng)使用諧音梗或網(wǎng)絡(luò)流行語 3. 長度控制在15-25字 4. 輸出3個(gè)候選標(biāo)題每個(gè)一行 temperature: 0.8 max_tokens: 128保存好后在Copaw里選中這個(gè)技能輸入一段正文它就自動(dòng)調(diào)Ollama的0.8b模型完成任務(wù)。我用它給上面的實(shí)測(cè)記錄生成了幾個(gè)標(biāo)題有一個(gè)居然是養(yǎng)龍蝦之因特爾UHD/Ultra/Arc核顯跑大模型這讓我哭笑不得——模型自己學(xué)會(huì)了這個(gè)梗。4.2 技能配置實(shí)操用一條系統(tǒng)提示詞把模型改造成專職工具真正讓Copaw效果炸裂的是把技能拆細(xì)。很多人配技能就是把system prompt一改換個(gè)名字本質(zhì)上還是聊天。核心玩法是把任務(wù)拆成多個(gè)技能讓模型各司其職。我做的第二套技能是文章段落總結(jié)器配給9b模型用skill: name: 文章段落總結(jié)器 model: qwen3.5:9b system: | 你是一個(gè)文檔分析助手。用戶會(huì)輸入一段技術(shù)文章。 請(qǐng)輸出 1. 段落編號(hào)和一句話主旨 2. 涉及的技術(shù)點(diǎn)列表 3. 可能的踩坑點(diǎn)如果有 要求輸出簡潔不超過300字。 temperature: 0.3 max_tokens: 512 stop: - 輸出結(jié)束這一套跑在核顯上速度雖然不如0.8b但質(zhì)量高出一大截。9b在小參數(shù)模型里表現(xiàn)確實(shí)好長段落的主旨提取基本合理偶爾會(huì)漏掉小眾技術(shù)細(xì)節(jié)但作為初篩工具已經(jīng)夠用。Copaw還支持把前一個(gè)技能的輸出作為后一個(gè)技能的輸入。比如我先用0.8b跑標(biāo)題生成器把生成的標(biāo)題作為素材再讓9b跑摘要總結(jié)器對(duì)候選標(biāo)題逐一打分最終輸出最優(yōu)標(biāo)題。這種串聯(lián)方式特別適合核顯平臺(tái)——0.8b先快速初篩9b再精加工速度和質(zhì)量都能兼顧。4.3 問答延展技能編排、知識(shí)庫注入與多輪優(yōu)化配技能的過程中有幾個(gè)容易被忽略的細(xì)節(jié)值得單獨(dú)說說。第一系統(tǒng)提示詞里的角色設(shè)定不是越復(fù)雜越好。核顯平臺(tái)跑小模型系統(tǒng)提示詞寫太長會(huì)擠壓實(shí)際內(nèi)容的生成空間我實(shí)測(cè)下來0.8b的system prompt限制在200字以內(nèi)效果最好寫太多它就開始忘記前面的角色要求。9b可以放寬到400字左右但再多也會(huì)出現(xiàn)優(yōu)先級(jí)混亂。第二如果你想讓技能更有針對(duì)性可以把常用知識(shí)片段直接放進(jìn)system prompt里。比如我有一個(gè)本地論壇體回帖風(fēng)格技能就把論壇常用的語氣詞、句式樣例塞進(jìn)提示詞。Copaw會(huì)自動(dòng)把這段固定知識(shí)像文檔前綴一樣帶著效果比我預(yù)期好很多——相當(dāng)于給模型做了一個(gè)微型知識(shí)庫注入。第三多輪對(duì)話場(chǎng)景下建議把歷史消息控制在4-6輪以內(nèi)。因?yàn)楹孙@平臺(tái)的KV Cache會(huì)隨上下文長度線性增長對(duì)話輪數(shù)太多decode速度會(huì)斷崖式下降。我這臺(tái)機(jī)器上9b在10輪對(duì)話后生成速度掉了將近一半切到0.8b才好一點(diǎn)。5. 這波實(shí)測(cè)最容易被坑死的幾個(gè)細(xì)節(jié)5.1 核顯不工作的三大元兇驅(qū)動(dòng)、組權(quán)限、環(huán)境變量整個(gè)流程里最折磨人的環(huán)節(jié)不是模型拉不下來而是模型明明在跑核顯GPU利用率卻始終是0%。我第一次遇到這問題ollama ps顯示模型加載在GPU但GPU利用率就1%速度全是CPU在扛。排查一圈發(fā)現(xiàn)是用戶沒加入video和render組Level Zero后端拿不到/dev/dri/renderD128的權(quán)限自動(dòng)回退到CPU了。解決辦法sudo usermod -aG video,render $USER然后注銷重新登錄再用clinfo確認(rèn)設(shè)備可訪問。這是Linux下跑Intel核顯推理最常見的坑沒有之一。第二個(gè)坑是Ollama退回了CPU后端。很多老教程讓你裝intel-opencl-icd但現(xiàn)在Ollama默認(rèn)走Level Zero你只裝OpenCL驅(qū)動(dòng)根本沒用。必須確認(rèn)系統(tǒng)里有intel-level-zero-gpu并且在配置文件里顯式指定OLLAMA_LLM_LIBRARYintel。第三個(gè)坑出現(xiàn)在Windows平臺(tái)上——如果你用WSL跑Ollama核顯直通是做不到的WSL 2里的Ollama只能CPU你在WSL里裝Intel驅(qū)動(dòng)純屬白費(fèi)功夫。老老實(shí)實(shí)用Windows原生版或者在Linux實(shí)機(jī)上跑。5.2 顯存共享與內(nèi)存容量為什么9b吃掉了你大半內(nèi)存核顯模型推理不占獨(dú)立VRAM這既是好事也是壞事。好處是你不用擔(dān)心顯存溢出模型權(quán)重多大直接落到系統(tǒng)內(nèi)存里壞處是它和系統(tǒng)搶內(nèi)存而且一旦模型加載后不卸載內(nèi)存就一直被占著。實(shí)測(cè)下來qwen3.5:9b加載完系統(tǒng)可用內(nèi)存從16GB直接掉到7-8GB僅模型和上下文緩存就吃掉了6GB左右。如果再開瀏覽器、IDE隨時(shí)可能觸發(fā)內(nèi)存交換硬盤I/O頂上后推理速度直接崩到1-2 token/s。那時(shí)候你會(huì)產(chǎn)生一個(gè)錯(cuò)覺卡得像PPT。實(shí)際上不是顯卡的問題是內(nèi)存被掏空了。我的做法是給Ollama設(shè)置內(nèi)存上限或者干脆準(zhǔn)備一個(gè)卸載腳本。Copaw配置里我也特意把9b技能的使用頻率控制住只有處理長文檔時(shí)才調(diào)用輕量任務(wù)一律走0.8b。如果你只有8GB內(nèi)存強(qiáng)烈建議只保留0.8b。9b雖然能加載但加載完你連打開文檔都困難推理體驗(yàn)會(huì)非常糟糕。5.3 別迷信數(shù)字token速度之外的體驗(yàn)差異最后想聊點(diǎn)數(shù)字之外的東西。一開始我盯著token/s看總覺得9b速度只有個(gè)位數(shù)體驗(yàn)肯定不行。但用了一段時(shí)間發(fā)現(xiàn)實(shí)際感受比數(shù)字好很多。因?yàn)榇竽Ｐ徒换ダ锸譼oken延遲才是更影響體感的指標(biāo)而小上下文場(chǎng)景下9b在核顯上首token延遲也就2-4秒完全在可接受范圍內(nèi)。對(duì)比下來0.8b雖然快但邏輯能力明顯弱你問它復(fù)雜一點(diǎn)的因果推理它會(huì)一本正經(jīng)地把因果關(guān)系倒過來。9b在這類任務(wù)上垮得沒那么厲害。所以我現(xiàn)在的實(shí)際使用策略是能派給0.8b的絕不動(dòng)用9b但關(guān)鍵任務(wù)必須9b兜底。還有一個(gè)小技巧Copaw技能的temperature參數(shù)建議跟任務(wù)類型綁定。生成類任務(wù)標(biāo)題、文案開到0.8-1.0效果靈活分析類任務(wù)總結(jié)、提取開到0.2-0.4輸出更穩(wěn)定。這個(gè)參數(shù)在0.8b和9b上都成立但在9b上作用更明顯。最后補(bǔ)一句跑完這套流程我對(duì)集顯跑大模型的認(rèn)知徹底變了。以前覺得這是玩具現(xiàn)在覺得只要選對(duì)模型量級(jí)、搭配合適的技能編排它完全可以當(dāng)一個(gè)安靜的本地AI工作臺(tái)來用。檔案經(jīng)查全在本地不需要聯(lián)網(wǎng)數(shù)據(jù)都在你手邊這種安全感是云服務(wù)給不了的。如果你手頭正好有一臺(tái)帶Intel核顯的機(jī)器下一步建議從0.8b開始先把Ollama跑通配一個(gè)Copaw技能親手感受一次核顯干活的過程。實(shí)踐一下比我在這兒寫三千字管用。