簡介郭震編寫的一份10頁圖解PDF聚焦DeepSeek大模型在本地環(huán)境的部署與核心技術(shù)解析面向希望私有化使用和研究大模型的初學(xué)者、技術(shù)愛好者及相關(guān)從業(yè)者。內(nèi)容圍繞四大板塊展開首先說明本地部署在隱私安全、定制化微調(diào)和離線運(yùn)行方面的實(shí)際價值隨后梳理LLM基礎(chǔ)概念、Transformer工作原理以及預(yù)訓(xùn)練、監(jiān)督微調(diào)、強(qiáng)化學(xué)習(xí)等訓(xùn)練方法重點(diǎn)部分詳解DeepSeek-R1的訓(xùn)練流程包括引入R1-Zero中間推理模型與通用強(qiáng)化學(xué)習(xí)兩項(xiàng)關(guān)鍵創(chuàng)新展現(xiàn)其在推理能力與泛用性上的提升文末附有進(jìn)一步學(xué)習(xí)參考鏈接便于深入探索。資源為單個PDF文件整體壓縮包約2.66MB篇幅精煉、圖解直觀適合快速建立對DeepSeek本地部署及訓(xùn)練邏輯的系統(tǒng)認(rèn)知。目前已有931人學(xué)習(xí)下載是入門大模型推理優(yōu)化與強(qiáng)化學(xué)習(xí)技術(shù)的一份實(shí)用速覽材料。1. 先搞懂一個概念DeepSeek本地部署到底是什么很多剛接觸AI的朋友都會遇到一個困惑明明網(wǎng)頁上就能用大模型為什么總有人費(fèi)勁在自家電腦上再裝一個其實(shí)答案很簡單——當(dāng)你把聊天數(shù)據(jù)傳到云端時心里多少會犯嘀咕而本地部署等于把整個對話服務(wù)搬回自己家里數(shù)據(jù)不出門還能按自己的喜好折騰。這份10頁P(yáng)DF要解決的就是用最省事的三步把DeepSeek-R1這個開源推理模型裝進(jìn)普通電腦讓你離線也能和它對話還能順手理解背后“推理優(yōu)化”和“強(qiáng)化學(xué)習(xí)”到底是怎樣一回事。這份資源特別適合兩類人一是擔(dān)心數(shù)據(jù)隱私、想在自己機(jī)器上跑模型的初學(xué)者二是剛聽說“大模型訓(xùn)練”“Transformer架構(gòu)”這些詞、想找個不燒腦的圖解資料打基礎(chǔ)的技術(shù)愛好者。下面我就按這份PDF的思路帶你從零走一遍。2. 第一步怎么邁我用三步把DeepSeek裝進(jìn)電腦2.1 為什么要選本地部署而不是直接用網(wǎng)頁版在學(xué)習(xí)怎么裝之前先要弄明白本地部署真正解決了什么問題。官方網(wǎng)頁版當(dāng)然方便但有兩個點(diǎn)沒法繞過第一你的提問內(nèi)容會經(jīng)過云端服務(wù)器對很多場景來說這不算最優(yōu)解第二網(wǎng)頁版的功能是固定的你想針對自己的需求做微調(diào)、接自己的知識庫基本無從下手。本地部署就不一樣了。數(shù)據(jù)從頭到尾只在你機(jī)器里跑不會上傳到任何第三方敏感信息的安全感一下就上來了。更重要的是它可以離線運(yùn)行——就算哪天云服務(wù)出問題你本地的模型照常工作不受外部影響。PDF里還強(qiáng)調(diào)了一個新手最關(guān)心的點(diǎn)這套方案是零成本的而且對硬件要求壓到了最低普通電腦就能跑不用一上來就買頂配顯卡。我第一次在筆記本上裝完那一刻說實(shí)話有點(diǎn)興奮因?yàn)槟欠N“這玩意兒完全歸我管”的感覺是網(wǎng)頁版給不了的。后面你會上手更深的東西比如模型微調(diào)、推理加速也都是建立在“先把模型請到本地”這個前提上。2.2 裝一個“模型管家”O(jiān)llama的安裝與確認(rèn)部署的第一步不是直接下模型而是先裝一個管理工具——Ollama。你可以把它理解成大模型的管家模型怎么下載、怎么啟動、怎么切換都由它統(tǒng)一負(fù)責(zé)。它的好處是很輕量安裝過程基本都是“下一步”不需要你手動配什么環(huán)境變量這對新手太友好了。安裝完成后打開命令窗口Windows的cmd或蘋果的terminal輸入ollama回車屏幕上會出現(xiàn)一列指令。PDF中提到的指令大約有十個基本覆蓋了日常用到的功能?？吹竭@列指令說明Ollama已經(jīng)裝好可以繼續(xù)下一步了。ollama輸完看到命令列表就行這里不做任何操作。如果你得到一個“不是內(nèi)部或外部命令”的報(bào)錯絕大多數(shù)情況是安裝時沒勾選把路徑寫進(jìn)系統(tǒng)重新運(yùn)行安裝包、走完全部默認(rèn)選項(xiàng)就能解決。這套流程之所以推薦給新手是因?yàn)樗炎顝?fù)雜的環(huán)境依賴問題全部屏蔽掉了。2.3 下載模型一行命令拉取deepseek-r1Ollama就位后接下來就是下載模型本身。這里要引入一個概念——模型文件。模型不是裝完軟件就自帶的功能而是一個需要單獨(dú)下載的“參數(shù)包”里面裝著它學(xué)到的全部知識。下載命令只有一行ollama pull deepseek-r1:1.5b這條命令里的deepseek-r1:1.5b是模型名加版本號冒號后面的1.5b表示這是15億參數(shù)的精簡版安裝包相對小普通電腦跑起來流暢。執(zhí)行之后屏幕上會顯示下載進(jìn)度條等它結(jié)束模型就已經(jīng)靜靜躺在你的硬盤里隨時可以啟動。這里有個新手最容易模糊的點(diǎn)ollama和deepseek-r1:1.5b是兩個不同的東西。前者是管理工具后者是具體模型。你之后想換更大的模型只需要換冒號后的版本號再pull一次不用重裝Ollama。理解這一點(diǎn)后面試別的模型時就不會犯迷糊。2.4 和它說第一句話啟動對話界面模型下載完之后最激動的時刻就來了——啟動對話。命令依然是極簡的ollama run deepseek-r1:1.5b輸入這行命令后幾秒鐘之內(nèi)就會進(jìn)入一個對話界面。咱們來試一個真實(shí)的問題比如“請幫我分析Python編程如何從零開始學(xué)習(xí)”。這時候你會看到比較新鮮的一幕回復(fù)內(nèi)容里先是出現(xiàn)think標(biāo)簽里面是模型自己的思考過程像一個小人在心里打草稿等思考結(jié)束出現(xiàn)另一個think標(biāo)簽正式的完整回答才開始輸出。有朋友第一次看到think里的內(nèi)容還以為模型在跟自己說話其實(shí)這就是推理模型的特性。普通模型是直接給答案推理模型會先把推理鏈條顯性化再基于這個鏈條輸出結(jié)論。我個人第一次看到它“想”的過程時真切感覺是在圍觀一臺機(jī)器的內(nèi)部運(yùn)轉(zhuǎn)。需要說明的是這個1.5b版本因?yàn)閰?shù)少回答質(zhì)量肯定比不上網(wǎng)頁版的大參數(shù)模型這是正?，F(xiàn)象——它存在的意義就是讓你用最低的成本跑通整個流程。跑通了后面的路就一下順暢了。3. 大模型零基礎(chǔ)必知這些概念搞懂了才算沒白玩3.1 模型參數(shù)、Scaling Laws與通用性順著剛才的1.5b往下說參數(shù)到底是什么b是billion的縮寫1.5b就是15億7b是70億8b是80億。這指的是神經(jīng)網(wǎng)絡(luò)里權(quán)重參數(shù)和偏置參數(shù)的總量你可以把它粗淺地理解為“神經(jīng)元連接的總數(shù)”。參數(shù)越多模型的知識容量和表達(dá)能力通常越強(qiáng)這是理解大模型最關(guān)鍵的第一把鑰匙。但只有參數(shù)也不行還得有數(shù)據(jù)。大模型之所以看起來“無所不知”跟它訓(xùn)練時用的數(shù)據(jù)規(guī)模和多樣性關(guān)系更大。這一點(diǎn)上有個專門的規(guī)律叫Scaling Laws——參數(shù)越多、數(shù)據(jù)越豐富模型學(xué)到的通用規(guī)律就越多。哪怕數(shù)據(jù)里存在噪聲模型也能在規(guī)模擴(kuò)大時提煉出真正有用的語言模式。相比我們以前在某一個固定數(shù)據(jù)集上訓(xùn)練的小模型上手就針對某個領(lǐng)域大模型的泛化能力和“通識感”天然高出一截。PDF里特別強(qiáng)調(diào)了這個區(qū)別以前我們訓(xùn)練模型是在一個特定數(shù)據(jù)集上模型只認(rèn)識那個領(lǐng)域大模型是在海量多領(lǐng)域數(shù)據(jù)上訓(xùn)練出來的所以具備多任務(wù)處理能力。這也是為什么你可以直接問DeepSeek編程、醫(yī)學(xué)、歷史等各種方向的問題它都能接住話。3.2 Transformer大模型共同的骨架聊完規(guī)模再聊架構(gòu)。所有主流大模型的底層骨架都是2017年提出的Transformer架構(gòu)。在它誕生之前循環(huán)神經(jīng)網(wǎng)絡(luò)RNN和長短時記憶網(wǎng)絡(luò)LSTM是處理文本的主流但它們處理長文本時容易“忘事”還得一個詞一個詞按順序算速度慢。Transformer直接改變了這個格局。它的核心組件拆開看其實(shí)就四樣。自注意力機(jī)制模型讀句子時會給重要的詞更高的關(guān)注權(quán)重能理解“它”指代前面哪個人多頭注意力一組注意力叫“單頭”同時開好幾個頭各看各的角度理解力就成倍增加前饋神經(jīng)網(wǎng)絡(luò)做非線性變換相當(dāng)于把模型理解到的內(nèi)容再“加工”一遍位置編碼因?yàn)門ransformer不再按順序讀詞了必須有個辦法讓模型知道詞與詞的先后位置于是就給每個詞編碼上位置信息。這四塊拼在一起帶來的最直觀收益有三個并行計(jì)算快、長距離文本關(guān)系捕捉得好、可以做到很大規(guī)模還不崩。前兩個都好理解第三個是它能“長得很大”的根本原因。3.3 訓(xùn)練三階段預(yù)訓(xùn)練、監(jiān)督微調(diào)與強(qiáng)化學(xué)習(xí)架構(gòu)只是骨架本事是“練出來”的。大模型的訓(xùn)練路徑大致分三個階段。預(yù)訓(xùn)練是所有階段的地基。方法是從互聯(lián)網(wǎng)收集海量文本——書籍、新聞、論壇帖子等然后讓模型一遍遍做“填空”任務(wù)即根據(jù)前文預(yù)測下一個詞訓(xùn)練目標(biāo)是讓預(yù)測誤差越來越小。這一階段主要完成的是“學(xué)會語言”包括語法、常識、知識和推理雛形。模型學(xué)會說話了但不見得會“好好說話”。于是到了監(jiān)督微調(diào)階段——用大量人工標(biāo)注好的問答對、對話樣本來訓(xùn)練模型讓它在特定任務(wù)上模仿人怎么寫回答、怎么保持得體。你平時用的通用對話模型主要就是靠這個階段變得“像人”。最后一個階段是強(qiáng)化學(xué)習(xí)玩法就不一樣了。這里用到人類反饋強(qiáng)化學(xué)習(xí)RLHF人類標(biāo)注者先給出參考回答模型學(xué)著學(xué)習(xí)人類的偏好標(biāo)準(zhǔn)然后通過不斷的獎勵反饋訓(xùn)練逼著自己每次都往人類偏愛的方向生成文本。換句話說預(yù)訓(xùn)練學(xué)的是“語言規(guī)律”SFT學(xué)的是“怎么回答”RLHF學(xué)的是“怎么回答得讓人滿意”。理解這三步后面看DeepSeek-R1的獨(dú)特訓(xùn)練路徑就有了上下文。4. DeepSeek-R1為什么特別圖解公式背后的兩項(xiàng)核心創(chuàng)新4.1 從V3-Base出發(fā)先有基礎(chǔ)再談推理前面鋪墊了那么多基礎(chǔ)現(xiàn)在終于可以進(jìn)入這份PDF最核心的部分——DeepSeek-R1到底強(qiáng)在哪。一句話概括強(qiáng)在數(shù)學(xué)和邏輯推理能力而這條路子不是靠堆參數(shù)堆出來的是靠改變訓(xùn)練方法“煉”出來的。R1的訓(xùn)練起點(diǎn)是DeepSeek-V3-Base也就是V3的基礎(chǔ)模型版本還沒有經(jīng)過對話微調(diào)。你可以把Base理解成一張白紙知道語言規(guī)則但不太懂花式對話。R1團(tuán)隊(duì)就是在這張白紙上畫自己的訓(xùn)練路線。整條路線分為兩大創(chuàng)新階段先訓(xùn)練一個中間推理模型再基于它做通用強(qiáng)化學(xué)習(xí)。這里有個關(guān)鍵信息可以緩解很多人的疑慮R1官方文章中展現(xiàn)的驚人推理成績不是一步到位的是分階段疊加訓(xùn)練策略的結(jié)果。4.2 核心創(chuàng)新一R1-Zero把訓(xùn)練慣性“掀翻”了在傳統(tǒng)訓(xùn)練里監(jiān)督微調(diào)幾乎是個默認(rèn)動作先有標(biāo)注數(shù)據(jù)教模型模仿再進(jìn)行強(qiáng)化學(xué)習(xí)。這次團(tuán)隊(duì)做了一個大膽操作完全跳過SFT直接在V3-Base上開練強(qiáng)化學(xué)習(xí)訓(xùn)練出一個叫R1-Zero的純強(qiáng)化學(xué)習(xí)模型。靈感從哪來推理數(shù)據(jù)人工標(biāo)注費(fèi)時費(fèi)力成本極高團(tuán)隊(duì)想先訓(xùn)練一個R1-Zero來自動生成高質(zhì)量的長鏈?zhǔn)剿季S推理數(shù)據(jù)也就是大量的CoT示例再拿這些數(shù)據(jù)去支持后續(xù)SFT階段。等于用一個會自動“做草稿”的模型代替人來產(chǎn)數(shù)據(jù)把中間環(huán)節(jié)省掉一大半。這個決定意外收獲了一個重要發(fā)現(xiàn)純強(qiáng)化學(xué)習(xí)不需要人類教模型怎么推理模型自己在探索過程中就發(fā)展出了反思和驗(yàn)證的推理策略。PDF中的對比數(shù)據(jù)值得認(rèn)真看一眼——隨著訓(xùn)練推進(jìn)R1-Zero的推理準(zhǔn)確率持續(xù)爬升最終在一項(xiàng)數(shù)學(xué)推理指標(biāo)上超越了前沿推理模型。這個結(jié)果放在一年前很多人會覺得不可思議。4.3 核心創(chuàng)新二用通用強(qiáng)化學(xué)習(xí)“收服”野馬R1-Zero推理強(qiáng)歸強(qiáng)問題也馬上暴露出來了。它生成的內(nèi)容經(jīng)常出現(xiàn)語言混著寫推理正確但回答亂糟糟同時非推理類任務(wù)比如日常詢問、閑聊效果就不夠好。團(tuán)隊(duì)意識到純強(qiáng)化學(xué)習(xí)練出來的推理怪獸還欠缺“通用性”和“可讀性”。于是第二個創(chuàng)新登場——通用強(qiáng)化學(xué)習(xí)訓(xùn)練框架。這次學(xué)乖了先用少量高質(zhì)量數(shù)據(jù)在V3-Base上做一次SFT看作是“定點(diǎn)矯正”讓模型學(xué)會人類偏喜歡的表達(dá)方式然后在SFT之后的檢查點(diǎn)上做通用強(qiáng)化學(xué)習(xí)訓(xùn)練目標(biāo)從“只優(yōu)化推理”擴(kuò)展為“同時優(yōu)化推理任務(wù)和通用任務(wù)”。為了不讓模型跑偏過程中引入了幫助性和安全性兩個獎勵模型。幫助性獎勵模型負(fù)責(zé)評判回答是否滿足用戶需求安全性獎勵模型負(fù)責(zé)把關(guān)有沒有不當(dāng)內(nèi)容。這兩個模型起著“監(jiān)督員”的作用它在訓(xùn)練中不斷照著裁判的分?jǐn)?shù)修正自己的行為。經(jīng)過這一輪R1不僅保留住了R1-Zero打磨出來的推理鋒芒還把“日常對話”“知識問答”這些通用能力補(bǔ)了回來。4.4 兩張訓(xùn)練圖看懂R1完整版圖把兩階段連起來看完整路徑是這樣的先基于V3-Base跑推理導(dǎo)向強(qiáng)化學(xué)習(xí)得到中間推理模型這個過程中產(chǎn)出大量高質(zhì)量CoT推理數(shù)據(jù)再用這些數(shù)據(jù)做SFT得到一個語感正常、會推理的checkpoint最后在checkpoint上做通用強(qiáng)化學(xué)習(xí)加獎勵模型調(diào)優(yōu)得到最終的R1。很多人讀到這里會問一個很實(shí)際的問題那我一個普通人用得到強(qiáng)化學(xué)習(xí)的知識嗎答案是現(xiàn)階段你確實(shí)用不到。但這些概念理解了以后你看論文、看技術(shù)博客、跟同行交流就不會再一頭霧水。更重要的是當(dāng)你未來想自己做微調(diào)、訓(xùn)練垂直領(lǐng)域模型時會知道該提什么詞、朝哪個方向查資料。PDF的精華就在于此——它提供了一張補(bǔ)全認(rèn)知的地圖。5. 新手最容易踩的坑部署運(yùn)行中常見問題排查5.1 現(xiàn)象命令輸入后報(bào)錯“不是內(nèi)部或外部命令”這是我見過最高頻的翻車現(xiàn)場而且?guī)缀醵及l(fā)生在同一階段。高高興興輸ollama結(jié)果系統(tǒng)提示不認(rèn)識這個命令瞬間覺得是自己電腦太老。原因其實(shí)非常樸素安裝Ollama時沒有把程序路徑注冊到系統(tǒng)環(huán)境變量里或者安裝過程中斷在沒有寫入路徑的那一步。解決也不難——重新運(yùn)行安裝包走完全部默認(rèn)步驟確保進(jìn)度條走到最后的“安裝成功”。裝完后全新打開一個命令窗口再試問題基本消失。5.2 現(xiàn)象模型下載速度緩慢甚至卡住不動下載deepseek-r1:1.5b時進(jìn)度條半天不動或者始終停在某個百分比。新手常常會誤以為電腦出了問題反復(fù)取消又重試反而讓進(jìn)度倒退。原因通常是網(wǎng)絡(luò)因素下載源在大模型服務(wù)方那邊網(wǎng)絡(luò)波動直接拖慢速度。解決方法是等待只要網(wǎng)絡(luò)沒斷進(jìn)度條總會往前走。如果真的卡了很久沒動靜可以按Ctrl C中斷重新執(zhí)行一次ollama pull deepseek-r1:1.5b模型文件支持?jǐn)帱c(diǎn)續(xù)傳不會白下。5.3 現(xiàn)象對話回復(fù)特別笨答非所問和1.5b版對話發(fā)現(xiàn)它給出的答案像在敷衍甚至明顯錯誤。第一次接觸大模型的朋友很容易懷疑是不是我哪里沒配置對這其實(shí)是版本之間的能力差異無關(guān)部署錯誤。1.5b只有15億參數(shù)是R1家族里的最小號受知識容量限制回答質(zhì)量自然和滿血版有距離。它被推薦用來入門核心價值是讓你用最低的配置跑通全流程而不是立刻得到最佳答案。解決姿勢是跑通流程后再考慮拉取更大的版本試試比如7b或者更大的前提是你的電腦內(nèi)存跟得上。跑通了就不要苛求它這條路很順如果方向錯了換條路試試即可。5.4 現(xiàn)象模型回答里出現(xiàn)一堆亂碼運(yùn)行對話時偶爾會看到think標(biāo)簽里的思考內(nèi)容顯示得很混亂或者正式回答里夾雜著不完整的句子。有人會以為模型損壞急著卸載重裝。原因在于推理模型在探索推理時生成的思維鏈有時候不會完美符合人類排版習(xí)慣尤其在小參數(shù)版本上更常見。解決方法是繼續(xù)正常對話必要時簡單提醒一句“請重新回答”它會基于思維鏈輸出更干凈的內(nèi)容。絕大多數(shù)情況不需要重裝模型。5.5 現(xiàn)象電腦風(fēng)扇狂轉(zhuǎn)機(jī)身發(fā)燙跑1.5b時電腦發(fā)熱明顯有人擔(dān)心這是燒硬件的節(jié)奏。實(shí)際上這也是小參數(shù)模型里的常見場景。原因很簡單推理是計(jì)算密集型任務(wù)CPU或顯卡高負(fù)荷運(yùn)轉(zhuǎn)讓風(fēng)扇滿轉(zhuǎn)是正常散熱機(jī)制在工作離燒掉硬件還很遠(yuǎn)。解決方法是注意通風(fēng)、別把電腦放在被子或軟墊上如果是筆記本可以墊高底部輔助散熱。真覺得發(fā)熱影響體驗(yàn)還可以給Ollama配置模型運(yùn)行線程數(shù)上限讓它在稍微“怠速”的狀態(tài)下工作。有了這個思路后面跑更大模型時就知道先留個心眼。6. 接下來學(xué)什么從“能跑”到“會用”的三條進(jìn)階路當(dāng)你跑通了第一條命令這篇入門文的使命就完成了大半。但一個模型裝進(jìn)電腦只是開始你想不想知道下一步應(yīng)該做什么我給你三條不同方向的路按自己的興趣挑一條走就行。第一條路是“換模型”。deepseek-r1只是Ollama庫里的一種它的背后還站著大量開源模型——有專門面向代碼生成的、有主打中文問答的、有追求輕量的。你可以在Ollama的模型庫頁面按榜單熱度選一個參數(shù)級別相近的模型用同樣的ollama pull拉下來再換了跑一下對比兩者對同一個問題的回答風(fēng)格。這能幫你直觀理解“不同模型脾氣不一樣”這件事比看任何文章都有效。第二條路是“讀透R1”。這份PDF后半部分講了R1的訓(xùn)練路徑但你可能會覺得單看訓(xùn)練流程圖還不夠過癮想知道更多細(xì)節(jié)。順著PDF參考文獻(xiàn)里列出的觀察類文章往下讀比如“圖解DeepSeek-R1”這類長文逐段對照訓(xùn)練圖去看重點(diǎn)看兩個地方R1-Zero的強(qiáng)化學(xué)習(xí)如何設(shè)定獎勵目標(biāo)以及通用強(qiáng)化學(xué)習(xí)階段使用的幫助性、安全性獎勵模型如何工作。讀完你會發(fā)現(xiàn)整個R1的研發(fā)思路其實(shí)是一種關(guān)于“怎么用更少的資源做出更高推理能力模型”的工程哲學(xué)。第三條路是“動手折騰”。跑通對話后你完全可以試著提出一些有挑戰(zhàn)性的推理題目比如邏輯謎題、數(shù)學(xué)應(yīng)用題、代碼排錯觀察它在think里展現(xiàn)的思路鏈條再針對它的斷點(diǎn)追問。這個過程能快速訓(xùn)練你對大模型能力的直覺——什么任務(wù)它會、什么任務(wù)它不會、怎么提問才能讓它發(fā)揮最佳狀態(tài)。對已是熟手的無法學(xué)到深層的機(jī)制但對我們新手來說這個憑借資源與實(shí)操獲得的“手感”恰恰是最有價值的第一步。我自己就是從這條路上跌跌撞撞走過來的。最初裝好模型時我連think標(biāo)簽都當(dāng)成報(bào)錯還到處搜“為什么我的回答前面有亂碼”后來才明白那是模型在“打草稿”。從那以后我每次拿到一個新模型都強(qiáng)制自己走一遍“裝好、跑通、問三個怪問題、對比思考鏈”的流程。這個小習(xí)慣讓我后來讀技術(shù)文章時每一個概念都有了真實(shí)的落點(diǎn)。希望這篇入門文能幫你把第一步邁得踏實(shí)也希望你順著這份PDF往下走時不再發(fā)怵——你手里能用的工具已經(jīng)比大多數(shù)人以為的多得多。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取