在本地部署過幾個(gè)開源基座模型之后很多程序員的感受其實(shí)高度一致模型確實(shí)能跑起來但回答總不如官方Demo里那么“聽話”。你問它東它給你續(xù)寫西你要它按JSON格式輸出它偏要自由發(fā)揮加一段解釋。這個(gè)差距十有八九出在監(jiān)督微調(diào)SFT這一環(huán)上。SFT全稱是Supervised Fine-Tuning簡(jiǎn)單說就是拿一批人工標(biāo)注好的“指令-回答”數(shù)據(jù)對(duì)預(yù)訓(xùn)練基座模型做有監(jiān)督的再訓(xùn)練讓模型學(xué)會(huì)人類期望的交互方式。這篇內(nèi)容我會(huì)把SFT的原理、數(shù)據(jù)構(gòu)造、超參數(shù)、訓(xùn)練配置、實(shí)操流程和踩坑記錄一次性講透。它不是泛泛的科普而是對(duì)著能做事的實(shí)踐總結(jié)寫下來之前已經(jīng)在多臺(tái)機(jī)器上反復(fù)驗(yàn)證過建議直接存下來備查。1. 先搞清楚SFT在整條鏈路里的位置1.1 基座模型只會(huì)“續(xù)寫”不會(huì)“干活”很多人第一次玩開源基座模型時(shí)都會(huì)有這個(gè)困惑模型明明很大常識(shí)也很豐富為什么跟它對(duì)話就特別別扭這是因?yàn)榛Ｐ驮陬A(yù)訓(xùn)練階段的唯一目標(biāo)函數(shù)是“下一個(gè)詞預(yù)測(cè)”。它學(xué)到的本質(zhì)是詞與詞之間的統(tǒng)計(jì)關(guān)聯(lián)你輸入一段文本它就按照統(tǒng)計(jì)規(guī)律往后接最可能的詞而不是“理解你的問題然后給出答案”。拿生活化的例子來說基座模型像一個(gè)博覽群書但沒參加過考試的學(xué)生。你問他一道題他憑記憶和語感展開長(zhǎng)篇大論卻不知道答案應(yīng)該是一句話、一段代碼還是一個(gè)JSON對(duì)象。他不知道考試有固定格式、有標(biāo)準(zhǔn)答案、有答題邊界。這些“約定俗成”的東西預(yù)訓(xùn)練階段沒有專門教過只能靠SFT來補(bǔ)課。這種能力差距在實(shí)際部署中非常致命。比如你打算做一個(gè)代碼助手希望模型根據(jù)需求生成Python腳本基座模型可能會(huì)輸出一大段自然語言解釋再夾幾行偽代碼甚至把問題換個(gè)說法又重復(fù)一遍。而經(jīng)過SFT的模型才知道用戶問代碼時(shí)應(yīng)該先給代碼塊再給簡(jiǎn)要說明。所以SFT解決的是“形式對(duì)齊”和“指令跟隨”問題不是知識(shí)注入問題。1.2 SFT、預(yù)訓(xùn)練和RLHF的分工關(guān)系大模型從零到可用的鏈路一般可以拆成三個(gè)階段預(yù)訓(xùn)練、SFT、偏好對(duì)齊常見手段是RLHF/DPO。這三者分工完全不同。預(yù)訓(xùn)練負(fù)責(zé)往里灌知識(shí)讓模型具備語言能力、事實(shí)記憶和推理基礎(chǔ)這一步成本最高通常需要幾千億token和成百上千張顯卡。SFT負(fù)責(zé)教模型“怎么把知識(shí)組織成用戶想要的樣子”用幾千到幾萬條高質(zhì)量的指令數(shù)據(jù)就能完成任務(wù)。偏好對(duì)齊則更進(jìn)一步它解決的是“模型知道答案是什么但不一定知道哪個(gè)答案更符合人類品味”的問題。SFT給的是標(biāo)準(zhǔn)答案就像教科書上的參考答案偏好對(duì)齊給的是一堆答案排序就像閱卷老師告訴你“這個(gè)回答比那個(gè)更流暢、更有用”。SFT是基礎(chǔ)沒有好的SFT模型偏好對(duì)齊做起來會(huì)非常吃力因?yàn)槟Ｐ瓦B基本的指令格式都沒學(xué)好。我見過不少團(tuán)隊(duì)為了省事跳過SFT直接嘗試用偏好優(yōu)化方法調(diào)基座模型結(jié)果模型學(xué)會(huì)了說漂亮話但依然不會(huì)嚴(yán)格按要求辦事。原因很簡(jiǎn)單排序?qū)W習(xí)只能調(diào)整回答風(fēng)格的傾向無法補(bǔ)上“格式不對(duì)齊就是聽不懂人話”這個(gè)根本短板。SFT是讓模型“聽得懂人話”的最低成本方案。1.3 為什么SFT數(shù)據(jù)不多卻能改變模型行為一個(gè)值得思考的問題預(yù)訓(xùn)練看了幾千億token為什么SFT只用幾萬條數(shù)據(jù)就能明顯改變模型行為這里的關(guān)鍵在于SFT改變的不是知識(shí)量而是“概率分布的輸出模式”。模型在預(yù)訓(xùn)練階段其實(shí)已經(jīng)見過大量問答類文本它具備回答問題的潛力只是不知道怎么判斷“當(dāng)前這是在問我問題我應(yīng)該認(rèn)真回答而不是繼續(xù)編故事”。SFT相當(dāng)于給模型做了行為示范看到指令停止發(fā)散按格式輸出。因?yàn)轭A(yù)訓(xùn)練已經(jīng)給了它足夠的語言能力和知識(shí)儲(chǔ)備SFT只需要“撥動(dòng)開關(guān)”把回答模式從續(xù)寫切換到指令跟隨。這也是為什么SFT數(shù)據(jù)不需要海量但必須高質(zhì)量、格式統(tǒng)一、覆蓋充分。理解了這一點(diǎn)就不會(huì)盲目堆數(shù)據(jù)量了。2. SFT數(shù)據(jù)工程成敗的關(guān)鍵不在模型而在數(shù)據(jù)2.1 數(shù)據(jù)長(zhǎng)什么樣三種主流格式必須掌握SFT數(shù)據(jù)的組織方式目前大體上有三種主流格式。第一種是“instruction/input/output”三段式適合任務(wù)型微調(diào)一條樣本就是一個(gè)獨(dú)立問題可以附帶輸入內(nèi)容。第二種是messages對(duì)話格式按角色區(qū)分user和assistant消息適合訓(xùn)練多輪對(duì)話能力。第三種是ShareGPT風(fēng)格用conversations數(shù)組保存完整對(duì)話歷史很多開源訓(xùn)練框架默認(rèn)用這種格式。我在實(shí)際項(xiàng)目中習(xí)慣把數(shù)據(jù)統(tǒng)一轉(zhuǎn)成對(duì)話格式因?yàn)榧幢銌屋喨蝿?wù)也可以看成一輪對(duì)話。統(tǒng)一格式的好處是方便后續(xù)增加多輪樣本模型在推理時(shí)也容易保持上下文連貫。這里有個(gè)新手經(jīng)常踩的坑不同格式混在一起喂給模型模型會(huì)學(xué)到混亂的交互預(yù)期。今天學(xué)的是“首輪直接答”明天學(xué)的是“設(shè)身處地寒暄兩句”最后表現(xiàn)就是時(shí)靈時(shí)不靈。舉個(gè)例子一條標(biāo)準(zhǔn)的對(duì)話格式樣本大概長(zhǎng)這樣{ conversations: [ {role: system, content: 你是一個(gè)專業(yè)的Python開發(fā)助手。}, {role: user, content: 寫一個(gè)函數(shù)輸入一個(gè)整數(shù)列表返回所有偶數(shù)的平方。要求用列表推導(dǎo)式。}, {role: assistant, content: python\ndef square_evens(nums):\n return [x*x for x in nums if x % 2 0]\n\n\n這個(gè)實(shí)現(xiàn)用列表推導(dǎo)式一次完成過濾和映射兩個(gè)操作時(shí)間復(fù)雜度為O(n)。} ] }這個(gè)格式里system字段很重要它定義了模型的人設(shè)和行為約束。很多項(xiàng)目為了省事不寫system模型也能跑但泛化性和穩(wěn)定性會(huì)差很多。我通常會(huì)讓每條樣本都帶system并且準(zhǔn)備一個(gè)默認(rèn)的system兜底避免推理時(shí)傳空值導(dǎo)致模板錯(cuò)亂。2.2 數(shù)據(jù)從哪來開源數(shù)據(jù)集、日志清洗與模型構(gòu)造SFT數(shù)據(jù)來源大致有三條路。第一條是直接用社區(qū)已有的開源SFT數(shù)據(jù)集適合快速驗(yàn)證流程。但這類數(shù)據(jù)集往往質(zhì)量參差不齊可能有回答錯(cuò)誤、格式混亂、重復(fù)過高等問題直接拿來訓(xùn)練模型很容易學(xué)到臟模式。第二條是從自己業(yè)務(wù)里撈真實(shí)數(shù)據(jù)這是最推薦的方式。比如你做客服機(jī)器人就把歷史工單里優(yōu)質(zhì)的“用戶問題-客服回答”對(duì)挑出來清洗。真實(shí)業(yè)務(wù)數(shù)據(jù)與目標(biāo)場(chǎng)景高度匹配微調(diào)效果通常是最好的。第三條是用強(qiáng)模型構(gòu)造數(shù)據(jù)思路是用能力更強(qiáng)的模型批量生成問答對(duì)再人工或者自動(dòng)篩選。這種方式能快速擴(kuò)充數(shù)據(jù)規(guī)模但有個(gè)隱患強(qiáng)模型自己可能也會(huì)犯錯(cuò)錯(cuò)誤會(huì)原樣傳給學(xué)生模型。我見過有團(tuán)隊(duì)用這種方式一天造了幾萬條數(shù)據(jù)訓(xùn)完模型回答流暢但事實(shí)錯(cuò)誤率很高最后排查才發(fā)現(xiàn)數(shù)據(jù)源頭就錯(cuò)了。所以用強(qiáng)模型造數(shù)據(jù)抽樣審核環(huán)節(jié)必須跟上。還有一個(gè)值得注意的點(diǎn)數(shù)據(jù)構(gòu)造時(shí)要考慮分布。如果你做的助手要覆蓋技術(shù)問答、閑聊、拒答三類場(chǎng)景數(shù)據(jù)比例就要和實(shí)際使用場(chǎng)景接近。我見過有項(xiàng)目把閑聊數(shù)據(jù)堆到80%結(jié)果模型變得很油滑正事不愛干了。數(shù)據(jù)分布偏了就改不回來重訓(xùn)成本非常昂貴。2.3 清洗與質(zhì)量控制這些細(xì)節(jié)決定微調(diào)上限數(shù)據(jù)清洗是SFT里最枯燥但最重要的一環(huán)。我一般按下面的順序處理先做全局去重重復(fù)樣本會(huì)讓模型對(duì)特定句式過擬合訓(xùn)練時(shí)看起來loss很低實(shí)際泛化很差。然后做長(zhǎng)度過濾過短的樣本沒有學(xué)習(xí)價(jià)值過長(zhǎng)的樣本會(huì)拖慢訓(xùn)練還要處理超過max length的截?cái)鄦栴}。接著做格式標(biāo)準(zhǔn)化統(tǒng)一標(biāo)點(diǎn)符號(hào)、統(tǒng)一換行、統(tǒng)一代碼塊的標(biāo)記語言讓模型學(xué)到干凈的模式。更關(guān)鍵的是內(nèi)容校驗(yàn)。如果數(shù)據(jù)里有明顯的錯(cuò)誤答案模型會(huì)當(dāng)作正確答案來學(xué)。這塊我建議人力抽檢加規(guī)則過濾雙管齊下。比如代碼類數(shù)據(jù)可以嘗試直接執(zhí)行樣本來驗(yàn)證正確性知識(shí)類數(shù)據(jù)可以用關(guān)鍵詞匹配或交叉驗(yàn)證來做粗篩。用腳本刪掉明顯答非所問的樣本比多訓(xùn)幾百條數(shù)據(jù)有用得多。另外提醒一下編碼問題中文數(shù)據(jù)最容易在清洗時(shí)踩這個(gè)坑。統(tǒng)一轉(zhuǎn)成UTF-8去掉不可見字符和亂七八糟的空格檢查有沒有打斷JSON解析的轉(zhuǎn)義符。這些小事在幾百條數(shù)據(jù)時(shí)看不出問題數(shù)據(jù)量到幾萬條時(shí)任何一個(gè)臟字符都可能讓訓(xùn)練中斷或者模型輸出亂碼。2.4 用多少數(shù)據(jù)最合適不是多多益善SFT數(shù)據(jù)量沒有一個(gè)固定標(biāo)準(zhǔn)但可以給一個(gè)經(jīng)驗(yàn)區(qū)間場(chǎng)景單一的任務(wù)型微調(diào)幾千條高質(zhì)量樣本就夠通用助手的對(duì)話能力微調(diào)一到三萬條比較合適再往上增加數(shù)據(jù)收益會(huì)明顯遞減。原因前面說過SFT主要是行為對(duì)齊模型不需要通過SFT學(xué)海量新知識(shí)它只需要足夠多的示范來理解你的指令格式和輸出偏好。我實(shí)操下來的體會(huì)是數(shù)據(jù)質(zhì)量每提升一檔對(duì)最終效果的影響遠(yuǎn)大于數(shù)據(jù)量翻倍。同樣一萬條數(shù)據(jù)粗洗和精洗之后的模型效果完全不是一個(gè)級(jí)別。寧可只有五千條高質(zhì)量數(shù)據(jù)也別硬湊兩萬條垃圾數(shù)據(jù)。額外的數(shù)據(jù)有時(shí)反而會(huì)引入噪聲讓模型在部分場(chǎng)景下的表現(xiàn)倒退。還有一個(gè)容易被忽略的事情驗(yàn)證集的劃分。SFT不是用完全部數(shù)據(jù)就萬事大吉要留出一部分樣本做驗(yàn)證。我在每次訓(xùn)練前都固定切出5%-10%的數(shù)據(jù)做驗(yàn)證集訓(xùn)練過程中持續(xù)觀察驗(yàn)證集loss。如果訓(xùn)練集loss在降驗(yàn)證集loss在漲那就說明過擬合了及時(shí)停掉可以省下大量時(shí)間。3. 訓(xùn)練配置與超參數(shù)把SFT跑穩(wěn)的核心3.1 全參微調(diào)還是LoRA看條件選方案SFT的實(shí)現(xiàn)方式主要分成全參微調(diào)和參數(shù)高效微調(diào)兩大類LoRA是后者的典型代表。全參微調(diào)是讓基座模型的全部參數(shù)都參與更新效果上限最高但顯存和算力要求也最狠。以7B模型為例全參微調(diào)用AdamW優(yōu)化器動(dòng)輒需要60GB以上的顯存單張消費(fèi)級(jí)顯卡基本做不了。LoRA則是凍結(jié)原始權(quán)重只訓(xùn)練注入的低秩矩陣顯存占用大幅下降7B模型的LoRA訓(xùn)練在24GB顯存下就能跑起來。從效果角度說如果數(shù)據(jù)量足夠大、任務(wù)足夠復(fù)雜全參微調(diào)確實(shí)能學(xué)到更多細(xì)微變化。但對(duì)于大多數(shù)業(yè)務(wù)場(chǎng)景LoRA的效果已經(jīng)非常接近全參微調(diào)而且資源消耗少一個(gè)量級(jí)。我個(gè)人的選擇標(biāo)準(zhǔn)是24GB以下顯存無腦用LoRA能上全參微調(diào)的資源優(yōu)先把多余算力投給數(shù)據(jù)清洗和評(píng)估而不是一味追求全參更新。LoRA還有一個(gè)額外優(yōu)勢(shì)就是多個(gè)adapter可以共用一個(gè)基座模型不同任務(wù)切換非常方便。不過LoRA有個(gè)小坑如果基座模型本身難以通過低秩更新達(dá)到理想效果比如領(lǐng)域知識(shí)嚴(yán)重不足LoRA的表現(xiàn)就會(huì)比全參微調(diào)差一截。這種情況你得先評(píng)估是“不會(huì)聽指令”還是“不懂這個(gè)領(lǐng)域”前者LoRA能解決后者可能需要考慮增量預(yù)訓(xùn)練或者換更強(qiáng)的基座。3.2 關(guān)鍵超參數(shù)選擇與背后的邏輯SFT常用的超參數(shù)并不復(fù)雜但每個(gè)參數(shù)的取值范圍和背后邏輯一定要清楚。學(xué)習(xí)率是第一個(gè)要小心設(shè)置的參數(shù)。全參微調(diào)一般用1e-5到2e-5LoRA則可以用到1e-4到2e-4。因?yàn)長(zhǎng)oRA只更新很少的參數(shù)學(xué)習(xí)率可以步子大一點(diǎn)。如果學(xué)習(xí)率設(shè)得太高模型會(huì)快速忘掉預(yù)訓(xùn)練學(xué)到的知識(shí)表現(xiàn)出來就是loss降低很快但輸出開始胡言亂語。訓(xùn)練輪數(shù)同樣需要克制。高質(zhì)量SFT數(shù)據(jù)集2到4個(gè)epoch是比較穩(wěn)的范圍。數(shù)據(jù)量很大時(shí)甚至1個(gè)epoch就夠了。這里有個(gè)常見的認(rèn)知誤區(qū)多訓(xùn)幾輪不一定是好事。模型反復(fù)看過同一批樣本后會(huì)對(duì)訓(xùn)練集的表達(dá)方式過度擬合導(dǎo)致泛化能力下降。我在訓(xùn)練時(shí)會(huì)同時(shí)盯著訓(xùn)練loss和驗(yàn)證loss一旦驗(yàn)證loss開始回升就立即停止通常能比固定epoch訓(xùn)練得到更好的結(jié)果。批大小和梯度累積對(duì)SFT也很關(guān)鍵。因?yàn)轱@存限制單卡一般只能放很小batch但batch太小會(huì)導(dǎo)致梯度噪聲大、訓(xùn)練不穩(wěn)定。解決辦法是設(shè)置一個(gè)較小的per_device_batch_size然后用梯度累積湊到等效batch size。比如per_device_batch_size1gradient_accumulation_steps16等效batch size就是16。我習(xí)慣把等效batch size控制在32到64之間既穩(wěn)定又不會(huì)太慢。權(quán)重衰減一般設(shè)為0.01warmup ratio設(shè)0.03左右這些是經(jīng)驗(yàn)值大多數(shù)場(chǎng)景直接照用不會(huì)出錯(cuò)。學(xué)習(xí)率調(diào)度器推薦cosine它在訓(xùn)練末期能把學(xué)習(xí)率平滑降到很低有助于收斂到更好的局部最優(yōu)。3.3 LoRA的rank、alpha和target_modules怎么定LoRA的rank是低秩矩陣的維度直接影響可訓(xùn)練參數(shù)量和表達(dá)能力。常見的實(shí)踐值是8、16、32。rank太小模型學(xué)不到足夠復(fù)雜的映射rank太大訓(xùn)練參數(shù)變多但收益不一定成比例提升。我通常先用16跑一個(gè)小實(shí)驗(yàn)觀察效果后再?zèng)Q定要不要加大。alpha是縮放系數(shù)一般設(shè)置為rank的兩倍比如rank16時(shí)alpha32。這個(gè)比例在大多數(shù)情況下表現(xiàn)良好。target_modules的選擇是個(gè)容易被忽視的細(xì)節(jié)。在Transformer結(jié)構(gòu)里L(fēng)oRA可以注入到自注意力層的q/k/v/o投影矩陣也可以注入到前饋網(wǎng)絡(luò)的gate/up/down投影。我測(cè)試下來同時(shí)注入注意力模塊和前饋模塊效果比只注入注意力要好尤其在做中文指令跟隨任務(wù)時(shí)。原因是前饋網(wǎng)絡(luò)承擔(dān)了大量知識(shí)記憶的功能通過低秩更新微調(diào)這部分能讓模型更快適應(yīng)訓(xùn)練數(shù)據(jù)里出現(xiàn)的表達(dá)習(xí)慣。還有兩個(gè)細(xì)節(jié)值得提。第一bias參數(shù)通常設(shè)成not update保持和基座模型一致減少訓(xùn)練參數(shù)總量。第二lora_dropout建議設(shè)置0.05到0.1防止過擬合但如果驗(yàn)證集表現(xiàn)正常dropout設(shè)小一點(diǎn)也能提升收斂速度這個(gè)可以微調(diào)。3.4 顯存與訓(xùn)練穩(wěn)定性配置跑SFT之前先想清楚兩個(gè)問題用不用梯度檢查點(diǎn)用不用混合精度。梯度檢查點(diǎn)是個(gè)顯存換速度的手段開啟后顯存占用可以降低大約30%-40%代價(jià)是訓(xùn)練速度變慢。對(duì)7B模型加LoRA的場(chǎng)景我建議開啟它因?yàn)轱@存往往比時(shí)間更緊張?；旌暇确矫嬗ミ_(dá)較新的卡建議直接用bf16它的動(dòng)態(tài)范圍和穩(wěn)定性都優(yōu)于fp16不容易出現(xiàn)loss溢出為NaN的問題。老顯卡只支持fp16時(shí)記得加上loss scale策略并持續(xù)監(jiān)控訓(xùn)練日志。序列長(zhǎng)度max seq length是另一個(gè)需要仔細(xì)權(quán)衡的配置。它決定模型能看到多長(zhǎng)的上下文。設(shè)得太短長(zhǎng)對(duì)話會(huì)被截?cái)嗄Ｐ蛯W(xué)不到完整的依賴關(guān)系設(shè)得太長(zhǎng)顯存占用隨長(zhǎng)度線性增長(zhǎng)訓(xùn)練速度也會(huì)下降。我建議先統(tǒng)計(jì)一下訓(xùn)練數(shù)據(jù)中最長(zhǎng)的樣本長(zhǎng)度然后設(shè)定為覆蓋80%-90%樣本的長(zhǎng)度值剩下的長(zhǎng)樣本做截?cái)嗵幚磉@樣性價(jià)比最高。還有兩個(gè)工程層面的配置容易出問題。一個(gè)是保存間隔建議同時(shí)按“步數(shù)”和“時(shí)間”兩個(gè)維度設(shè)置長(zhǎng)時(shí)間訓(xùn)練時(shí)至少每小時(shí)能看到一個(gè)可用的checkpoint避免意外中斷后白白浪費(fèi)時(shí)間。另一個(gè)是日志打印頻率打開日志打印每10步打一次loss監(jiān)控文本生成。因?yàn)橛袝r(shí)候loss很漂亮實(shí)際生成的文本已經(jīng)完全崩壞只看數(shù)字發(fā)現(xiàn)不了問題。4. 完整實(shí)操?gòu)脑紗柎鸬轿⒄{(diào)上線4.1 環(huán)境準(zhǔn)備與最低硬件要求實(shí)操第一步是準(zhǔn)備環(huán)境。我的建議是先建一個(gè)獨(dú)立的Python環(huán)境避免依賴沖突。核心依賴就是深度學(xué)習(xí)框架、模型加載庫(kù)、數(shù)據(jù)集庫(kù)和LoRA庫(kù)這幾樣就能跑通整個(gè)流程。GPU方面如果你想微調(diào)7B量級(jí)的開源基座模型24GB顯存是甜點(diǎn)位用LoRA加梯度檢查點(diǎn)可以比較舒服地跑起來。如果顯存只有16GB可以通過4bit量化加載基座模型仍然能完成LoRA訓(xùn)練只是量化后訓(xùn)練精度略有損失。這里有個(gè)建議第一次跑通全流程時(shí)不要直接上大模型。先用幾億參數(shù)量級(jí)的小模型跑通數(shù)據(jù)加載、訓(xùn)練、保存、推理的閉環(huán)再換成目標(biāo)模型。小模型調(diào)試成本低跑完一個(gè)epoch只需幾分鐘任何代碼問題都能快速暴露。我每次接到新任務(wù)都先用小模型驗(yàn)證數(shù)據(jù)和代碼確認(rèn)無誤后再換大模型訓(xùn)練這套流程幫我省下了大量調(diào)試時(shí)間。基座模型選擇的核心原則是中英文、代碼、數(shù)學(xué)能力匹配你的目標(biāo)場(chǎng)景且盡量選擇指令跟隨能力已經(jīng)不錯(cuò)的版本。如果底子太差SFT要補(bǔ)的課太多效果必然受限。4.2 數(shù)據(jù)格式轉(zhuǎn)換腳本不管原始數(shù)據(jù)是Excel、JSON還是數(shù)據(jù)庫(kù)導(dǎo)出的CSV第一步都要統(tǒng)一轉(zhuǎn)成訓(xùn)練框架能讀入的格式。下面這個(gè)腳本可以把簡(jiǎn)單的“問題-答案”列表轉(zhuǎn)成對(duì)話格式的JSONL文件import json # 原始數(shù)據(jù)假設(shè)每條是 {question: ..., answer: ...} raw_data [ { question: 什么是列表推導(dǎo)式, answer: 列表推導(dǎo)式是Python中一種簡(jiǎn)潔地創(chuàng)建列表的語法格式為 [表達(dá)式 for 元素 in 可迭代對(duì)象 if 條件]。 }, # 更多樣本... ] SYSTEM_PROMPT 你是一個(gè)專業(yè)的中文技術(shù)助手請(qǐng)用簡(jiǎn)潔準(zhǔn)確的語言回答用戶的問題。 def convert_to_sharegpt(item): return { conversations: [ {role: system, content: SYSTEM_PROMPT}, {role: user, content: item[question]}, {role: assistant, content: item[answer]}, ] } with open(sft_train.jsonl, w, encodingutf-8) as f: for item in raw_data: f.write(json.dumps(convert_to_sharegpt(item), ensure_asciiFalse) \n) print(f轉(zhuǎn)換完成共 {len(raw_data)} 條樣本)轉(zhuǎn)換腳本的核心邏輯就是把每條樣本包成system、user、assistant三段。有人問system每次都要寫嗎我的建議是默認(rèn)都寫哪怕內(nèi)容一樣。這樣模型在訓(xùn)練中會(huì)穩(wěn)定學(xué)習(xí)到“先讀人設(shè)再看問題”的行為模式。另外寫入文件時(shí)一定加ensure_asciiFalse否則中文會(huì)被轉(zhuǎn)成\uXXXX的Unicode轉(zhuǎn)義序列可讀性極差后續(xù)檢查數(shù)據(jù)非常痛苦。4.3 訓(xùn)練腳本與關(guān)鍵配置數(shù)據(jù)準(zhǔn)備好之后訓(xùn)練腳本的核心部分如下。這個(gè)腳本以加載基座模型為基礎(chǔ)套上LoRA配置然后通過訓(xùn)練參數(shù)控制訓(xùn)練過程from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training from datasets import load_dataset # 1. 加載基座模型和tokenizer # base_model_path 換成你手中的基座模型路徑 model AutoModelForCausalLM.from_pretrained( base_model_path, torch_dtypebf16, device_mapauto, ) tokenizer AutoTokenizer.from_pretrained(base_model_path) # 2. 設(shè)置pad token。如果tokenizer沒有pad token用eos代替 if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token model.config.pad_token_id tokenizer.eos_token_id # 3. 配置LoRA lora_config LoraConfig( r16, lora_alpha32, target_modules[ q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj, ], lora_dropout0.05, biasnone, task_typeCAUSAL_LM, ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 打印可訓(xùn)練參數(shù)量 # 4. 定義訓(xùn)練參數(shù) training_args TrainingArguments( output_dir./sft_checkpoints, per_device_train_batch_size1, gradient_accumulation_steps16, learning_rate1e-4, num_train_epochs3, logging_steps10, save_steps200, save_total_limit3, bf16True, gradient_checkpointingTrue, optimadamw_torch, lr_scheduler_typecosine, warmup_ratio0.03, weight_decay0.01, report_tonone, ) # 5. 加載數(shù)據(jù)集并按模板格式處理 dataset load_dataset(json, data_filessft_train.jsonl, splittrain) def format_chat(example): # 把conversations拼成模型需要的模板文本 # 這里用簡(jiǎn)單的拼接方式實(shí)際項(xiàng)目中建議使用tokenizer.apply_chat_template messages example[conversations] text for msg in messages: role msg[role] content msg[content] if role system: text f系統(tǒng){content}\n elif role user: text f用戶{content}\n else: text f助手{content}\n text 助手 return {text: text} tokenized_dataset dataset.map( lambda x: tokenizer( format_chat(x)[text], truncationTrue, max_length2048, paddingFalse, ), remove_columnsdataset.column_names, ) # 6. 創(chuàng)建Trainer并開始訓(xùn)練 trainer Trainer( modelmodel, argstraining_args, train_datasettokenized_dataset, tokenizertokenizer, ) trainer.train()這套配置有幾個(gè)數(shù)值值得解釋一下。per_device_train_batch_size1配gradient_accumulation_steps16的組合是為了在24GB顯存下跑7B模型的同時(shí)保持batch size不至過小。學(xué)習(xí)率1e-4是LoRA的常見起點(diǎn)如果你發(fā)現(xiàn)訓(xùn)練早期loss出現(xiàn)明顯波動(dòng)可以降到5e-5繼續(xù)試。max_length設(shè)2048是因?yàn)榇蠖鄶?shù)SFT樣本并不需要那么長(zhǎng)的上下文這個(gè)長(zhǎng)度在顯存和表達(dá)能力之間比較均衡。另外訓(xùn)練時(shí)打印可訓(xùn)練參數(shù)量是一個(gè)好習(xí)慣。一個(gè)7B模型的LoRA訓(xùn)練可訓(xùn)練參數(shù)通常只在幾千萬到一億左右占比不到2%。看到這個(gè)數(shù)字你就明白為什么LoRA這么快了。4.4 推理驗(yàn)證與adapter合并訓(xùn)練完成后LoRA的權(quán)重是單獨(dú)保存的并不會(huì)直接寫回基座模型。推理之前需要先加載adapter驗(yàn)證效果。加載方式有兩種一種是直接生成適合快速驗(yàn)證另一種是把a(bǔ)dapter合并回基座模型生成一個(gè)新模型適合部署上線。from peft import PeftModel # 加載基座模型 base_model AutoModelForCausalLM.from_pretrained( base_model_path, torch_dtypebf16, device_mapauto, ) tokenizer AutoTokenizer.from_pretrained(base_model_path) if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token # 加載訓(xùn)練好的LoRA adapter model PeftModel.from_pretrained(base_model, ./sft_checkpoints/checkpoint-600) model.eval() # 合并adapter到基座模型部署時(shí)推薦 merged_model model.merge_and_unload() merged_model.save_pretrained(merged_model) tokenizer.save_pretrained(merged_model)合并這一步值得多說兩點(diǎn)。第一合并后的模型體積和基座模型一樣大但推理時(shí)不再需要額外的adapter管理可以直接用常規(guī)方式加載和部署。如果你用的是vLLM這類推理框架合并后的模型兼容性更好。第二合并操作會(huì)修改全部權(quán)重所以合并前一定要把原始基座模型備份好。有一次我誤操作直接覆蓋了原始權(quán)重只能重新下載模型那個(gè)下載時(shí)間足夠?qū)懸黄虏┛土?。?yàn)證模型效果時(shí)我建議同時(shí)準(zhǔn)備三組測(cè)試用例第一組是訓(xùn)練數(shù)據(jù)里沒見過的類似題目看模型泛化能力第二組是訓(xùn)練數(shù)據(jù)里出現(xiàn)過的原題看模型記住了沒有第三組是稍微挑戰(zhàn)指令格式的用例比如要求它用表格輸出、用特定語氣回答看它是不是真的理解了指令跟隨。5. 常見問題與排查技巧實(shí)錄5.1 Loss降了模型反而變傻了這個(gè)現(xiàn)象出現(xiàn)過太多次了。訓(xùn)練日志上loss一路下降看起來非常健康結(jié)果拿出去一測(cè)模型回答質(zhì)量反而比微調(diào)前更差。遇到這種情況第一個(gè)懷疑對(duì)象就是數(shù)據(jù)質(zhì)量。SFT模型會(huì)把訓(xùn)練數(shù)據(jù)中的錯(cuò)誤、噪聲和格式混亂原樣學(xué)進(jìn)去。如果loss降得很快說明模型記性好把臟數(shù)據(jù)也記住了。第二個(gè)懷疑對(duì)象是數(shù)據(jù)分布。比如訓(xùn)練數(shù)據(jù)里80%都是“知識(shí)問答”20%是“代碼生成”模型自然會(huì)偏向知識(shí)問答的輸出風(fēng)格代碼能力反而不升反降。檢查一下訓(xùn)練數(shù)據(jù)的類別占比把比例往目標(biāo)場(chǎng)景調(diào)整往往是這一類問題最簡(jiǎn)單的解決辦法。第三個(gè)原因可能是驗(yàn)證集劃分不合適。如果你留出的驗(yàn)證集和訓(xùn)練集高度相似驗(yàn)證loss會(huì)一直很樂觀等到真正上線面對(duì)新數(shù)據(jù)時(shí)才暴露問題。我建議驗(yàn)證集盡量和線上場(chǎng)景保持一致而不是隨機(jī)抽樣。5.2 災(zāi)難性遺忘怎么控制災(zāi)難性遺忘是SFT最頭疼的問題之一表現(xiàn)是微調(diào)后模型對(duì)目標(biāo)場(chǎng)景表現(xiàn)很好但通用能力明顯倒退比如數(shù)學(xué)變差、常識(shí)錯(cuò)誤增多。根本原因在于SFT訓(xùn)練數(shù)據(jù)分布和預(yù)訓(xùn)練數(shù)據(jù)分布差距太大模型在擬合訓(xùn)練數(shù)據(jù)的過程中把原有的知識(shí)表達(dá)式覆蓋掉了?？刂七z忘的方法有幾個(gè)第一個(gè)是降低學(xué)習(xí)率。學(xué)習(xí)率越高權(quán)重改動(dòng)幅度越大遺忘越嚴(yán)重。我遇到過把學(xué)習(xí)率從1e-4降到5e-5之后目標(biāo)任務(wù)效果只差一點(diǎn)點(diǎn)但通用能力明顯變好。第二個(gè)方法是混合通用數(shù)據(jù)。在目標(biāo)SFT數(shù)據(jù)里摻入10%-20%的通用指令數(shù)據(jù)或者預(yù)訓(xùn)練語料讓模型在原分布附近“鞏固記憶”。第三個(gè)方法是做多任務(wù)混合訓(xùn)練。把多個(gè)場(chǎng)景的數(shù)據(jù)混在一起訓(xùn)而不是只訓(xùn)一個(gè)單獨(dú)任務(wù)模型對(duì)指令的理解會(huì)更穩(wěn)健。如果你已經(jīng)訓(xùn)練完了發(fā)現(xiàn)模型通用能力受損還有一個(gè)補(bǔ)救手段用低學(xué)習(xí)率在通用數(shù)據(jù)上做幾輪“恢復(fù)訓(xùn)練”通常能讓通用能力回來一部分但要謹(jǐn)慎控制輪數(shù)恢復(fù)過頭了目標(biāo)任務(wù)的收益又會(huì)丟掉。5.3 輸出成了復(fù)讀機(jī)或者出現(xiàn)亂碼生成階段出現(xiàn)復(fù)讀機(jī)很多人第一反應(yīng)是調(diào)采樣參數(shù)比如降低temperature、調(diào)整repetition penalty但從SFT側(cè)來看根因常常在訓(xùn)練階段。學(xué)習(xí)率過高是常見元兇模型在訓(xùn)練集上過擬合生成的token序列容易掉進(jìn)重復(fù)循環(huán)。把學(xué)習(xí)率降下來重新訓(xùn)練復(fù)讀現(xiàn)象經(jīng)常自動(dòng)消失。數(shù)據(jù)里的重復(fù)樣本也值得排查。如果某條樣本在數(shù)據(jù)集中重復(fù)了幾十次模型對(duì)它的記憶特別深輸出時(shí)就容易反復(fù)橫跳。用去重腳本把完全重復(fù)和近似重復(fù)的樣本清理掉能有效緩解這個(gè)問題。至于亂碼問題優(yōu)先檢查tokenizer的pad token設(shè)置。很多基座模型的tokenizer沒有pad token訓(xùn)練時(shí)如果不指定系統(tǒng)會(huì)拿eos token來湊可能導(dǎo)致注意力掩碼錯(cuò)亂。另一個(gè)檢查點(diǎn)是數(shù)據(jù)文本本身確認(rèn)沒有混入非法字符或者編碼不一致的文本。5.4 顯存OOM的排查路線訓(xùn)練中途報(bào)CUDA out of memory是最常見的工程問題但解決辦法并不復(fù)雜按順序處理就好。先減per_device_batch_size從4減到2再減到1。如果batch1還是OOM說明單條樣本太大檢查max_length是不是設(shè)得過高適當(dāng)截?cái)嚅L(zhǎng)樣本。接著開啟gradient_checkpointing這個(gè)能省不少顯存。還不行就考慮換LoRA或者上量化。從全參微調(diào)切到LoRA顯存占用能下降一半以上LoRA再加4bit量化加載7B模型的訓(xùn)練甚至可以壓到16GB顯存以內(nèi)。有一點(diǎn)要提醒batch變小后訓(xùn)練穩(wěn)定性會(huì)變差記得同步調(diào)大gradient_accumulation_steps把等效batch size維持住。用大batch換穩(wěn)定用累積換等效是解決顯存問題的通用思路。5.5 微調(diào)效果怎么評(píng)估才靠譜很多團(tuán)隊(duì)評(píng)估SFT效果只看訓(xùn)練loss這是遠(yuǎn)遠(yuǎn)不夠的。loss只能說明模型有沒有擬合訓(xùn)練數(shù)據(jù)不能說明模型能不能解決真實(shí)問題。我自己的評(píng)估體系分三層第一層是規(guī)則指標(biāo)如果任務(wù)是分類或者抽取計(jì)算準(zhǔn)確率、F1這些客觀指標(biāo)第二層是生成質(zhì)量指標(biāo)比如代碼任務(wù)的passk、文本摘要的ROUGE分但這些只能做參考不能完全替代人工第三層是人工評(píng)測(cè)準(zhǔn)備幾十條覆蓋各場(chǎng)景的測(cè)試用例逐個(gè)看模型輸出按有用性、正確性、格式規(guī)范度打分。人工評(píng)測(cè)雖然費(fèi)時(shí)但它最能暴露問題。我通常會(huì)讓不直接參與訓(xùn)練的人來做評(píng)測(cè)這樣能避免“自己訓(xùn)的模型怎么看都好”的主觀偏差。打分表也不要搞得太復(fù)雜三到五個(gè)維度足夠了重點(diǎn)看有沒有出現(xiàn)答非所問、格式混亂、事實(shí)錯(cuò)誤這三類致命問題。模型上線前至少做兩輪評(píng)估第一輪發(fā)現(xiàn)問題并重訓(xùn)第二輪確認(rèn)修復(fù)效果這樣形成閉環(huán)才算真正跑完一次SFT。最后說一個(gè)我個(gè)人的習(xí)慣每次SFT訓(xùn)練跑完之后把所有配置、數(shù)據(jù)統(tǒng)計(jì)結(jié)果和評(píng)測(cè)記錄整理成一個(gè)簡(jiǎn)單的文檔留檔。別小看這一步模型效果不好時(shí)想回溯原因這份記錄能幫你快速定位是數(shù)據(jù)問題、參數(shù)問題還是訓(xùn)練代碼問題。我做過的項(xiàng)目里好幾輪模型效果倒退都是靠文檔記錄快速查出了原因。如果你正準(zhǔn)備開始自己的SFT實(shí)驗(yàn)建議也養(yǎng)成這個(gè)習(xí)慣。