1. 項(xiàng)目概述為什么你需要這份超參數(shù)指南如果你正在嘗試用LlamaFactory微調(diào)大模型卻發(fā)現(xiàn)自己像個(gè)無頭蒼蠅一樣面對(duì)幾十個(gè)超參數(shù)無從下手那么你來對(duì)地方了。我見過太多朋友興致勃勃地打開項(xiàng)目準(zhǔn)備好數(shù)據(jù)集結(jié)果在訓(xùn)練配置頁面卡了半小時(shí)最后只能憑感覺亂填一通或者干脆照抄一個(gè)“據(jù)說有效”的配置。結(jié)果呢要么訓(xùn)練了幾個(gè)小時(shí)發(fā)現(xiàn)loss紋絲不動(dòng)白白浪費(fèi)電費(fèi)要么模型訓(xùn)出來效果詭異還不如不調(diào)。這份指南的目的就是終結(jié)這種“玄學(xué)調(diào)參”的狀態(tài)。它不是一份冰冷的官方文檔翻譯而是我基于大量實(shí)戰(zhàn)微調(diào)從7B到70B參數(shù)的各種模型后把那些文檔里沒寫、論壇里散落、以及用真金白銀的GPU時(shí)間換來的經(jīng)驗(yàn)系統(tǒng)性地梳理給你。LlamaFactory作為一個(gè)功能強(qiáng)大的微調(diào)框架把很多復(fù)雜操作封裝成了簡單的Web UI和配置項(xiàng)但這并不意味著背后的原理可以忽略。理解每一個(gè)滑塊、每一個(gè)輸入框背后的含義你才能真正掌控訓(xùn)練過程讓模型朝著你期望的方向進(jìn)化而不是聽天由命。無論你是想用QLoRA低成本微調(diào)一個(gè)專屬的客服助手還是用全量參數(shù)微調(diào)打造一個(gè)領(lǐng)域?qū)＜夷Ｐ统瑓?shù)都是你手中的“方向盤”和“油門”。調(diào)好了事半功倍調(diào)瞎了事倍功半甚至前功盡棄。接下來我會(huì)把這些參數(shù)分成幾個(gè)核心模塊不僅告訴你怎么設(shè)更重點(diǎn)講清楚為什么這么設(shè)以及設(shè)錯(cuò)了會(huì)怎樣。這份指南足夠你從完成第一次微調(diào)到逐步優(yōu)化出屬于自己的最佳配方。2. 訓(xùn)練前的基石數(shù)據(jù)、模型與基礎(chǔ)配置解析在動(dòng)任何一個(gè)超參數(shù)之前有三件事必須門兒清你的數(shù)據(jù)長什么樣、你的模型基礎(chǔ)是什么、你打算用什么“方法論”來訓(xùn)。這相當(dāng)于打仗前的偵察、裝備檢查和戰(zhàn)術(shù)制定。2.1 數(shù)據(jù)格式與預(yù)處理喂給模型的第一口糧數(shù)據(jù)是訓(xùn)練的根基。LlamaFactory支持常見的指令微調(diào)格式如alpaca、sharegpt等但萬變不離其宗核心通常是三個(gè)字段instruction指令、input輸入、output輸出。很多新手會(huì)直接拿網(wǎng)上爬的對(duì)話數(shù)據(jù)往里塞導(dǎo)致格式不對(duì)齊訓(xùn)練時(shí)模型完全學(xué)歪。關(guān)鍵實(shí)操點(diǎn)格式清洗確保你的每條數(shù)據(jù)都結(jié)構(gòu)清晰。例如對(duì)于單輪問答instruction是問題input可以為空output是標(biāo)準(zhǔn)答案。對(duì)于多輪對(duì)話通常需要使用sharegpt格式將整個(gè)對(duì)話歷史按角色human/gpt組織成一個(gè)列表。一個(gè)常見的坑是數(shù)據(jù)里包含了多余的空格、換行符或者特殊標(biāo)記如|im_end|這些需要在預(yù)處理時(shí)用腳本統(tǒng)一清洗掉。長度處理大模型有上下文長度限制如4096、8192 tokens。你需要估算你的數(shù)據(jù)經(jīng)過分詞tokenization后的大致長度?？梢允褂胻ransformers庫的AutoTokenizer快速測試。如果instructioninputoutput遠(yuǎn)超模型最大長度必須進(jìn)行截?cái)嗷蚧疤幚矸駝t訓(xùn)練會(huì)報(bào)錯(cuò)。LlamaFactory的max_source_length和max_target_length參數(shù)就是用來控制這個(gè)的通常max_source_length設(shè)為你數(shù)據(jù)中“輸入部分”instructioninput的最大token數(shù)再加一點(diǎn)余量max_target_length設(shè)為“輸出部分”output的最大token數(shù)。質(zhì)量檢查垃圾進(jìn)垃圾出。隨機(jī)的、矛盾的、低質(zhì)量的數(shù)據(jù)會(huì)讓模型性能下降。至少手動(dòng)抽查幾百條數(shù)據(jù)確保指令明確、答案正確。對(duì)于垂直領(lǐng)域數(shù)據(jù)術(shù)語的一致性非常重要。注意不要迷信“數(shù)據(jù)越多越好”。1萬條高質(zhì)量、清洗干凈的數(shù)據(jù)遠(yuǎn)勝于10萬條噪聲大的數(shù)據(jù)。在資源有限的情況下優(yōu)先提升數(shù)據(jù)質(zhì)量。2.2 基座模型選擇站在巨人的哪個(gè)肩膀上微調(diào)不是無中生有而是對(duì)預(yù)訓(xùn)練好的基座模型Base Model進(jìn)行“二次教育”。選擇什么樣的基座決定了你的起點(diǎn)和天花板。模型尺寸參數(shù)量7B、13B、34B、70B……參數(shù)越大通常理解能力和生成能力越強(qiáng)但訓(xùn)練和推理成本也指數(shù)級(jí)上升。對(duì)于大多數(shù)個(gè)人開發(fā)者或中小團(tuán)隊(duì)7B或13B模型是性價(jià)比最高的起點(diǎn)。它們可以在消費(fèi)級(jí)顯卡如RTX 4090上使用QLoRA進(jìn)行微調(diào)并且響應(yīng)速度較快。模型家族Llama、Qwen、Baichuan、ChatGLM等各有特點(diǎn)。例如Meta的Llama系列通用性強(qiáng)生態(tài)最豐富Qwen在中文和代碼上表現(xiàn)突出ChatGLM對(duì)中文友好。你的選擇應(yīng)優(yōu)先考慮目標(biāo)任務(wù)的語種和領(lǐng)域。如果你想做中文對(duì)話選一個(gè)中文預(yù)訓(xùn)練占比高的基座如Qwen或Baichuan會(huì)比用純英文Llama基座微調(diào)中文數(shù)據(jù)起點(diǎn)高得多。版本與量化注意模型是FP16、BF16還是GPTQ/AWQ量化版本。訓(xùn)練時(shí)應(yīng)盡量使用FP16/BF16的原始精度模型。量化模型如GPTQ-Int4主要用于推理節(jié)省顯存直接用來微調(diào)可能會(huì)引入精度損失影響最終效果。你下載的模型如果是量化版需要確認(rèn)是否有對(duì)應(yīng)的非量化版本。如何決策如果你做通用對(duì)話選最新的Llama或Qwen的7B/13B版本。如果做垂直領(lǐng)域法律、醫(yī)療可以尋找在該領(lǐng)域數(shù)據(jù)上繼續(xù)預(yù)訓(xùn)練過的模型作為基座這叫“領(lǐng)域適應(yīng)預(yù)訓(xùn)練”比直接用通用基座微調(diào)效果更好。2.3 微調(diào)方法選型全量、LoRA還是QLoRA這是核心決策點(diǎn)直接決定了你的硬件門檻和訓(xùn)練效果。全量參數(shù)微調(diào)更新模型的所有參數(shù)。效果通常最好能最大程度讓模型適應(yīng)新數(shù)據(jù)。但代價(jià)是需要巨大的顯存足以放下整個(gè)模型、優(yōu)化器狀態(tài)和梯度。即使是7B模型全量微調(diào)也需要多張A100級(jí)別的顯卡。除非你有充足的算力且追求極致效果否則不推薦個(gè)人玩家嘗試。LoRA一種參數(shù)高效微調(diào)方法。它不在原始模型權(quán)重上直接更新而是通過引入額外的、低秩的適配器Adapter矩陣只訓(xùn)練這些新增的小參數(shù)。比如一個(gè)7B的模型LoRA參數(shù)可能只有幾百萬顯存占用極低。好處是快、省資源并且可以多個(gè)任務(wù)訓(xùn)練不同的LoRA權(quán)重靈活切換。效果上通常非常接近全量微調(diào)。QLoRALoRA的“升級(jí)省流版”。它在LoRA的基礎(chǔ)上進(jìn)一步將基座模型的權(quán)重量化為4-bitNF4格式同時(shí)采用一種叫雙重量化的技術(shù)來節(jié)省內(nèi)存。QLoRA是當(dāng)前個(gè)人電腦微調(diào)大模型的絕對(duì)主流選擇。它能讓你在單張24GB顯存的卡上如RTX 4090微調(diào)13B甚至34B的模型而效果損失極小。我的建議對(duì)于99%的場景無腦選擇QLoRA。它在LlamaFactory中集成得非常好配置簡單。你需要關(guān)心的相關(guān)參數(shù)主要是lora_rankLoRA的秩決定適配器的大小和能力、lora_alpha縮放系數(shù)和lora_dropout防止過擬合。通常可以從一個(gè)中等配置開始如rank64, alpha16這是一個(gè)效果和效率的平衡點(diǎn)。3. 學(xué)習(xí)過程控制優(yōu)化器、調(diào)度器與批次設(shè)置詳解這一部分是訓(xùn)練過程的“發(fā)動(dòng)機(jī)”和“變速器”控制著模型如何從數(shù)據(jù)中學(xué)習(xí)。3.1 學(xué)習(xí)率前進(jìn)的步幅大小學(xué)習(xí)率是最重要也最需要小心的超參數(shù)之一。它決定了每次參數(shù)更新的幅度。設(shè)置多大對(duì)于使用AdamW優(yōu)化器的QLoRA微調(diào)學(xué)習(xí)率通常在1e-4到5e-5這個(gè)范圍。這是一個(gè)經(jīng)驗(yàn)性的安全區(qū)間。學(xué)習(xí)率太大如1e-3可能導(dǎo)致訓(xùn)練不穩(wěn)定loss劇烈震蕩甚至發(fā)散變成NaN。學(xué)習(xí)率太小如1e-6則學(xué)習(xí)速度過慢需要非常多的步數(shù)才能收斂不經(jīng)濟(jì)。如何調(diào)整一個(gè)穩(wěn)妥的策略是從2e-4或1e-4開始。觀察訓(xùn)練前幾百步的loss曲線。如果loss快速下降且平穩(wěn)說明學(xué)習(xí)率合適。如果loss劇烈跳動(dòng)應(yīng)調(diào)小學(xué)習(xí)率例如除以2或5。如果loss下降極其緩慢可以適當(dāng)調(diào)大。學(xué)習(xí)率調(diào)度我們很少使用固定的學(xué)習(xí)率。更常見的做法是配合學(xué)習(xí)率調(diào)度器比如余弦退火。在LlamaFactory中你可以設(shè)置lr_scheduler_type為cosine并設(shè)置warmup_steps。這意味著訓(xùn)練開始時(shí)學(xué)習(xí)率會(huì)從一個(gè)很小的值或0線性“預(yù)熱”到你設(shè)定的峰值學(xué)習(xí)率幫助訓(xùn)練初期穩(wěn)定然后在訓(xùn)練過程中按照余弦曲線逐漸下降至0讓訓(xùn)練后期更精細(xì)地收斂。實(shí)操心得對(duì)于不同的模型尺寸學(xué)習(xí)率可以微調(diào)。大模型如70B有時(shí)對(duì)學(xué)習(xí)率更敏感可能需要更小的初始值如5e-5。當(dāng)你更換基座模型或數(shù)據(jù)集時(shí)第一輪訓(xùn)練建議保守一點(diǎn)用較低的學(xué)習(xí)率探路。3.2 優(yōu)化器選擇AdamW及其變種AdamW是目前深度學(xué)習(xí)默認(rèn)的優(yōu)化器它自適應(yīng)地調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率并加入了權(quán)重衰減Weight Decay來防止過擬合。在LlamaFactory中你通常不需要改動(dòng)優(yōu)化器類型。但需要關(guān)注一個(gè)關(guān)鍵參數(shù)weight_decay。權(quán)重衰減相當(dāng)于對(duì)大的權(quán)重值施加懲罰鼓勵(lì)模型保持較小的權(quán)重起到正則化的作用。對(duì)于微調(diào)任務(wù)特別是數(shù)據(jù)量不是特別大的時(shí)候一個(gè)較小的權(quán)重衰減如0.01或0.001有助于防止模型在少量數(shù)據(jù)上過擬合忘記它原有的通用知識(shí)。如果設(shè)置為0則沒有正則化。3.3 批次設(shè)置批量大小與梯度累積由于顯存限制我們無法一次性將大量數(shù)據(jù)送入模型。批次設(shè)置就是解決這個(gè)問題的。per_device_train_batch_size這是每張顯卡一次前向傳播處理的樣本數(shù)。這個(gè)值越大訓(xùn)練越穩(wěn)定對(duì)梯度的估計(jì)越準(zhǔn)確但顯存占用越高。在QLoRA下由于模型本身被量化顯存主要被激活activation和優(yōu)化器狀態(tài)占用。對(duì)于24G顯存7B模型這個(gè)值可以設(shè)到4-813B模型可以設(shè)到2-4。你需要根據(jù)CUDA Out Of Memory (OOM) 錯(cuò)誤來調(diào)整。gradient_accumulation_steps梯度累積步數(shù)。這是核心技巧假設(shè)你希望的有效批次大小是32但單卡只能放下批次大小4。那么你可以設(shè)置gradient_accumulation_steps8。這樣模型會(huì)連續(xù)進(jìn)行8次前向傳播和反向傳播累積8次的梯度然后再進(jìn)行一次真正的參數(shù)更新。它讓你在有限的顯存下模擬出大批次訓(xùn)練的效果。最終的有效批次大小 per_device_train_batch_size*gradient_accumulation_steps* GPU數(shù)量。max_grad_norm梯度裁剪的閾值。在反向傳播時(shí)如果梯度的范數(shù)可以理解為“長度”超過這個(gè)值就會(huì)被按比例縮放。這是一個(gè)安全措施防止梯度爆炸導(dǎo)致訓(xùn)練崩潰。通常設(shè)置為0.5或1.0即可。配置策略首先根據(jù)你的顯存將per_device_train_batch_size調(diào)到最大不OOM為止。然后根據(jù)你期望的有效批次大小反推gradient_accumulation_steps。對(duì)于語言模型微調(diào)有效批次大小在32到128之間都是常見的。例如單卡batch_size4想要有效批次大小32則設(shè)置gradient_accumulation_steps8。4. 訓(xùn)練過程與評(píng)估監(jiān)控參數(shù)設(shè)好了訓(xùn)練跑起來了但這只是開始。你需要像監(jiān)工一樣盯著整個(gè)過程確保它在正確的軌道上。4.1 訓(xùn)練輪數(shù)與步數(shù)控制num_train_epochs在整個(gè)數(shù)據(jù)集上完整遍歷的次數(shù)。對(duì)于指令微調(diào)數(shù)據(jù)集通常不大幾千到幾萬條1到5個(gè)epoch通常就足夠了。模型很快就能學(xué)會(huì)數(shù)據(jù)中的映射關(guān)系。過多的epoch會(huì)導(dǎo)致過擬合即模型完美記住了你的訓(xùn)練數(shù)據(jù)但失去了泛化能力對(duì)新問題回答得很差。max_steps訓(xùn)練的最大步數(shù)。如果設(shè)置了此項(xiàng)會(huì)覆蓋num_train_epochs。一步step即一次參數(shù)更新優(yōu)化器step。總步數(shù) ≈ (總樣本數(shù) * num_train_epochs) / 有效批次大小。我更傾向于用max_steps來控制因?yàn)樗庇^。例如我有1萬條數(shù)據(jù)有效批次大小是32那么一個(gè)epoch大約是312步。我想訓(xùn)練3個(gè)epoch就設(shè)max_steps936。如何判斷何時(shí)停止光看epoch數(shù)不夠必須看評(píng)估指標(biāo)。4.2 評(píng)估策略與損失曲線解讀LlamaFactory允許你設(shè)置一個(gè)評(píng)估數(shù)據(jù)集eval dataset和eval_steps每多少步評(píng)估一次。Loss損失曲線這是最直接的監(jiān)控指標(biāo)。訓(xùn)練loss應(yīng)該隨著步數(shù)增加而穩(wěn)步下降最終趨于平緩。評(píng)估loss的變化趨勢更重要理想情況訓(xùn)練loss和評(píng)估loss同步下降且評(píng)估loss略高于訓(xùn)練loss。這說明模型在很好地學(xué)習(xí)泛化。過擬合跡象訓(xùn)練loss持續(xù)下降但評(píng)估loss在下降到某個(gè)點(diǎn)后開始反彈上升。這說明模型開始“死記硬背”訓(xùn)練數(shù)據(jù)對(duì)新數(shù)據(jù)不友好了。此時(shí)應(yīng)該立即停止訓(xùn)練或者回滾到評(píng)估loss最低的那個(gè)檢查點(diǎn)。欠擬合跡象訓(xùn)練loss和評(píng)估loss都很高且下降緩慢。這可能是因?yàn)閷W(xué)習(xí)率太低、模型容量不足LoRA的rank太小或數(shù)據(jù)質(zhì)量太差。生成質(zhì)量評(píng)估Loss是數(shù)字但生成文本的質(zhì)量才是終極檢驗(yàn)。你需要定期比如每半個(gè)或一個(gè)epoch讓模型在預(yù)留的測試集或一些標(biāo)準(zhǔn)問題上生成文本人工評(píng)估其流暢度、相關(guān)性和準(zhǔn)確性。這是發(fā)現(xiàn)Loss曲線無法反映的問題如胡說八道、重復(fù)生成的唯一方法。避坑技巧一定要保留一部分高質(zhì)量數(shù)據(jù)比如10%作為驗(yàn)證集不用來訓(xùn)練只用來評(píng)估。用驗(yàn)證集上的loss最低點(diǎn)來選擇最佳模型而不是用訓(xùn)練結(jié)束時(shí)的模型。4.3 保存與日志策略save_steps/save_strategy設(shè)置模型檢查點(diǎn)保存的頻率?！皊teps”模式按步數(shù)保存“epoch”模式按輪次保存。對(duì)于長時(shí)間訓(xùn)練建議按步數(shù)保存如每500步這樣如果訓(xùn)練中斷可以從最近的檢查點(diǎn)恢復(fù)而不是從頭開始。logging_steps控制日志打印頻率。設(shè)為10或20方便你實(shí)時(shí)觀察loss變化。report_to日志報(bào)告到哪里。設(shè)為“tensorboard”或“wandb”Weights Biases可以可視化訓(xùn)練過程強(qiáng)烈推薦。TensorBoard是本地工具WandB是線上服務(wù)功能更強(qiáng)大。5. 高級(jí)參數(shù)與實(shí)戰(zhàn)調(diào)優(yōu)策略掌握了基礎(chǔ)參數(shù)后這些高級(jí)設(shè)置能幫你進(jìn)一步微調(diào)訓(xùn)練行為解決特定問題。5.1 長度外推與注意力機(jī)制rope_scaling/max_position_embeddings如果你的訓(xùn)練數(shù)據(jù)或應(yīng)用場景需要模型處理比其預(yù)訓(xùn)練時(shí)更長的文本例如Llama2預(yù)訓(xùn)練長度是4096但你想處理8000 tokens的文檔就需要進(jìn)行長度外推。rope_scaling如linear,dynamic是一種技術(shù)可以讓模型在一定程度上適應(yīng)更長的序列。但請(qǐng)注意這并非萬能效果可能不如在長文本上直接繼續(xù)預(yù)訓(xùn)練。對(duì)于微調(diào)除非必要否則建議將訓(xùn)練數(shù)據(jù)截?cái)嗟侥Ｐ驮С值拈L度內(nèi)以獲得最穩(wěn)定的效果。flash_attention_2如果你的顯卡架構(gòu)支持如Ampere架構(gòu)的RTX 30/40系列或更新開啟FlashAttention-2可以大幅提升訓(xùn)練速度并降低顯存占用。在LlamaFactory的配置中或代碼里啟用它通常是設(shè)置一個(gè)use_flash_attention_2True的標(biāo)志。這是免費(fèi)的午餐能開就開。5.2 防止過擬合的利器Dropout與早停dropout/lora_dropoutDropout是一種在訓(xùn)練過程中隨機(jī)“關(guān)閉”一部分神經(jīng)元的技術(shù)可以強(qiáng)制模型學(xué)習(xí)更魯棒的特征是防止過擬合的有效手段。對(duì)于全量微調(diào)可以設(shè)置一個(gè)較小的dropout如0.05或0.1。對(duì)于LoRA/QLoRA可以設(shè)置lora_dropout如0.05。如果發(fā)現(xiàn)模型在訓(xùn)練集上表現(xiàn)太好在驗(yàn)證集上表現(xiàn)差可以適當(dāng)增加這個(gè)值。早停雖然LlamaFactory的Trainer沒有內(nèi)置早?；卣{(diào)但你可以通過監(jiān)控評(píng)估loss來實(shí)現(xiàn)。如果連續(xù)N次評(píng)估例如3-5次的loss都不再下降甚至上升就可以手動(dòng)停止訓(xùn)練。WandB等工具可以設(shè)置警報(bào)。5.3 實(shí)戰(zhàn)調(diào)優(yōu)流程與參數(shù)表這里提供一個(gè)基于QLoRA微調(diào)7B/13B模型的通用參數(shù)起點(diǎn)表你可以以此為基礎(chǔ)進(jìn)行微調(diào)參數(shù)類別參數(shù)名推薦值/范圍作用與說明模型與數(shù)據(jù)model_name_or_path你的基座模型路徑必須是FP16/BF16格式非量化版max_source_length512-1024輸入指令上下文最大token長度根據(jù)數(shù)據(jù)調(diào)整max_target_length256-512輸出回答最大token長度根據(jù)數(shù)據(jù)調(diào)整LoRA配置use_loraTrue啟用LoRAlora_rank(r)64LoRA秩影響適配器大小。8/16/32/64/128常見越大能力越強(qiáng)但參數(shù)越多l(xiāng)ora_alpha16縮放系數(shù)通常與rank保持比例如 rank64, alpha16lora_dropout0.05LoRA層的dropout率防過擬合lora_targetq_proj,v_proj作用的目標(biāo)模塊。通常作用于注意力層的Q/V投影矩陣。all也行但更慢訓(xùn)練控制num_train_epochs1-5訓(xùn)練輪數(shù)數(shù)據(jù)少可多幾輪數(shù)據(jù)多則少幾輪per_device_train_batch_size2-8根據(jù)顯存調(diào)整24G卡13B模型可設(shè)2-4gradient_accumulation_steps8-32用于調(diào)整有效批次大小使batch_size*accum_steps在32-128間learning_rate1e-4 到 5e-5學(xué)習(xí)率從2e-4開始嘗試lr_scheduler_typecosine余弦退火調(diào)度器warmup_steps總步數(shù)的3%-10%學(xué)習(xí)率預(yù)熱步數(shù)幫助訓(xùn)練初期穩(wěn)定optimadamw_torch優(yōu)化器weight_decay0.01權(quán)重衰減正則化項(xiàng)max_grad_norm0.5梯度裁剪閾值防梯度爆炸評(píng)估與保存evaluation_strategysteps按步評(píng)估eval_steps100-200每多少步評(píng)估一次save_strategysteps按步保存save_steps500每多少步保存一個(gè)檢查點(diǎn)logging_steps20每多少步打印一次日志report_totensorboard或wandb可視化工具調(diào)優(yōu)流程建議基線運(yùn)行使用上表中的推薦值作為起點(diǎn)跑一個(gè)完整的訓(xùn)練例如1-3個(gè)epoch。分析Loss曲線觀察訓(xùn)練和評(píng)估loss。如果收斂良好評(píng)估loss未上升進(jìn)入步驟4。如果欠擬合loss高且降得慢進(jìn)入步驟3。如果過擬合評(píng)估loss上升進(jìn)入步驟5。應(yīng)對(duì)欠擬合嘗試增大學(xué)習(xí)率如從2e-4調(diào)到3e-4、增加LoRA rank如從64調(diào)到128、檢查數(shù)據(jù)質(zhì)量或增加訓(xùn)練輪數(shù)。效果評(píng)估用測試集進(jìn)行人工或自動(dòng)評(píng)估。如果效果滿意可以嘗試減小學(xué)習(xí)率如調(diào)到5e-5再微調(diào)少量步數(shù)可能獲得更精細(xì)的收斂。應(yīng)對(duì)過擬合首先減少訓(xùn)練輪數(shù)或提前停止。其次可以增加lora_dropout如調(diào)到0.1、增加weight_decay如調(diào)到0.05。最后考慮擴(kuò)充或提升訓(xùn)練數(shù)據(jù)質(zhì)量。6. 常見問題排查與實(shí)戰(zhàn)心得理論說再多不如踩一次坑。下面是我和社區(qū)里經(jīng)常遇到的一些典型問題及解決方案。6.1 訓(xùn)練不收斂或Loss異?，F(xiàn)象Loss值非常高如10且?guī)缀醪幌陆祷蛘咦兂蒒aN。排查學(xué)習(xí)率過大這是首要懷疑對(duì)象。立即將學(xué)習(xí)率調(diào)低一個(gè)數(shù)量級(jí)例如從1e-4調(diào)到1e-5重新嘗試。數(shù)據(jù)格式錯(cuò)誤檢查你的數(shù)據(jù)預(yù)處理腳本。確保input和output字段沒有錯(cuò)位分詞后沒有異常token。一個(gè)快速檢查方法是打印幾條數(shù)據(jù)看看拼接后的文本是否符合“Human: ... Assistant: ...”這樣的預(yù)期格式。梯度爆炸嘗試減小max_grad_norm比如從1.0調(diào)到0.5。模型/權(quán)重加載錯(cuò)誤確認(rèn)你加載的基座模型路徑正確且模型文件完整。嘗試用from_pretrained方法先加載一下模型和分詞器看是否報(bào)錯(cuò)。6.2 顯存溢出CUDA Out Of Memory現(xiàn)象訓(xùn)練開始不久就報(bào)CUDA out of memory錯(cuò)誤。排查降低per_device_train_batch_size這是最直接有效的方法每次減半嘗試。啟用梯度檢查點(diǎn)在Trainer參數(shù)中設(shè)置gradient_checkpointingTrue。這會(huì)用計(jì)算時(shí)間換顯存通常能節(jié)省20%-30%的顯存。啟用FlashAttention-2如前所述能顯著節(jié)省顯存。檢查數(shù)據(jù)長度過長的max_source_length或max_target_length會(huì)急劇增加顯存消耗。確保它們?cè)O(shè)置合理。使用更小的模型或更低的量化如果以上都不行考慮換用參數(shù)量更小的基座模型或者在QLoRA中嘗試使用NF4量化這是默認(rèn)的而不是FP16。6.3 模型輸出質(zhì)量差重復(fù)、無關(guān)或胡說八道現(xiàn)象訓(xùn)練結(jié)束后模型生成的內(nèi)容重復(fù)一段話或者答非所問甚至輸出亂碼。排查過擬合這是最常見原因。模型只記住了訓(xùn)練數(shù)據(jù)中的某些模式。檢查評(píng)估loss曲線看是否在后期上升。解決方案是使用早?；蛘咴黾覦ropout/權(quán)重衰減。數(shù)據(jù)噪聲訓(xùn)練數(shù)據(jù)中存在大量低質(zhì)量或矛盾的樣本。需要清洗數(shù)據(jù)。溫度參數(shù)在推理時(shí)temperature參數(shù)控制生成隨機(jī)性。如果設(shè)為0模型會(huì)總是選擇概率最高的詞可能導(dǎo)致枯燥和重復(fù)。在生成時(shí)可以嘗試將temperature設(shè)為0.7-0.9top_p設(shè)為0.9以增加多樣性。LoRA權(quán)重未正確加載/合并確保在推理時(shí)正確加載了你微調(diào)好的LoRA權(quán)重適配器。在LlamaFactory的Web UI中需要在“模型”頁面正確選擇“適配器”路徑。6.4 一個(gè)實(shí)戰(zhàn)案例微調(diào)一個(gè)代碼助手假設(shè)我想用QLoRA微調(diào)一個(gè)CodeLlama-7B模型讓它更擅長寫Python代碼。數(shù)據(jù)準(zhǔn)備我收集了約1萬條高質(zhì)量的(問題描述, Python代碼)對(duì)格式化為alpaca格式。清洗掉代碼錯(cuò)誤、描述模糊的樣本。統(tǒng)計(jì)后設(shè)定max_source_length512,max_target_length768?；Ｐ瓦x擇CodeLlama-7B-Python因?yàn)樗旧砭驮诖a上預(yù)訓(xùn)練過起點(diǎn)高。QLoRA配置lora_rank64,lora_alpha16,lora_dropout0.05,lora_target_modules“q_proj,v_proj”。訓(xùn)練配置per_device_train_batch_size4單卡RTX 4090gradient_accumulation_steps8有效批次大小32learning_rate2e-4num_train_epochs3warmup_steps50lr_scheduler_typecosineweight_decay0.01。監(jiān)控設(shè)置eval_steps100用一個(gè)包含200條未見過代碼問題的驗(yàn)證集進(jìn)行評(píng)估。同時(shí)每500步保存一個(gè)檢查點(diǎn)。訓(xùn)練與選擇訓(xùn)練開始后通過TensorBoard觀察loss。訓(xùn)練loss穩(wěn)步下降評(píng)估loss在第800步約2.5個(gè)epoch達(dá)到最低點(diǎn)之后開始緩慢上升。我果斷停止了訓(xùn)練并選擇了第800步的檢查點(diǎn)作為最終模型。測試用該模型生成一些新的編程問題發(fā)現(xiàn)其代碼正確率和風(fēng)格都明顯優(yōu)于原始基座模型達(dá)到了預(yù)期目標(biāo)。這個(gè)過程中最關(guān)鍵的就是通過評(píng)估loss發(fā)現(xiàn)了過擬合的苗頭并及時(shí)早停選出了泛化能力最好的模型而不是盲目跑完3個(gè)epoch。調(diào)參不是一蹴而就的而是一個(gè)觀察、分析、調(diào)整的循環(huán)。每次訓(xùn)練都是一次實(shí)驗(yàn)記錄下你的配置和結(jié)果慢慢你就會(huì)形成自己的“參數(shù)直覺”。