強(qiáng)烈推薦AI編程巴士網(wǎng)站穩(wěn)定純凈的ClaudeCode套餐供應(yīng) (https://code.ai80.vip/home)本文將深入介紹AI模型訓(xùn)練的核心技術(shù)和方法幫助你理解從零預(yù)訓(xùn)練、增量預(yù)訓(xùn)練、后訓(xùn)練以及基于現(xiàn)成基座模型進(jìn)行訓(xùn)練的完整過程。:::tip 前置知識(shí) 本文重點(diǎn)講解AI模型訓(xùn)練技術(shù)。建議先提前了解AI模型的本質(zhì)(參數(shù)、架構(gòu)等)以及機(jī)器學(xué)習(xí)基礎(chǔ)概念(如機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等)請(qǐng)參考 AI模型與機(jī)器學(xué)習(xí)。 :::AI模型訓(xùn)練的基本概念訓(xùn)練就是通過大量數(shù)據(jù)和反復(fù)調(diào)整讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)并優(yōu)化其內(nèi)部參數(shù)(權(quán)重和偏置)讓模型從隨機(jī)猜測(cè)進(jìn)化到精準(zhǔn)預(yù)測(cè)使其能夠完成特定任務(wù)的過程。在了解具體的訓(xùn)練方法之前讓我們通過一個(gè)簡(jiǎn)單的猜數(shù)字游戲來理解訓(xùn)練過程游戲規(guī)則我心里想一個(gè)1到100之間的數(shù)字假設(shè)是42你來猜。每次猜完我會(huì)告訴你太大了還是太小了。第1次你隨機(jī)猜50這就像模型初始化參數(shù)是隨機(jī)的我說太大了這就是計(jì)算損失發(fā)現(xiàn)預(yù)測(cè)錯(cuò)了你意識(shí)到要往小的方向調(diào)整這就是反向傳播計(jì)算梯度第2次你猜30這就是參數(shù)更新我說太小了你知道答案在30-50之間第3次你猜40我說太小了范圍縮小到40-50第4-5次你繼續(xù)調(diào)整猜42我說答對(duì)了這就是收斂找到了正確答案這個(gè)過程完美展示了AI訓(xùn)練的核心思想隨機(jī)開始一開始什么都不知道隨便猜獲得反饋根據(jù)結(jié)果知道自己錯(cuò)在哪里調(diào)整策略往正確的方向修正反復(fù)迭代多次嘗試逐步逼近答案達(dá)到目標(biāo)最終找到正確答案訓(xùn)練的本質(zhì)通過不斷調(diào)整神經(jīng)網(wǎng)絡(luò)中數(shù)十億個(gè)參數(shù)的值讓模型的預(yù)測(cè)結(jié)果越來越接近真實(shí)答案最終讓模型學(xué)會(huì)解決特定問題的能力。就像猜數(shù)字游戲一樣通過反復(fù)嘗試和調(diào)整最終找到那個(gè)正確答案。AI模型訓(xùn)練的常見方法理解了訓(xùn)練的基本原理后你可能會(huì)想現(xiàn)實(shí)中是不是每次都要從零開始訓(xùn)練一個(gè)模型答案是否定的。就像蓋房子我們可以從地基開始蓋從零預(yù)訓(xùn)練也可以在已有建筑基礎(chǔ)上擴(kuò)建增量預(yù)訓(xùn)練。不同的訓(xùn)練策略適用于不同的場(chǎng)景成本和效果也大相徑庭。讓我們看看業(yè)界主要采用哪些訓(xùn)練方法。預(yù)訓(xùn)練 (Pre-Training, PT)預(yù)訓(xùn)練是指在海量通用數(shù)據(jù)上從零開始訓(xùn)練一個(gè)大模型的過程這個(gè)模型會(huì)學(xué)習(xí)到廣泛的知識(shí)和能力成為后續(xù)任務(wù)的基礎(chǔ)。核心特點(diǎn)通俗理解就像培養(yǎng)一個(gè)孩子的通識(shí)教育階段讓他從小學(xué)到大學(xué)學(xué)習(xí)語文、數(shù)學(xué)、物理、化學(xué)、歷史、地理等各種知識(shí)建立廣泛的知識(shí)體系和思維能力。關(guān)鍵要素?cái)?shù)據(jù)量超大通常使用整個(gè)互聯(lián)網(wǎng)的文本、圖片等數(shù)據(jù)規(guī)模可達(dá)TB甚至PB級(jí)訓(xùn)練目標(biāo)通用不針對(duì)特定任務(wù)而是學(xué)習(xí)通用的表示能力資源消耗巨大需要數(shù)百到數(shù)千塊GPU訓(xùn)練時(shí)間從數(shù)周到數(shù)月一次性投入通常由大公司或研究機(jī)構(gòu)完成訓(xùn)練完成后可被廣泛復(fù)用常見的預(yù)訓(xùn)練任務(wù)不同類型的模型有不同的預(yù)訓(xùn)練方式模型類型預(yù)訓(xùn)練任務(wù)訓(xùn)練目標(biāo)通俗理解**語言模型GPT系列**下一個(gè)詞預(yù)測(cè)Next Token Prediction給定前面的文本預(yù)測(cè)下一個(gè)詞給你半句話讓你猜下一個(gè)字**掩碼語言模型BERT**掩碼詞預(yù)測(cè)Masked Language Modeling遮蓋句子中的部分詞讓模型預(yù)測(cè)完形填空題**圖像模型ResNet、ViT**圖像分類Image Classification在大規(guī)模圖像數(shù)據(jù)集上學(xué)習(xí)視覺特征看大量圖片學(xué)習(xí)識(shí)別物體**多模態(tài)模型CLIP**圖文對(duì)齊Image-Text Matching學(xué)習(xí)圖像和文本的對(duì)應(yīng)關(guān)系學(xué)習(xí)圖片和文字描述的匹配預(yù)訓(xùn)練的產(chǎn)物基座模型預(yù)訓(xùn)練完成后得到的模型稱為基座模型Base Model或預(yù)訓(xùn)練模型Pre-trained Model它具備以下特征?通用知識(shí)豐富學(xué)習(xí)了大量的語言、常識(shí)、推理能力?遷移能力強(qiáng)可以通過微調(diào)適應(yīng)各種下游任務(wù)?開箱即用即使不微調(diào)也能完成一些基礎(chǔ)任務(wù)?社區(qū)共享通常會(huì)開源供大家使用如BERT、LLaMA、GPT-2等著名的預(yù)訓(xùn)練模型國(guó)際模型模型名稱發(fā)布機(jī)構(gòu)數(shù)據(jù)規(guī)模參數(shù)量主要用途BERTGoogle16GB文本110M-340M文本理解、分類、問答GPT-3OpenAI45TB文本175B文本生成、對(duì)話、推理LLaMAMeta1.4TB文本7B-65B開源基座模型CLIPOpenAI4億圖文對(duì)400M圖像-文本理解ResNetMicrosoftImageNet 1.2M圖25M-60M圖像識(shí)別國(guó)內(nèi)模型模型名稱發(fā)布機(jī)構(gòu)數(shù)據(jù)規(guī)模參數(shù)量主要用途Qwen通義千問阿里云3TB中英文文本1.8B-72B中文理解生成、多語言、編程ChatGLM清華/智譜AI未公開6B-130B中文對(duì)話、文本生成Baichuan百川智能1.4TB多語言7B-13B開源中文基座模型ERNIE文心百度海量中文數(shù)據(jù)10B-260B中文理解、知識(shí)增強(qiáng)預(yù)訓(xùn)練的流程圖graph TB A[步驟1數(shù)據(jù)收集br/爬取互聯(lián)網(wǎng)數(shù)據(jù)]--B[步驟2數(shù)據(jù)清洗br/去重、過濾低質(zhì)量?jī)?nèi)容]B --C[步驟3數(shù)據(jù)預(yù)處理br/分詞、歸一化等]C --D[步驟4模型架構(gòu)設(shè)計(jì)br/選擇Transformer等結(jié)構(gòu)]D --E[步驟5分布式訓(xùn)練br/使用數(shù)百/數(shù)千GPU]E --F[步驟6訓(xùn)練監(jiān)控br/損失下降、困惑度等指標(biāo)]F --G{是否收斂?}G --|否|E G --|是|H[步驟7模型評(píng)估br/在測(cè)試集上驗(yàn)證]H --I[步驟8模型發(fā)布br/開源或商用]style E fill:#ffe6e6style I fill:#e6ffe6增量預(yù)訓(xùn)練 (Continual Pre-Training, CPT)增量預(yù)訓(xùn)練是指在已有的預(yù)訓(xùn)練模型基礎(chǔ)上使用新的數(shù)據(jù)繼續(xù)進(jìn)行預(yù)訓(xùn)練讓模型學(xué)習(xí)新的知識(shí)或增強(qiáng)特定領(lǐng)域的能力。核心特點(diǎn)通俗理解就像一個(gè)大學(xué)畢業(yè)生已經(jīng)有了基礎(chǔ)知識(shí)現(xiàn)在去讀研究生深造學(xué)習(xí)更專業(yè)、更前沿的知識(shí)。為什么需要增量預(yù)訓(xùn)練場(chǎng)景問題增量預(yù)訓(xùn)練的作用知識(shí)過時(shí)預(yù)訓(xùn)練模型的數(shù)據(jù)可能是幾年前的不了解最新事件用最新數(shù)據(jù)繼續(xù)訓(xùn)練更新知識(shí)領(lǐng)域?qū)I(yè)性不足通用模型在醫(yī)療、法律等專業(yè)領(lǐng)域表現(xiàn)不佳用領(lǐng)域數(shù)據(jù)訓(xùn)練增強(qiáng)專業(yè)能力語言覆蓋不足英文模型不擅長(zhǎng)中文用中文數(shù)據(jù)訓(xùn)練提升中文能力特定能力欠缺需要增強(qiáng)代碼理解能力用代碼數(shù)據(jù)訓(xùn)練提升編程能力增量預(yù)訓(xùn)練 vs 從零預(yù)訓(xùn)練維度從零預(yù)訓(xùn)練增量預(yù)訓(xùn)練起點(diǎn)隨機(jī)初始化參數(shù)已有預(yù)訓(xùn)練模型數(shù)據(jù)量需要海量數(shù)據(jù)TB級(jí)可以用較少數(shù)據(jù)GB-TB級(jí)訓(xùn)練時(shí)間數(shù)周到數(shù)月數(shù)天到數(shù)周計(jì)算成本極高數(shù)百萬美元中等數(shù)萬到數(shù)十萬美元適用場(chǎng)景構(gòu)建通用基座模型領(lǐng)域適配、知識(shí)更新典型應(yīng)用場(chǎng)景1. 領(lǐng)域適配案例基于通用的LLaMA模型使用醫(yī)學(xué)文獻(xiàn)進(jìn)行增量預(yù)訓(xùn)練得到醫(yī)學(xué)領(lǐng)域的Med-LLaMA。效果醫(yī)學(xué)術(shù)語理解更準(zhǔn)確醫(yī)學(xué)知識(shí)問答能力顯著提升臨床推理能力增強(qiáng)2. 多語言適配案例基于英文的GPT模型使用中文語料進(jìn)行增量預(yù)訓(xùn)練得到中文能力更強(qiáng)的GPT模型。效果中文理解和生成能力提升中文文化相關(guān)知識(shí)增強(qiáng)保留原有的英文能力不會(huì)完全遺忘3. 知識(shí)更新案例2025年發(fā)布的模型不知道2026年的新聞使用2026年的新聞數(shù)據(jù)進(jìn)行增量預(yù)訓(xùn)練。效果了解最新事件和知識(shí)時(shí)效性信息更準(zhǔn)確保持原有的基礎(chǔ)能力4. 能力增強(qiáng)案例在通用語言模型基礎(chǔ)上使用大量代碼數(shù)據(jù)進(jìn)行增量預(yù)訓(xùn)練得到Code-LLaMA這樣的代碼專用模型。效果代碼理解能力大幅提升代碼生成質(zhì)量更高支持更多編程語言增量預(yù)訓(xùn)練的技術(shù)要點(diǎn)1. 學(xué)習(xí)率設(shè)置增量預(yù)訓(xùn)練通常使用比從零訓(xùn)練更小的學(xué)習(xí)率參數(shù)更新步長(zhǎng)的超參數(shù)避免破壞已有知識(shí)。通俗理解就像已經(jīng)學(xué)會(huì)的東西復(fù)習(xí)時(shí)要溫和一點(diǎn)不要用力過猛把以前學(xué)的都忘了。2. 數(shù)據(jù)配比通常會(huì)混合新數(shù)據(jù)和原始數(shù)據(jù)而不是只用新數(shù)據(jù)。原因防止災(zāi)難性遺忘Catastrophic Forgetting即學(xué)新知識(shí)時(shí)把舊知識(shí)全忘了。配比示例新領(lǐng)域數(shù)據(jù)70%原始通用數(shù)據(jù)30%3. 訓(xùn)練輪次增量預(yù)訓(xùn)練的輪次通常比從零訓(xùn)練少得多。原因模型已經(jīng)有了好的初始化不需要太多輪次就能學(xué)會(huì)新知識(shí)。增量預(yù)訓(xùn)練流程圖graph TB A[已有預(yù)訓(xùn)練模型br/例如LLaMA-7B]--B[收集新數(shù)據(jù)br/例如醫(yī)學(xué)文獻(xiàn)]B --C[數(shù)據(jù)預(yù)處理br/與原模型格式一致]C --D[設(shè)置訓(xùn)練參數(shù)br/較小學(xué)習(xí)率]D --E[增量訓(xùn)練br/使用新數(shù)據(jù)部分原數(shù)據(jù)]E --F[監(jiān)控指標(biāo)br/新任務(wù)效果原任務(wù)效果]F --G{新舊能力平衡?}G --|否|H[調(diào)整數(shù)據(jù)配比br/或?qū)W習(xí)率]H --E G --|是|I[訓(xùn)練完成br/得到領(lǐng)域適配模型]style A fill:#e6f3ffstyle I fill:#e6ffe6預(yù)訓(xùn)練與增量預(yù)訓(xùn)練的關(guān)系graph LR A[從零預(yù)訓(xùn)練br/Pre-Training]--B[通用基座模型br/Base Model]B --C[增量預(yù)訓(xùn)練br/Continual Pre-Training]C --D[領(lǐng)域適配模型br/Domain-Adapted Model]D --E[后訓(xùn)練br/SFT、偏好與安全對(duì)齊]E --F[指令或任務(wù)模型br/Instruction/Task Model]style A fill:#ffe6e6style C fill:#fff4e6style E fill:#e6ffe6完整訓(xùn)練流程預(yù)訓(xùn)練在海量通用數(shù)據(jù)上訓(xùn)練得到通用基座模型增量預(yù)訓(xùn)練可選在特定領(lǐng)域數(shù)據(jù)上繼續(xù)訓(xùn)練得到領(lǐng)域模型后訓(xùn)練通過有監(jiān)督微調(diào)SFT、偏好對(duì)齊和安全對(duì)齊等方法讓模型能夠遵循指令并滿足應(yīng)用目標(biāo):::note 微調(diào)與后訓(xùn)練的關(guān)系 微調(diào)是后訓(xùn)練的重要組成部分但后訓(xùn)練不等于微調(diào)。例如SFT屬于微調(diào)完整的RLHF還包含偏好數(shù)據(jù)收集、獎(jiǎng)勵(lì)模型訓(xùn)練和強(qiáng)化學(xué)習(xí)優(yōu)化因此更適合歸入后訓(xùn)練這個(gè)上位概念。 :::預(yù)訓(xùn)練的成本與價(jià)值成本分析模型參數(shù)量訓(xùn)練硬件訓(xùn)練時(shí)間估計(jì)成本BERT-Base110M16塊TPU4天~$7,000GPT-21.5B32塊V1001周~$43,000GPT-3175B10,000塊V100數(shù)月~$4,600,000LLaMA-65B65B2,048塊A10021天~$2,000,000價(jià)值體現(xiàn)盡管預(yù)訓(xùn)練成本高昂但其價(jià)值在于?一次訓(xùn)練多次復(fù)用一個(gè)預(yù)訓(xùn)練模型可以用于成千上萬種任務(wù)?社區(qū)共享開源后全世界的開發(fā)者都能受益?降低門檻讓小團(tuán)隊(duì)也能開發(fā)AI應(yīng)用?加速創(chuàng)新不需要每個(gè)人都從零開始增量預(yù)訓(xùn)練的成本與價(jià)值相比完整的從零預(yù)訓(xùn)練增量預(yù)訓(xùn)練的成本要低得多但仍需要可觀的投入。成本分析場(chǎng)景基座模型數(shù)據(jù)規(guī)模訓(xùn)練硬件訓(xùn)練時(shí)間估計(jì)成本中文適配LLaMA-7B100GB中文文本64塊A1005-7天~$50,000醫(yī)學(xué)領(lǐng)域LLaMA-13B50GB醫(yī)學(xué)文獻(xiàn)32塊A1003-5天~$30,000代碼能力GPT-3200GB代碼數(shù)據(jù)128塊A1007-10天~$100,000金融領(lǐng)域BERT-Base20GB金融文檔8塊V1002-3天~$5,000與從零預(yù)訓(xùn)練的成本對(duì)比讓我們看一個(gè)具體例子打造一個(gè)7B參數(shù)的中文大模型維度從零預(yù)訓(xùn)練增量預(yù)訓(xùn)練節(jié)省比例數(shù)據(jù)需求1-2TB多語言數(shù)據(jù)100GB中文數(shù)據(jù)節(jié)省90%訓(xùn)練硬件256塊A10064塊A100節(jié)省75%訓(xùn)練時(shí)間30-40天5-7天節(jié)省80%總成本$400,000-$600,000$50,000-$80,000節(jié)省85%風(fēng)險(xiǎn)高可能失敗低基于成熟模型-關(guān)鍵優(yōu)勢(shì)?成本降低通常只需要從零訓(xùn)練成本的10-20%?時(shí)間縮短訓(xùn)練時(shí)間減少70-85%?數(shù)據(jù)需求少只需要領(lǐng)域數(shù)據(jù)不需要海量通用數(shù)據(jù)?風(fēng)險(xiǎn)更低基于已驗(yàn)證的模型成功率更高?效果有保證繼承基座模型的通用能力只需增強(qiáng)特定領(lǐng)域價(jià)值體現(xiàn)增量預(yù)訓(xùn)練的價(jià)值在于平衡了成本和專業(yè)性價(jià)值點(diǎn)說明示例領(lǐng)域?qū)I(yè)化在特定領(lǐng)域達(dá)到專家水平醫(yī)學(xué)模型理解專業(yè)術(shù)語準(zhǔn)確率提升40%語言本地化顯著提升特定語言能力中文模型在中文任務(wù)上超越原版30%知識(shí)更新學(xué)習(xí)最新知識(shí)和趨勢(shì)2024年數(shù)據(jù)讓模型了解最新事件企業(yè)可負(fù)擔(dān)中型企業(yè)也能承受的成本5-10萬美元的預(yù)算即可實(shí)現(xiàn)快速迭代幾天就能看到效果一周內(nèi)完成模型升級(jí)實(shí)際案例對(duì)比案例打造醫(yī)學(xué)AI助手方案從零訓(xùn)練醫(yī)學(xué)模型基于LLaMA增量預(yù)訓(xùn)練需要數(shù)據(jù)需要TB級(jí)通用數(shù)據(jù)醫(yī)學(xué)數(shù)據(jù)只需50-100GB醫(yī)學(xué)數(shù)據(jù)訓(xùn)練成本$500,000$30,000-$50,000訓(xùn)練時(shí)間2-3個(gè)月5-7天團(tuán)隊(duì)規(guī)模10人的大團(tuán)隊(duì)2-3人的小團(tuán)隊(duì)成功率60-70%可能失敗90%基于成熟模型最終效果通用能力弱醫(yī)學(xué)能力強(qiáng)通用能力強(qiáng)醫(yī)學(xué)能力也強(qiáng)何時(shí)選擇增量預(yù)訓(xùn)練適合增量預(yù)訓(xùn)練的場(chǎng)景? 已有開源基座模型可用如LLaMA、Qwen? 需要增強(qiáng)特定領(lǐng)域或語言的能力? 預(yù)算在5-20萬美元范圍? 時(shí)間緊迫需要快速上線? 團(tuán)隊(duì)規(guī)模有限2-5人必須從零訓(xùn)練的場(chǎng)景? 需要完全不同的架構(gòu)創(chuàng)新? 現(xiàn)有模型都不滿足基本要求? 有充足的預(yù)算百萬美元級(jí)和時(shí)間數(shù)月? 需要完全掌控模型的所有細(xì)節(jié)? 商業(yè)許可限制某些模型不允許商用預(yù)訓(xùn)練方法總結(jié)維度從零預(yù)訓(xùn)練增量預(yù)訓(xùn)練起點(diǎn)隨機(jī)初始化已有預(yù)訓(xùn)練模型數(shù)據(jù)規(guī)模TB級(jí)GB-TB級(jí)訓(xùn)練目標(biāo)學(xué)習(xí)通用知識(shí)增強(qiáng)特定領(lǐng)域成本$100萬-$500萬$5萬-$20萬時(shí)間1-3個(gè)月5-15天適用場(chǎng)景構(gòu)建基座模型領(lǐng)域適配、語言適配主要玩家大公司、研究機(jī)構(gòu)中型企業(yè)、創(chuàng)業(yè)公司預(yù)訓(xùn)練和增量預(yù)訓(xùn)練構(gòu)成了現(xiàn)代AI模型的基礎(chǔ)前者建立通用能力后者實(shí)現(xiàn)專業(yè)適配。理解這兩種方法的成本和價(jià)值是掌握AI模型訓(xùn)練的關(guān)鍵第一步。AI模型訓(xùn)練的完整流程模型訓(xùn)練有兩個(gè)常見起點(diǎn)一種是從隨機(jī)參數(shù)開始訓(xùn)練自己的基座模型另一種是采用已經(jīng)完成預(yù)訓(xùn)練的基座模型在此基礎(chǔ)上繼續(xù)訓(xùn)練。兩條路線的前半段不同但都會(huì)進(jìn)入領(lǐng)域適配、后訓(xùn)練、評(píng)估、優(yōu)化和部署階段。flowchart TB A[需求分析br/明確能力、質(zhì)量、成本和合規(guī)目標(biāo)]--B{確定訓(xùn)練起點(diǎn)}B --|從零訓(xùn)練|C[準(zhǔn)備預(yù)訓(xùn)練語料]C --D[設(shè)計(jì)模型架構(gòu)與分詞器]D --E[預(yù)訓(xùn)練]E --F[得到起始模型]B --|采用現(xiàn)成基座模型|G[選擇并評(píng)估基座模型br/預(yù)訓(xùn)練已由提供方完成]G --F F --H[準(zhǔn)備領(lǐng)域、指令、偏好與評(píng)估數(shù)據(jù)]H --I{需要補(bǔ)充領(lǐng)域知識(shí)?}I --|是|J[增量預(yù)訓(xùn)練]I --|否|K{需要調(diào)整模型行為?}J --K K --|是|L[后訓(xùn)練br/SFT、偏好與安全對(duì)齊]K --|否|M[模型評(píng)估br/能力、質(zhì)量與安全]L --M M --N{是否達(dá)到目標(biāo)?}N --|否|O[分析問題br/調(diào)整數(shù)據(jù)、模型或訓(xùn)練參數(shù)]O --H N --|是|P{需要部署優(yōu)化?}P --|是|Q[模型優(yōu)化br/量化、剪枝、蒸餾]P --|否|R[部署上線]Q --R R --S[監(jiān)控運(yùn)營(yíng)與持續(xù)迭代]S -.-|新數(shù)據(jù)或需求變化|H style E fill:#ffe6e6style J fill:#e6f3ffstyle L fill:#fff4e6style R fill:#e6ffe6其中“后訓(xùn)練”是一個(gè)階段性概念包含有監(jiān)督微調(diào)SFT、偏好對(duì)齊、安全對(duì)齊等方法。微調(diào)屬于后訓(xùn)練但不能覆蓋后訓(xùn)練的全部?jī)?nèi)容。如果選用的已經(jīng)是經(jīng)過指令微調(diào)和安全對(duì)齊的Chat或Instruct模型并且評(píng)估結(jié)果滿足需求可以跳過增量預(yù)訓(xùn)練和后訓(xùn)練。步驟1需求分析先明確要解決的業(yè)務(wù)問題和最終交付物具體任務(wù)是什么例如分類、生成、問答、推理或工具調(diào)用最終需要基座模型、領(lǐng)域模型還是可直接對(duì)話的指令模型輸入和輸出是什么需要支持哪些語言和模態(tài)對(duì)準(zhǔn)確率、安全性、延遲和吞吐量有什么要求可用的數(shù)據(jù)、算力、時(shí)間和預(yù)算是多少是否有隱私、版權(quán)、開源協(xié)議或行業(yè)合規(guī)限制需求決定后續(xù)是否需要預(yù)訓(xùn)練、增量預(yù)訓(xùn)練和后訓(xùn)練不能先選訓(xùn)練方法再尋找使用場(chǎng)景。步驟2確定訓(xùn)練起點(diǎn)與模型方案首先判斷是從零訓(xùn)練還是采用現(xiàn)成基座模型判斷因素從零訓(xùn)練采用現(xiàn)成基座模型模型需求需要新架構(gòu)、特殊模態(tài)或完全自主可控現(xiàn)有模型已具備大部分基礎(chǔ)能力數(shù)據(jù)規(guī)模擁有TB-PB級(jí)高質(zhì)量通用數(shù)據(jù)擁有領(lǐng)域或任務(wù)數(shù)據(jù)即可算力與預(yù)算能承擔(dān)大規(guī)模分布式訓(xùn)練希望控制成本和交付周期研發(fā)周期通常以月為單位通常以天或周為單位主要風(fēng)險(xiǎn)訓(xùn)練不穩(wěn)定、數(shù)據(jù)和算力成本高許可證、能力上限和基座模型偏差采用現(xiàn)成基座模型時(shí)需要重點(diǎn)評(píng)估因素考慮點(diǎn)任務(wù)和模態(tài)文本、圖像、語音或多模態(tài)是否匹配基礎(chǔ)能力語言、領(lǐng)域知識(shí)、推理和工具調(diào)用能力是否滿足要求模型規(guī)模參數(shù)量、上下文長(zhǎng)度與現(xiàn)有算力是否匹配模型類型Base模型還是已經(jīng)對(duì)齊的Chat/Instruct模型開源協(xié)議是否允許商用、微調(diào)和再分發(fā)工程生態(tài)訓(xùn)練、推理框架和社區(qū)工具是否成熟步驟3數(shù)據(jù)準(zhǔn)備不同訓(xùn)練階段需要的數(shù)據(jù)并不相同不能把所有數(shù)據(jù)都簡(jiǎn)單歸為“訓(xùn)練集”訓(xùn)練階段主要數(shù)據(jù)典型形式預(yù)訓(xùn)練大規(guī)模通用無標(biāo)注數(shù)據(jù)網(wǎng)頁、書籍、代碼、圖像或多模態(tài)數(shù)據(jù)增量預(yù)訓(xùn)練領(lǐng)域或新增無標(biāo)注數(shù)據(jù)醫(yī)學(xué)文獻(xiàn)、法律文件、企業(yè)知識(shí)、目標(biāo)語言語料有監(jiān)督微調(diào)高質(zhì)量指令數(shù)據(jù)指令與回答、任務(wù)輸入與標(biāo)準(zhǔn)輸出偏好對(duì)齊偏好或反饋數(shù)據(jù)同一問題的優(yōu)劣回答對(duì)、評(píng)分、規(guī)則反饋模型評(píng)估獨(dú)立且未參與訓(xùn)練的數(shù)據(jù)能力測(cè)試集、安全集、真實(shí)業(yè)務(wù)樣本常見數(shù)據(jù)來源包括數(shù)據(jù)來源優(yōu)點(diǎn)風(fēng)險(xiǎn)或限制適用場(chǎng)景企業(yè)內(nèi)部數(shù)據(jù)領(lǐng)域相關(guān)性強(qiáng)可能數(shù)量不足需處理隱私和權(quán)限垂直領(lǐng)域適配公開數(shù)據(jù)集獲取方便、覆蓋廣質(zhì)量和許可證需要審查通用能力和公開基準(zhǔn)數(shù)據(jù)采購質(zhì)量和范圍相對(duì)可控成本較高商業(yè)訓(xùn)練項(xiàng)目人工標(biāo)注可按目標(biāo)定制周期長(zhǎng)需要一致性管理SFT、偏好和安全數(shù)據(jù)合成數(shù)據(jù)成本低、易擴(kuò)展可能放大生成模型的偏差數(shù)據(jù)增強(qiáng)和稀缺任務(wù)數(shù)據(jù)處理通常包括去重、質(zhì)量過濾、隱私與版權(quán)檢查、格式統(tǒng)一、分詞或特征處理、數(shù)據(jù)標(biāo)注和污染檢測(cè)。監(jiān)督任務(wù)還需要把數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集評(píng)估集必須與訓(xùn)練數(shù)據(jù)隔離。步驟4架構(gòu)與分詞器設(shè)計(jì)從零訓(xùn)練時(shí)必選采用現(xiàn)成基座模型時(shí)通常跳過。從零訓(xùn)練需要確定模型結(jié)構(gòu)、參數(shù)規(guī)模、上下文長(zhǎng)度、注意力機(jī)制、分詞器和訓(xùn)練目標(biāo)。這些選擇會(huì)共同決定模型能力、訓(xùn)練成本和部署成本而且在預(yù)訓(xùn)練開始后很難低成本修改?；诂F(xiàn)成模型時(shí)通常保持原有架構(gòu)和分詞器只選擇上下文長(zhǎng)度、精度、并行策略及微調(diào)方式。只有目標(biāo)語言或特殊符號(hào)覆蓋嚴(yán)重不足時(shí)才考慮擴(kuò)充詞表修改詞表后還需要訓(xùn)練新增的嵌入?yún)?shù)并重新評(píng)估。步驟5預(yù)訓(xùn)練從零訓(xùn)練時(shí)必選基于現(xiàn)成基座模型時(shí)跳過。預(yù)訓(xùn)練從隨機(jī)初始化參數(shù)開始通過下一個(gè)詞預(yù)測(cè)、掩碼預(yù)測(cè)、圖文對(duì)齊等通用目標(biāo)學(xué)習(xí)知識(shí)和表示能力產(chǎn)物是基座模型。這個(gè)階段通常消耗最多的數(shù)據(jù)和算力需要重點(diǎn)關(guān)注訓(xùn)練損失、困惑度和驗(yàn)證集指標(biāo)是否正常下降數(shù)據(jù)吞吐、GPU利用率和分布式訓(xùn)練穩(wěn)定性學(xué)習(xí)率、批次大小、數(shù)值精度和梯度是否穩(wěn)定檢查點(diǎn)保存、故障恢復(fù)和訓(xùn)練數(shù)據(jù)版本是否可追溯基礎(chǔ)能力、安全風(fēng)險(xiǎn)和數(shù)據(jù)污染情況選擇現(xiàn)成基座模型意味著復(fù)用模型提供方的預(yù)訓(xùn)練結(jié)果并不意味著完整生命周期中不存在預(yù)訓(xùn)練。步驟6增量預(yù)訓(xùn)練可選增量預(yù)訓(xùn)練繼續(xù)使用預(yù)訓(xùn)練目標(biāo)讓模型補(bǔ)充領(lǐng)域知識(shí)、目標(biāo)語言或較新的信息。它適合以下情況領(lǐng)域數(shù)據(jù)與原預(yù)訓(xùn)練數(shù)據(jù)差異很大例如醫(yī)學(xué)、法律和金融模型缺少大量專業(yè)知識(shí)而不只是不會(huì)遵循回答格式有較多領(lǐng)域無標(biāo)注數(shù)據(jù)但高質(zhì)量指令數(shù)據(jù)較少需要增強(qiáng)特定語言、代碼或其他數(shù)據(jù)類型的基礎(chǔ)能力訓(xùn)練時(shí)通常使用比從零預(yù)訓(xùn)練更小的學(xué)習(xí)率并混合一定比例的通用數(shù)據(jù)以降低災(zāi)難性遺忘風(fēng)險(xiǎn)。除了觀察領(lǐng)域數(shù)據(jù)上的困惑度還要回歸測(cè)試原有通用能力。如果問題只是回答格式、任務(wù)行為或人類偏好不符合要求應(yīng)優(yōu)先考慮后訓(xùn)練而不是增量預(yù)訓(xùn)練。步驟7后訓(xùn)練后訓(xùn)練的目標(biāo)是把“能夠續(xù)寫內(nèi)容的基座模型”轉(zhuǎn)變?yōu)椤澳軌蜃裱噶畈M足應(yīng)用要求的模型”。可根據(jù)目標(biāo)組合使用以下方法后訓(xùn)練環(huán)節(jié)主要目標(biāo)常見方法或數(shù)據(jù)有監(jiān)督微調(diào)學(xué)習(xí)指令格式、任務(wù)行為和示例答案SFT、指令與回答數(shù)據(jù)偏好對(duì)齊讓輸出更符合人類或業(yè)務(wù)偏好DPO、獎(jiǎng)勵(lì)模型、RLHF、RLAIF安全對(duì)齊減少有害、越權(quán)或不合規(guī)輸出安全數(shù)據(jù)、拒答樣本、紅隊(duì)反饋能力強(qiáng)化增強(qiáng)推理、工具調(diào)用或特定任務(wù)表現(xiàn)可驗(yàn)證獎(jiǎng)勵(lì)、強(qiáng)化學(xué)習(xí)、專項(xiàng)任務(wù)數(shù)據(jù):::tip 不要混淆訓(xùn)練目標(biāo)和參數(shù)更新范圍SFT、DPO和RLHF描述訓(xùn)練目標(biāo)或訓(xùn)練流程全量微調(diào)、LoRA和QLoRA描述更新多少參數(shù)及如何更新參數(shù)。這是兩個(gè)不同的分類維度。例如SFT既可以全量微調(diào)也可以使用LoRA完成。 :::后訓(xùn)練階段需要定期在驗(yàn)證集上評(píng)估使用早停防止過擬合并回歸檢查基礎(chǔ)能力和安全性。顯存受限時(shí)可以使用梯度累積、混合精度和參數(shù)高效微調(diào)。步驟8模型評(píng)估模型評(píng)估不是只在訓(xùn)練結(jié)束后執(zhí)行一次而應(yīng)作為每個(gè)訓(xùn)練階段的質(zhì)量門禁評(píng)估對(duì)象重點(diǎn)指標(biāo)預(yù)訓(xùn)練或增量預(yù)訓(xùn)練模型損失、困惑度、通用與領(lǐng)域基準(zhǔn)、知識(shí)覆蓋后訓(xùn)練模型指令遵循、任務(wù)正確率、偏好勝率、安全性部署候選模型延遲、吞吐量、顯存、穩(wěn)定性和推理成本不同任務(wù)常用的自動(dòng)評(píng)估指標(biāo)包括任務(wù)類型常用指標(biāo)分類準(zhǔn)確率、F1分?jǐn)?shù)、AUC生成BLEU、ROUGE、BERTScore或模型裁判評(píng)分問答EM精確匹配、F1、事實(shí)正確率推理最終答案正確率、步驟驗(yàn)證通過率對(duì)話指令遵循、偏好勝率、安全違規(guī)率自動(dòng)指標(biāo)之外還要通過人工評(píng)估檢查回答的相關(guān)性、準(zhǔn)確性、完整性、自然度和安全性。評(píng)估不通過時(shí)應(yīng)先判斷問題來自知識(shí)缺失、行為偏差、數(shù)據(jù)質(zhì)量還是推理性能再回到對(duì)應(yīng)階段迭代。步驟9模型優(yōu)化可選達(dá)到能力和安全目標(biāo)后可以根據(jù)部署約束進(jìn)一步優(yōu)化模型量化將32位或16位參數(shù)轉(zhuǎn)換為8位或4位降低顯存和計(jì)算開銷剪枝移除影響較小的權(quán)重、通道或結(jié)構(gòu)知識(shí)蒸餾讓較小的學(xué)生模型學(xué)習(xí)較大教師模型的能力推理優(yōu)化使用算子融合、緩存、批處理和并行策略提高吞吐量每次優(yōu)化后都要重新評(píng)估能力、安全性和性能確認(rèn)性能收益沒有造成不可接受的質(zhì)量下降。原始模型7B 參數(shù)14GB 顯存100ms 延遲準(zhǔn)確率92% 量化后INT47B 參數(shù)3.5GB 顯存110ms 延遲準(zhǔn)確率90.5% 蒸餾后學(xué)生模型1.5B 參數(shù)3GB 顯存20ms 延遲準(zhǔn)確率87%步驟10部署上線常見部署方式包括方式特點(diǎn)適用場(chǎng)景云端API易擴(kuò)展、按需使用快速接入或并發(fā)波動(dòng)較大的應(yīng)用邊緣部署低延遲、數(shù)據(jù)就地處理實(shí)時(shí)性和隱私要求較高的設(shè)備本地部署數(shù)據(jù)可控、無公網(wǎng)依賴企業(yè)內(nèi)網(wǎng)和敏感數(shù)據(jù)場(chǎng)景混合部署平衡效果、成本和隱私具有多級(jí)模型路由的復(fù)雜業(yè)務(wù)常用部署工具包括用于大模型推理的vLLM、用于構(gòu)建服務(wù)接口的FastAPI、用于NVIDIA硬件加速的TensorRT以及用于跨平臺(tái)推理的ONNX Runtime。上線前還需要完成容量評(píng)估、灰度發(fā)布、回滾方案、權(quán)限控制、內(nèi)容安全和可觀測(cè)性建設(shè)。步驟11監(jiān)控與持續(xù)迭代上線后需要持續(xù)監(jiān)控模型質(zhì)量任務(wù)成功率、事實(shí)錯(cuò)誤、安全違規(guī)、用戶反饋和badcase服務(wù)性能響應(yīng)延遲、吞吐量、可用性和超時(shí)率資源成本GPU利用率、單次請(qǐng)求成本和緩存命中率數(shù)據(jù)變化領(lǐng)域知識(shí)更新、輸入分布漂移和新型安全風(fēng)險(xiǎn)不同問題應(yīng)回到不同訓(xùn)練階段處理知識(shí)缺失或領(lǐng)域變化通?；氐皆隽款A(yù)訓(xùn)練指令和偏好問題回到后訓(xùn)練延遲和成本問題回到模型優(yōu)化或部署配置。這樣才能形成從監(jiān)控、數(shù)據(jù)積累、再訓(xùn)練、評(píng)估到重新發(fā)布的閉環(huán)。強(qiáng)烈推薦AI編程巴士網(wǎng)站穩(wěn)定純凈的ClaudeCode套餐供應(yīng) (https://code.ai80.vip/home)