【免費(fèi)下載鏈接】Ling-3.0-tiny-base-midtrain項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Ling-3.0-tiny-base-midtrain點(diǎn)擊查看免費(fèi)下載Ling-3.0-tiny-base-midtrain 是螞蟻開源 Ling-3.0 系列中總參數(shù) 7.9B、每 token 僅激活 1.3B的 MoE混合專家語(yǔ)言模型檢查點(diǎn)采用原生混合線性注意力架構(gòu)原生支持 256K 長(zhǎng)上下文。它已完成大規(guī)模預(yù)訓(xùn)練和中訓(xùn)練mid-training但尚未做后訓(xùn)練對(duì)齊——本文基于官方基準(zhǔn)數(shù)據(jù)完整評(píng)測(cè)它在代碼、數(shù)學(xué)、長(zhǎng)上下文三大硬核場(chǎng)景下的表現(xiàn)并與 Ling-2.5-mini16B A1.4B、Qwen3.5-9B、Qwen3.5-4B 正面硬剛幫新手快速判斷這個(gè)小鋼炮值不值得用。一、Ling-3.0-tiny-base-midtrain 是什么一張卡片看懂定位先說結(jié)論這是一個(gè)面向研究者的半成品基礎(chǔ)模型檢查點(diǎn)適合二次訓(xùn)練不適合直接拿來做聊天機(jī)器人。Ling-3.0 系列按訓(xùn)練階段開放了三種檢查點(diǎn)本文主角是中間那一檔訓(xùn)練階段檢查點(diǎn)狀態(tài)預(yù)訓(xùn)練Ling-3.0-tiny-base-30T完成預(yù)訓(xùn)練未中訓(xùn)練中訓(xùn)練Ling-3.0-tiny-base-midtrain完成中訓(xùn)練未合并、未后訓(xùn)練?合并Ling-3.0-tiny-base基于 WSM 合并仍未后訓(xùn)練官方推薦的用途包括繼續(xù)預(yù)訓(xùn)練continued pre-training、中訓(xùn)練、領(lǐng)域適配的 SFT、偏好優(yōu)化/RL 后訓(xùn)練、蒸餾研究以及長(zhǎng)上下文與 MoE 系統(tǒng)研究不推薦直接面向終端用戶聊天部署或安全關(guān)鍵場(chǎng)景。關(guān)鍵規(guī)格一覽數(shù)據(jù)來自 config.json 與 README.md配置項(xiàng)數(shù)值說明架構(gòu)類型Hybrid-linear MoE混合線性注意力 MoE參數(shù)規(guī)?？?7.9B / 激活 1.3B推理成本≈1.3B 稠密模型層數(shù)18 層 KDA 6 層 Gated MLA3:124 層首層為 Dense專家配置128 路由專家 1 共享專家每 token 激活 8 個(gè)路由專家隱藏維度 / 注意力頭1536 / 16head_dim 128詞表大小157,184多語(yǔ)言最大上下文262,144256Kmax_position_embeddings精度bfloat16權(quán)重約 16.4GB協(xié)議MIT自由商用、可微調(diào)二、架構(gòu)解讀7.9B 的 MoE 為什么小身材、大能量1?? 高稀疏 MoE128 專家只叫醒 9 個(gè)每個(gè) token 只激活 8 個(gè)路由專家 1 個(gè)共享專家稀疏度約 1/64 量級(jí)——模型容量可以做到 7.9B而實(shí)際計(jì)算量只有 1.3B。這就是為什么它敢和 16B 的 Ling-2.5-mini、9B 的 Qwen3.5 掰手腕你花小模型的電費(fèi)買大模型的知識(shí)容量。專家路由與門控邏輯可參見 modeling_bailing_moe_v3.pyBailingMoeV3SparseMoeBlock含共享專家混合結(jié)構(gòu)路由采用 sigmoid 打分 組受限 top-ktopk_method: noaux_tc。2?? 原生混合線性注意力KDA 與 Gated MLA 按 3:1 交替長(zhǎng)上下文的成本和注意力稀釋一直是 MoE 模型的短板。Ling-3.0 系列從預(yù)訓(xùn)練第一天起就采用混合線性注意力24 層中 18 層使用 KDAKimi Delta Attention線性注意力KV 緩存近乎 O(1)6 層使用 Gated MLA門控多潛注意力保留全量注意力精度按 3:1 交替排布。層類型的判定邏輯在 modeling_bailing_moe_v3.pyBailingMoeV3DecoderLayer線性注意力層負(fù)責(zé)跑得快MLA 層負(fù)責(zé)記得牢兩者混合讓 256K 上下文既能裝得下、也讀得動(dòng)——這正是它長(zhǎng)上下文成績(jī)突出的底層原因。MLA 與 KDA 的實(shí)現(xiàn)分別位于 modeling_bailing_moe_v3.pyBailingMoeV3MultiLatentAttention和 modeling_bailing_moe_v3.pyBailingMoeV3KimiDeltaAttention。3?? WSM 權(quán)重合并省掉學(xué)習(xí)率衰減的彩蛋官方用 Warmup-Stable and MergeWSM權(quán)重合并替代傳統(tǒng)學(xué)習(xí)率衰減收尾。對(duì)新手最實(shí)在的好處是檢查點(diǎn)更適合繼續(xù)預(yù)訓(xùn)練和動(dòng)態(tài)擴(kuò)數(shù)據(jù)你可以在不同衰減策略間離線探索不必重跑昂貴實(shí)驗(yàn)。三、實(shí)測(cè)基準(zhǔn)代碼、數(shù)學(xué)、長(zhǎng)上下文三場(chǎng)硬仗以下數(shù)據(jù)來自 README.md 的官方 Base Model Evaluation自建綜合基準(zhǔn)套件涵蓋知識(shí)、代碼、數(shù)學(xué)、推理、多語(yǔ)言與長(zhǎng)上下文。對(duì)比模型Ling-3.0-tiny-base7.9B A1.3B、Ling-2.5-mini-base16B A1.4B、Qwen3.5-9B、Qwen3.5-4B。 代碼能力全面壓制同參數(shù)對(duì)手基準(zhǔn)Ling-3.0-tiny-baseLing-2.5-mini-baseQwen3.5-9BQwen3.5-4BHumanEval-Plus (Pass1)79.2776.2252.4449.39CruxEval (Pass1)67.4463.1968.1264.31MultiPL-E (Pass1)64.3864.3452.8945.47LiveCodeBench1 (Pass1)24.2322.9118.0613.88BigCodeBench (Pass1)42.8942.5429.3924.39FullStackBench (Pass1)39.4838.5937.2333.14LCBench2 (Pass1)41.5946.1633.4719.461 LiveCodeBench (2408–2505)2 LCBench (2301–2502)。解讀7 項(xiàng)代碼基準(zhǔn)拿下 5 項(xiàng)第一。對(duì) 16B 的 Ling-2.5-mini 總體小幅領(lǐng)先HumanEval-Plus 領(lǐng)先 3 分、LiveCodeBench 領(lǐng)先 1.3 分僅在 LCBench 上落后 4.57 分對(duì) Qwen3.5-9B 則是碾壓式差距——HumanEval-Plus 高出 26.8 分。作為參考它尚未做后訓(xùn)練這個(gè)起點(diǎn)相當(dāng)能打。 數(shù)學(xué)能力與前輩、巨頭各有勝負(fù)基準(zhǔn)Ling-3.0-tiny-baseLing-2.5-mini-baseQwen3.5-9BQwen3.5-4BMATH500 (Acc)65.6068.4055.2049.60OlympiadBench (Acc)25.9024.1021.8417.02TheoremQA (Acc)51.6450.6852.8847.40OmniMath (Acc)29.7029.0222.9920.89解讀數(shù)學(xué)是 Ling-3.0 的膠著區(qū)。MATH500 上以 2.8 分之差惜敗自家上一代 Ling-2.5-mini65.60 vs 68.40但競(jìng)賽數(shù)學(xué) OlympiadBench 反超25.90 vs 24.10OmniMath 也拿下第一。對(duì) Qwen3.5-9B 基本保持 10 分左右的領(lǐng)先?？紤]到后訓(xùn)練尤其 RL 強(qiáng)化通常能大幅拉升數(shù)學(xué)推理這個(gè)底座的后勁值得期待。 長(zhǎng)上下文混合線性注意力的主場(chǎng)基準(zhǔn)Ling-3.0-tiny-baseLing-2.5-mini-baseQwen3.5-9BQwen3.5-4BLongBench (Acc)43.8529.9351.8739.96LEval (Acc)68.3762.7277.2463.09解讀這是 Ling-3.0 架構(gòu)賣點(diǎn)兌現(xiàn)最明顯的一處——LongBench 上領(lǐng)先 Ling-2.5-mini 近 14 分43.85 vs 29.93。與 Qwen3.5-9B 仍有差距Qwen3.5 上下文能力更強(qiáng)但 7.9B A1.3B 的規(guī)格做到 LEval 68.37長(zhǎng)文處理性價(jià)比突出256K 的原生上下文窗口在max_position_embeddings: 262144config.json中可直接確認(rèn)。 知識(shí)與推理簡(jiǎn)述知識(shí)類CCPM 84.01、ARC-C 92.20、AGIEval 64.49、CEval 80.59、MMLU-Pro 51.83整體小幅領(lǐng)先 Ling-2.5-mini落后 Qwen3.5-9B 約 2~6 分推理類 CommonSenseQA 83.46、BBH 80.64均超越 Ling-2.5-mini?？傮w畫像代碼最強(qiáng)、數(shù)學(xué)穩(wěn)健、長(zhǎng)上下文亮眼、知識(shí)全面。四、上手指南如何獲取與二次開發(fā) 一鍵克隆模型倉(cāng)庫(kù)git clone https://gitcode.com/hf_mirrors/inclusionAI/Ling-3.0-tiny-base-midtrain 倉(cāng)庫(kù)文件結(jié)構(gòu)速覽文件作用config.json模型架構(gòu)配置層數(shù)、專家數(shù)、上下文等configuration_bailing_moe_v3.pyHuggingFace 自定義 Config 類modeling_bailing_moe_v3.py模型實(shí)現(xiàn)KDA/MLA/MoE 核心代碼約 1600 行chat_template.jinja對(duì)話模板支持 system/user/assistant 與工具調(diào)用tokenizer.json / tokenizer_config.json詞表與分詞配置157,184 詞表special_tokens_map.json特殊 token 映射eos 等model-00001-of-00002.safetensors / model-00002-of-00002.safetensorsbf16 權(quán)重分片合計(jì)約 16.4GBmodel.safetensors.index.json權(quán)重索引模型通過BailingMoeV3ForCausalLMmodeling_bailing_moe_v3.py加載兼容 transformers 生態(tài)。官方建議參考 ling-cookbook 倉(cāng)庫(kù)獲取微調(diào)示例對(duì)話行為由 chat_template.jinja 定義已內(nèi)置 reasoningthink與工具調(diào)用tool call格式。?? 使用提醒這是mid-train 檢查點(diǎn)未經(jīng)過 WSM 合并與后訓(xùn)練直接對(duì)話體驗(yàn)會(huì)直來直去務(wù)必先做 SFT / RL 對(duì)齊再上生產(chǎn)硬件參考bf16 權(quán)重約 16.4GB單張 24GB 顯存卡如 RTX 4090/A5000可跑推理訓(xùn)練需按 MoE 多卡方案規(guī)劃想在更大規(guī)模復(fù)現(xiàn)訓(xùn)練策略可無縫升級(jí)到 Ling-3.0-flash-base同一訓(xùn)練配方。五、總結(jié)誰應(yīng)該關(guān)注 Ling-3.0-tiny-base-midtrain代碼場(chǎng)景同規(guī)格第一梯隊(duì)未后訓(xùn)練即領(lǐng)先 16B 前輩是低成本代碼底座的不二之選數(shù)學(xué)場(chǎng)景穩(wěn)健但非統(tǒng)治級(jí)適合疊加 RL 強(qiáng)化后訓(xùn)練放大收益長(zhǎng)上下文混合線性注意力架構(gòu)實(shí)打?qū)崈冬F(xiàn)紅利256K 窗口 LEval 68.37研究者友好MIT 協(xié)議 開源全部架構(gòu)代碼KDA、Gated MLA、稀疏路由均可見源碼 三階段檢查點(diǎn)齊備做繼續(xù)預(yù)訓(xùn)練、蒸餾、MoE 系統(tǒng)研究材料齊全。一句話評(píng)價(jià)7.9B 的總參、1.3B 的開銷、256K 的視野在代碼與長(zhǎng)上下文上硬剛 Ling-2.5-mini 和 Qwen3.5 不落下風(fēng)——這就是 Ling-3.0-tiny-base-midtrain 給社區(qū)的誠(chéng)意。贊分享【免費(fèi)下載鏈接】Ling-3.0-tiny-base-midtrain項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Ling-3.0-tiny-base-midtrain點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Ling-3.0-tiny-base-midtrain config.json 逐參數(shù)詳解MoE、注意力與長(zhǎng)上下文核心超參數(shù)全解讀Ling 3.0 tiny base midtrain config.json 逐參數(shù)詳解MoE、注意力與長(zhǎng)上下文核心超參數(shù)全解讀 如果你正在研究 Ling如何用 vLLM 部署 Ling-3.0-tiny-base-midtrain長(zhǎng)上下文 MoE 推理服務(wù)化實(shí)戰(zhàn)教程如何用 vLLM 部署 Ling 3.0 tiny base midtrain長(zhǎng)上下文 MoE 推理服務(wù)化實(shí)戰(zhàn)教程 Ling 3.0 tiny base miLing-3.0-tiny-base-midtrain Gated MLA 實(shí)現(xiàn)解析LoRA 壓縮如何高效支撐 256K 長(zhǎng)上下文Ling 3.0 tiny base midtrain Gated MLA 實(shí)現(xiàn)解析LoRA 壓縮如何高效支撐 256K 長(zhǎng)上下文 Ling 3.0 tiny創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考