【免費(fèi)下載鏈接】LFM2.5-24B-A2B-Preview-GGUF項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/unsloth/LFM2.5-24B-A2B-Preview-GGUF點(diǎn)擊查看免費(fèi)下載LFM2.5-24B-A2B-Preview 是 Liquid AI 推出的 24B 總參數(shù)、2B 激活的純推理大模型它每次回答前都會(huì)先用think標(biāo)簽輸出一段思考過程。本文深度解析它的 think 標(biāo)簽推理機(jī)制與 ChatML 對(duì)話模板并帶你選對(duì) GGUF 量化版本輕松本地運(yùn)行。 think標(biāo)簽的注入原理為什么它必須先思考LFM2.5-24B-A2B-Preview 與上一代 LFM2-24B-A2B 最本質(zhì)的區(qū)別在于它是一個(gè)純推理模型pure reasoning modelalways thinks before it answers——每次回答前都先輸出思考過程README.md。這個(gè)先思考的行為并非模型自覺而是由 ChatML 模板硬性寫入的模板在模型開始作答時(shí)自動(dòng)在assistant消息開頭插入think標(biāo)簽?zāi)Ｐ捅仨毾忍钔晁伎純?nèi)容、寫出think結(jié)束標(biāo)簽才能給出最終答案無論問題難易推理鏈都穩(wěn)定出現(xiàn)不會(huì)時(shí)隱時(shí)現(xiàn)。把思考寫進(jìn)模板而不是靠提示詞引導(dǎo)帶來兩個(gè)直接好處推理行為可預(yù)測Agent工具調(diào)用場景需要穩(wěn)定、可靠的決策鏈強(qiáng)制思考讓輸出結(jié)構(gòu)一致思考幾乎不占成本它是 MoE 架構(gòu)每個(gè) token 只激活約 2.45B 參數(shù)每個(gè)思考 token 都很便宜所以永遠(yuǎn)先想再答不犧牲速度README.md。 ChatML模板深度解析一條對(duì)話如何組織LFM2.5 采用ChatML 風(fēng)格的對(duì)話格式用特殊標(biāo)記special tokens界定每條消息的角色README.md|startoftext| |system| You are a helpful assistant trained by Liquid AI. |user| What is C. elegans? |assistant|特殊標(biāo)記作用\|startoftext\|對(duì)話起點(diǎn)\|system\|系統(tǒng)提示可放工具定義\|user\|用戶消息\|assistant\|模型回答開頭會(huì)自動(dòng)帶上think標(biāo)簽新手不用手寫這些標(biāo)記tokenizer.apply_chat_template()會(huì)自動(dòng)把消息列表拼成正確格式。 思考之后工具調(diào)用的四步流程推理鏈不只是用來想它還是標(biāo)準(zhǔn)工具調(diào)用的決策中樞。LFM2.5 支持四步函數(shù)調(diào)用README.md定義函數(shù)把工具描述以 JSON 列表放進(jìn) system 提示或交給apply_chat_template()處理發(fā)起調(diào)用模型在\|tool_call_start\|與\|tool_call_end\|之間輸出 Python 風(fēng)格調(diào)用例如[get_candidate_status(candidate_id12345)]執(zhí)行函數(shù)把執(zhí)行結(jié)果以tool角色回傳給模型最終回答模型整合工具輸出給出面向原始問題的純文本答案。整個(gè)過程里思考發(fā)生在發(fā)起調(diào)用之前的think段——先推理該查什么再動(dòng)手調(diào)用這正是 Agent 可靠性的來源。 模型檔案24B總參數(shù)、2B激活的MoE結(jié)構(gòu)項(xiàng)目數(shù)值總參數(shù)24B每 token 激活參數(shù)2.45B層數(shù)40 層30 層短卷積塊 10 層 GQA 注意力MoE 結(jié)構(gòu)每個(gè) MoE 塊 64 個(gè)專家top-4 路由訓(xùn)練數(shù)據(jù)量約 33 萬億 tokens詞表大小128,000較上一代翻倍上下文窗口131,072 tokens128K較上一代 32K 擴(kuò)展詳見 README.md2B 激活是關(guān)鍵賣點(diǎn)容量接近 24B 大模型每步推理卻只計(jì)算約 2B 參數(shù)速度接近小模型——這就是它敢永遠(yuǎn)先思考再回答的底氣也適合單臺(tái)筆記本運(yùn)行本地私有 Agent。 如何本地運(yùn)行GGUF量化版怎么選本倉庫提供了由Unsloth Dynamic 3.0UD生成的全套 GGUF 量化權(quán)重。UD 系列動(dòng)態(tài)量化在同等體積下精度通常更高按顯存需求從高到低排列量化文件精度近似權(quán)重占用*BF16/LFM2.5-24B-A2B-Preview-BF16.ggufBF16約 48GB最高精度適合微調(diào)LFM2.5-24B-A2B-Preview-Q8_0.ggufQ8_0約 25GB近乎無損LFM2.5-24B-A2B-Preview-UD-Q6_K_XL.ggufUD-Q6_K_XL約 20GB高精度LFM2.5-24B-A2B-Preview-UD-Q5_K_XL.ggufUD-Q5_K_XL約 17GB均衡之選LFM2.5-24B-A2B-Preview-UD-Q4_K_XL.ggufUD-Q4_K_XL約 14GB推薦默認(rèn)選擇LFM2.5-24B-A2B-Preview-UD-Q3_K_XL.ggufUD-Q3_K_XL約 12GB省顯存LFM2.5-24B-A2B-Preview-UD-Q2_K_XL.ggufUD-Q2_K_XL約 10GB低顯存LFM2.5-24B-A2B-Preview-UD-IQ2_M.ggufUD-IQ2_M約 9GB極限省顯存LFM2.5-24B-A2B-Preview-UD-IQ2_XXS.ggufUD-IQ2_XXS約 8GB最小體積*權(quán)重本身占用實(shí)際顯存還需加上上下文 KV cache128K 長上下文會(huì)明顯增加開銷。新手選擇建議8–12GB 顯卡從 UD-Q3_K_XL 或 UD-Q2_K_XL 起步16GB 顯卡優(yōu)先 UD-Q4_K_XL精度與速度平衡最好24GB 顯卡UD-Q6_K_XL 或 Q8_0還能開更長的上下文。? 新手常見問題Q能關(guān)掉思考直接回答嗎不能。think標(biāo)簽寫在對(duì)話模板里L(fēng)FM2.5-24B-A2B-Preview 會(huì)始終先思考再回答。若需要非推理模式應(yīng)選用 LFM2-24B-A2B。Q為什么 24B 模型也能跑得快MoE 架構(gòu)每個(gè) token 只激活約 2B 參數(shù)推理速度接近小模型思考開銷因此可以忽略。Q上下文真能到 128K架構(gòu)上限是 131,072 tokens但長度越大 KV cache 越吃顯存。新手建議先用短上下文跑通再逐步加長。寫在最后LFM2.5-24B-A2B-Preview 用模板級(jí) think 標(biāo)簽 MoE 加速的組合做到像大模型一樣推理、像小模型一樣快是本地私有 Agent 的高性價(jià)比選擇。模型細(xì)節(jié)與工具調(diào)用示例均可在 README.md 中查證。贊分享【免費(fèi)下載鏈接】LFM2.5-24B-A2B-Preview-GGUF項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/unsloth/LFM2.5-24B-A2B-Preview-GGUF點(diǎn)擊查看免費(fèi)下載相關(guān)推薦如何控制LFM2.5-24B-A2B的思考think推理標(biāo)簽與多輪對(duì)話避坑指南如何控制LFM2.5 24B A2B的思考think推理標(biāo)簽與多輪對(duì)話避坑指南 LFM2.5 24B A2B Preview 是 Liquid AI 推出什么是 LFM2.5-24B-A2B-Preview-5bit一文看懂 24B 總參僅 2B 激活的 MoE 架構(gòu)與 5bit 量化什么是 LFM2.5 24B A2B Preview 5bit一文看懂 24B 總參僅 2B 激活的 MoE 架構(gòu)與 5bit 量化 LFM2.5 24B A什么是LFM2.5-24B-A2B-OptiQ-4bit16.7GB本地運(yùn)行的24B推理大模型終極入門指南什么是LFM2.5 24B A2B OptiQ 4bit16.7GB本地運(yùn)行的24B推理大模型終極入門指南 LFM2.5 24B A2B OptiQ 4bit人工智能大模型模型量化模型優(yōu)化本地部署創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考