驗收詳解)
【免費下載鏈接】Qwen3.8-27B-NVFP4-BF16-LMHead項目地址https://ai.gitcode.com/hf_mirrors/RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead點擊查看免費下載Qwen3.8-27B-NVFP4-BF16-LMHead 是 27B 參數(shù)多模態(tài)大模型 Qwen3.8-27B 的 NVFP4 量化版本MLP 權(quán)重壓到 4-bit、注意力壓到 8-bit唯獨保留 BF16 精度的 lm_head。它在 GSM8K 數(shù)學基準上跑出96.13%在 Terminal-Bench 2.1 上跑出69.4%并隨模型發(fā)布了一套完整的資質(zhì)驗收檔案。這篇文章把這兩個數(shù)字的完整測試鏈路和驗收閘門一次性講清楚。一、 先認識這個模型27B 參數(shù)體積瘦身約 60%Qwen3.8-27B 原生支持文本、圖像、視頻輸入上下文長度最高 262,144 token見 config.json。量化后的檢查點只保留 3 個權(quán)重分片model-00001-of-00003.safetensors 等總體積21.9 GB而源模型 18 個分片共55.5 GB——瘦身約 60%源與輸出清單對比記錄在 conversion-manifest.json 中?；旌暇确桨窶IXED_PRECISION讓不同模塊各司其職模塊精度覆蓋范圍MLPgate_proj / up_proj / down_projNVFP4 W4A4group size 16193 個基張量注意力linear_attn / self_attn 各投影FP8208 個基張量lm_head、MTP 層、視覺塔BF16與源模型逐字節(jié)一致798 個張量、4.37 GB這套分工在 hf_quant_config.json 中逐層列出量化校準使用 1,024 條 cnn_dailymail 訓練集樣本、序列長 512、隨機種子 1234見 conversion-manifest.json 的 calibration 段。整個制作與驗證流程基于 NVIDIA Model Optimizermodelopt 0.47.0.dev0運行在 4×NVIDIA GB300Blackwell 架構(gòu)上。二、 GSM8K 96.13%一條完整的數(shù)學推理測試鏈GSM8K 是小學數(shù)學應用題基準測試集共 1,319 題。這次評測的協(xié)議完整記錄在 README.md硬件與引擎4×NVIDIA GB300SGLang 張量并行 TP4開啟 NEXTN 3/1/4 投機解碼用 MTP 層做草稿模型數(shù)據(jù)完整 1,319 題全量評測不做抽樣模式thinking 模式開啟思考鏈采樣模型默認參數(shù)——temperature 1.0、top_k 20、top_p 0.95即 generation_config.json 中那份配置seed 0結(jié)果96.13%1,268/1,319且 1,319 題全部以正常 stop 結(jié)束——零截斷、零報錯、零空輸出。作為參照把 lm_head 也量化的源 NVFP4 檢查點在同樣協(xié)議下得到 96.36%1,271/1,319。兩者差距不到 0.3 個百分點處于 temperature 1.0 單次采樣的噪聲范圍內(nèi)說明保留 BF16 lm_head 既沒有明顯加分也沒有掉分。三、 Terminal-Bench 69.4%Agent 能力的另一面Terminal-Bench 2.1 考察模型在終端里干活的能力讀文件、執(zhí)行命令、調(diào)試腳本屬于典型的 AI Agent 場景。評測協(xié)議README.mdClaude Code 2.1.228 作為 Agent 外殼 DFlash2 drafterpass1 計分。88 個任務 × 4 輪重復通過 247/356即69.4%單輪口徑為 68.18%60/88。兩個基準合起來看GSM8K 驗證推理底子扎實Terminal-Bench 驗證能動手干活覆蓋了量化后模型能力驗收最關(guān)心的兩條主線。需要說明的是兩項評測均為純文本口徑盡管模型本身支持圖像/視頻輸入。四、? 資質(zhì)驗收詳解7 道閘門與一份 pass 報告這個倉庫最有意思的地方是它隨模型一起發(fā)布了兩份驗收檔案qualification-criteria.json驗收標準相當于考綱——事先約定數(shù)據(jù)集、運行時參數(shù)、采樣參數(shù)與各項閾值qualification.json實測結(jié)果相當于成績單最終verdict字段為pass 驗收閘門與實測對照閘門gates閾值實測最低準確率 minimum_accuracy≥ 96.5%97.27%1,283/1,319停止率 required_stop_rate 100%1,319/1,319 全部正常 stop截斷 maximum_truncations00請求錯誤 maximum_request_errors00空輸出 maximum_empty_generations00OOM 次數(shù) target_oom_kills0啟動前/加載后/評測后/關(guān)閉后 4 個時點全為 0MTP 接受長度 minimum_mtp_acceptance_length≥ 1.02.775注驗收跑記錄的 GSM8K 成績?yōu)?97.27%qualification.json略高于對外公布的 96.13%兩次均為 temperature 1.0 單次采樣屬正常波動。幾個值得注意的細節(jié)MTP 投機解碼實測有效最終接受長度 2.775即平均每次草稿能接受約 2.8 個 token顯著高于 1.0 的底線說明 NEXTN 3/1/4 配置下投機解碼確實在提速而不是空轉(zhuǎn)。FP8 KV Cache 的誠實備注運行時啟用了 fp8_e4m3 KV cache但未提供校準的縮放因子默認按 1.0 處理。報告在 qualification.json 中如實記錄了這條 warning——把坑也寫進檔案正是資質(zhì)驗收的價值所在。張量審計獨立復核tensor-audit.json 對輸出逐張量核驗——2,194 個張量、401 個 input-scale 張量、約 11.5 億個 scale 值798 個未改動張量與源模型逐字節(jié)一致verdict 同為 pass。五、 證據(jù)鏈8 個 SHA-256 讓結(jié)果可復核qualification.json 的evidence_sha256段為 8 份證據(jù)材料逐一計算了 SHA-256轉(zhuǎn)換清單、評測日志、評測指標、逐題預測、張量審計、驗收標準、運行時指標、服務日志。這套機制意味著任何人拿到同一份檢查點后都能對照哈希值確認我復現(xiàn)評測所依據(jù)的材料與發(fā)布方是否一致。再配合 conversion-manifest.json 中源模型 99 個文件的逐文件哈希清單整個源模型 → 量化 → 評測 → 驗收鏈條可追溯、可復核而不僅是 README 里的兩個百分比。六、? SGLang 一鍵部署與文件核對官方推薦用 SGLang 起服務4×Blackwell 配置來自 README.mdsglang serve \ --trust-remote-code \ --model-path RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead \ --tp-size 4 \ --mem-fraction-static 0.75 \ --speculative-algorithm NEXTN \ --speculative-num-steps 3 \ --speculative-eagle-topk 1 \ --speculative-num-draft-tokens 4 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --host 0.0.0.0 \ --port 30000拿到倉庫后建議先做兩件事用 model.safetensors.index.json 核對 3 個分片的張量索引是否完整對照 LICENSE 確認 Apache License 2.0 條款本模型為 Qwen3.8-27B 的量化衍生版能力與限制以上游模型卡為準。七、 小結(jié)這份驗收檔案為什么值得參考成績可復現(xiàn)96.13% 的 GSM8K 與 69.4% 的 Terminal-Bench 都綁定了明確的硬件4×GB300、引擎版本、采樣參數(shù)與數(shù)據(jù)集切分閘門先于成績驗收標準寫在 criteria 文件里成績單逐項對照pass不是一句口號檔案完整轉(zhuǎn)換、審計、評測、證據(jù)哈希四類文件互相印證瘦身 60% 后能力沒打折扣這一結(jié)論有據(jù)可查對于需要在 Agent、對話或 RAG 系統(tǒng)里部署 4-bit 量化大模型的開發(fā)者來說這套量化配方 完整驗收文檔的范式本身就是最有價值的一課。贊分享【免費下載鏈接】Qwen3.8-27B-NVFP4-BF16-LMHead項目地址https://ai.gitcode.com/hf_mirrors/RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead點擊查看免費下載相關(guān)推薦為什么4bit量化模型還保留BF16輸出層揭秘Qwen3.8-27B-NVFP4-BF16-LMHead的精度取舍為什么4bit量化模型還保留BF16輸出層揭秘Qwen3.8 27B NVFP4 BF16 LMHead的精度取舍 Qwen3.8 27B NVFP4 BF1一個22GB量化檢查點該長什么樣Qwen3.8-27B-NVFP4-BF16-LMHead文件構(gòu)成清單詳解一個22GB量化檢查點該長什么樣Qwen3.8 27B NVFP4 BF16 LMHead文件構(gòu)成清單詳解 Qwen3.8 27B NVFP4 BF16 LMQwen3.8-27B-NVFP4-BF16-LMHead完全指南1分鐘看懂這款NVFP4量化27B多模態(tài)模型Qwen3.8 27B NVFP4 BF16 LMHead完全指南1分鐘看懂這款NVFP4量化27B多模態(tài)模型 Qwen3.8 27B NVFP4 BF16上一篇DiffableDataSources在macOS和tvOS上的應用跨平臺數(shù)據(jù)源管理解決方案下一篇零代碼到可視化Aurelia 1集成D3.js構(gòu)建動態(tài)數(shù)據(jù)圖表創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 GSM8K 96.13%、Terminal-Bench 69.4% 是怎么測出來的？Qwen3.8-27B-NVFP4-BF16-LMHead 評測與資質(zhì)驗收詳解
【免費下載鏈接】Qwen3.8-27B-NVFP4-BF16-LMHead項目地址https://ai.gitcode.com/hf_mirrors/RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead點擊查看免費下載Qwen3.8-27B-NVFP4-BF16-LMHead 是 27B 參數(shù)多模態(tài)大模型 Qwen3.8-27B 的 NVFP4 量化版本MLP 權(quán)重壓到 4-bit、注意力壓到 8-bit唯獨保留 BF16 精度的 lm_head。它在 GSM8K 數(shù)學基準上跑出96.13%在 Terminal-Bench 2.1 上跑出69.4%并隨模型發(fā)布了一套完整的資質(zhì)驗收檔案。這篇文章把這兩個數(shù)字的完整測試鏈路和驗收閘門一次性講清楚。一、 先認識這個模型27B 參數(shù)體積瘦身約 60%Qwen3.8-27B 原生支持文本、圖像、視頻輸入上下文長度最高 262,144 token見 config.json。量化后的檢查點只保留 3 個權(quán)重分片model-00001-of-00003.safetensors 等總體積21.9 GB而源模型 18 個分片共55.5 GB——瘦身約 60%源與輸出清單對比記錄在 conversion-manifest.json 中?；旌暇确桨窶IXED_PRECISION讓不同模塊各司其職模塊精度覆蓋范圍MLPgate_proj / up_proj / down_projNVFP4 W4A4group size 16193 個基張量注意力linear_attn / self_attn 各投影FP8208 個基張量lm_head、MTP 層、視覺塔BF16與源模型逐字節(jié)一致798 個張量、4.37 GB這套分工在 hf_quant_config.json 中逐層列出量化校準使用 1,024 條 cnn_dailymail 訓練集樣本、序列長 512、隨機種子 1234見 conversion-manifest.json 的 calibration 段。整個制作與驗證流程基于 NVIDIA Model Optimizermodelopt 0.47.0.dev0運行在 4×NVIDIA GB300Blackwell 架構(gòu)上。二、 GSM8K 96.13%一條完整的數(shù)學推理測試鏈GSM8K 是小學數(shù)學應用題基準測試集共 1,319 題。這次評測的協(xié)議完整記錄在 README.md硬件與引擎4×NVIDIA GB300SGLang 張量并行 TP4開啟 NEXTN 3/1/4 投機解碼用 MTP 層做草稿模型數(shù)據(jù)完整 1,319 題全量評測不做抽樣模式thinking 模式開啟思考鏈采樣模型默認參數(shù)——temperature 1.0、top_k 20、top_p 0.95即 generation_config.json 中那份配置seed 0結(jié)果96.13%1,268/1,319且 1,319 題全部以正常 stop 結(jié)束——零截斷、零報錯、零空輸出。作為參照把 lm_head 也量化的源 NVFP4 檢查點在同樣協(xié)議下得到 96.36%1,271/1,319。兩者差距不到 0.3 個百分點處于 temperature 1.0 單次采樣的噪聲范圍內(nèi)說明保留 BF16 lm_head 既沒有明顯加分也沒有掉分。三、 Terminal-Bench 69.4%Agent 能力的另一面Terminal-Bench 2.1 考察模型在終端里干活的能力讀文件、執(zhí)行命令、調(diào)試腳本屬于典型的 AI Agent 場景。評測協(xié)議README.mdClaude Code 2.1.228 作為 Agent 外殼 DFlash2 drafterpass1 計分。88 個任務 × 4 輪重復通過 247/356即69.4%單輪口徑為 68.18%60/88。兩個基準合起來看GSM8K 驗證推理底子扎實Terminal-Bench 驗證能動手干活覆蓋了量化后模型能力驗收最關(guān)心的兩條主線。需要說明的是兩項評測均為純文本口徑盡管模型本身支持圖像/視頻輸入。四、? 資質(zhì)驗收詳解7 道閘門與一份 pass 報告這個倉庫最有意思的地方是它隨模型一起發(fā)布了兩份驗收檔案qualification-criteria.json驗收標準相當于考綱——事先約定數(shù)據(jù)集、運行時參數(shù)、采樣參數(shù)與各項閾值qualification.json實測結(jié)果相當于成績單最終verdict字段為pass 驗收閘門與實測對照閘門gates閾值實測最低準確率 minimum_accuracy≥ 96.5%97.27%1,283/1,319停止率 required_stop_rate 100%1,319/1,319 全部正常 stop截斷 maximum_truncations00請求錯誤 maximum_request_errors00空輸出 maximum_empty_generations00OOM 次數(shù) target_oom_kills0啟動前/加載后/評測后/關(guān)閉后 4 個時點全為 0MTP 接受長度 minimum_mtp_acceptance_length≥ 1.02.775注驗收跑記錄的 GSM8K 成績?yōu)?97.27%qualification.json略高于對外公布的 96.13%兩次均為 temperature 1.0 單次采樣屬正常波動。幾個值得注意的細節(jié)MTP 投機解碼實測有效最終接受長度 2.775即平均每次草稿能接受約 2.8 個 token顯著高于 1.0 的底線說明 NEXTN 3/1/4 配置下投機解碼確實在提速而不是空轉(zhuǎn)。FP8 KV Cache 的誠實備注運行時啟用了 fp8_e4m3 KV cache但未提供校準的縮放因子默認按 1.0 處理。報告在 qualification.json 中如實記錄了這條 warning——把坑也寫進檔案正是資質(zhì)驗收的價值所在。張量審計獨立復核tensor-audit.json 對輸出逐張量核驗——2,194 個張量、401 個 input-scale 張量、約 11.5 億個 scale 值798 個未改動張量與源模型逐字節(jié)一致verdict 同為 pass。五、 證據(jù)鏈8 個 SHA-256 讓結(jié)果可復核qualification.json 的evidence_sha256段為 8 份證據(jù)材料逐一計算了 SHA-256轉(zhuǎn)換清單、評測日志、評測指標、逐題預測、張量審計、驗收標準、運行時指標、服務日志。這套機制意味著任何人拿到同一份檢查點后都能對照哈希值確認我復現(xiàn)評測所依據(jù)的材料與發(fā)布方是否一致。再配合 conversion-manifest.json 中源模型 99 個文件的逐文件哈希清單整個源模型 → 量化 → 評測 → 驗收鏈條可追溯、可復核而不僅是 README 里的兩個百分比。六、? SGLang 一鍵部署與文件核對官方推薦用 SGLang 起服務4×Blackwell 配置來自 README.mdsglang serve \ --trust-remote-code \ --model-path RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead \ --tp-size 4 \ --mem-fraction-static 0.75 \ --speculative-algorithm NEXTN \ --speculative-num-steps 3 \ --speculative-eagle-topk 1 \ --speculative-num-draft-tokens 4 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --host 0.0.0.0 \ --port 30000拿到倉庫后建議先做兩件事用 model.safetensors.index.json 核對 3 個分片的張量索引是否完整對照 LICENSE 確認 Apache License 2.0 條款本模型為 Qwen3.8-27B 的量化衍生版能力與限制以上游模型卡為準。七、 小結(jié)這份驗收檔案為什么值得參考成績可復現(xiàn)96.13% 的 GSM8K 與 69.4% 的 Terminal-Bench 都綁定了明確的硬件4×GB300、引擎版本、采樣參數(shù)與數(shù)據(jù)集切分閘門先于成績驗收標準寫在 criteria 文件里成績單逐項對照pass不是一句口號檔案完整轉(zhuǎn)換、審計、評測、證據(jù)哈希四類文件互相印證瘦身 60% 后能力沒打折扣這一結(jié)論有據(jù)可查對于需要在 Agent、對話或 RAG 系統(tǒng)里部署 4-bit 量化大模型的開發(fā)者來說這套量化配方 完整驗收文檔的范式本身就是最有價值的一課。贊分享【免費下載鏈接】Qwen3.8-27B-NVFP4-BF16-LMHead項目地址https://ai.gitcode.com/hf_mirrors/RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead點擊查看免費下載相關(guān)推薦為什么4bit量化模型還保留BF16輸出層揭秘Qwen3.8-27B-NVFP4-BF16-LMHead的精度取舍為什么4bit量化模型還保留BF16輸出層揭秘Qwen3.8 27B NVFP4 BF16 LMHead的精度取舍 Qwen3.8 27B NVFP4 BF1一個22GB量化檢查點該長什么樣Qwen3.8-27B-NVFP4-BF16-LMHead文件構(gòu)成清單詳解一個22GB量化檢查點該長什么樣Qwen3.8 27B NVFP4 BF16 LMHead文件構(gòu)成清單詳解 Qwen3.8 27B NVFP4 BF16 LMQwen3.8-27B-NVFP4-BF16-LMHead完全指南1分鐘看懂這款NVFP4量化27B多模態(tài)模型Qwen3.8 27B NVFP4 BF16 LMHead完全指南1分鐘看懂這款NVFP4量化27B多模態(tài)模型 Qwen3.8 27B NVFP4 BF16上一篇DiffableDataSources在macOS和tvOS上的應用跨平臺數(shù)據(jù)源管理解決方案下一篇零代碼到可視化Aurelia 1集成D3.js構(gòu)建動態(tài)數(shù)據(jù)圖表創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考