現(xiàn)DeepSeek-V4.1-Flash-Quark-PTPC-FP8：AMD Quark量化腳本參數(shù)逐行拆解)
【免費(fèi)下載鏈接】DeepSeek-V4.1-Flash-Quark-PTPC-FP8項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8點(diǎn)擊查看免費(fèi)下載本倉(cāng)庫(kù)DeepSeek-V4.1-Flash-Quark-PTPC-FP8是 AMD 基于 Quark 量化框架把 DeepSeek-V4.1-Flash 轉(zhuǎn)換為 PTPC-FP8 精度的模型權(quán)重庫(kù)。本文帶你逐行拆解官方量化腳本的每個(gè)參數(shù)掌握從零復(fù)現(xiàn) PTPC-FP8 量化的完整流程并驗(yàn)證精度、部署上線。 先看倉(cāng)庫(kù)什么被量化了什么被保留了README.md 的模型卡片給出核心事實(shí)項(xiàng)目說(shuō)明基座模型deepseek-ai/DeepSeek-V4.1-Flash本倉(cāng)庫(kù)是它的量化衍生版量化工具AMD Quark v0.13.0被量化層experts、shared_experts、self_attn、engram.embed未量化層視覺(jué)塔vision tower與 aligner保持原始精度目標(biāo)硬件AMD MI355 / MI350gfx950軟件棧ROCm 7.2.0 · PyTorch 2.12.0 · Transformers 5.17.0推理引擎vLLM倉(cāng)庫(kù)主體是 48 個(gè) safetensors 權(quán)重分片外加 config.json架構(gòu) 量化配置與 tokenizer 文件。從 config.json 可以看到文本模型共 40 層每層是 384 個(gè)路由專家 1 個(gè)共享專家的 MoE 結(jié)構(gòu)每 token 選 6 個(gè)專家還帶兩級(jí)索引器的稀疏注意力、engram n-gram 嵌入表、超連接Hyper-Connections等模塊——理解這些才能看懂后面量化腳本為什么要排除那么多層。倉(cāng)庫(kù)里的多模態(tài)示例圖作為 inference/ 目錄的視覺(jué)輸入樣例正好說(shuō)明了視覺(jué)塔不量化的意義——PTPC-FP8 量化模型完整保留了圖像理解能力? 復(fù)現(xiàn)準(zhǔn)備環(huán)境與素材清單復(fù)現(xiàn)前先備齊三樣?xùn)|西GPU 與軟件1 張 AMD GPUgfx950 系如 MI355/MI350Linux ROCm 7.2.0、PyTorch 2.12.0、Transformers 5.17.0并安裝 AMD Quark v0.13.0基座權(quán)重deepseek-ai/DeepSeek-V4.1-Flash的完整本地目錄。注意它的權(quán)重以MXFP4 / MXFP8微縮放格式存儲(chǔ)轉(zhuǎn)換前需要先反量化量化腳本Quark 倉(cāng)庫(kù)自帶的官方示例Quark/examples/torch/language_modeling/llm_ptq/quantize_quark.py本倉(cāng)庫(kù)只放量化結(jié)果腳本在 Quark 倉(cāng)庫(kù)中。量化完成后可與本倉(cāng)庫(kù)的產(chǎn)物直接對(duì)照倉(cāng)庫(kù)可通過(guò)以下命令獲取git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8 量化腳本參數(shù)逐行拆解官方完整腳本原文見(jiàn) README.mdMODEL_DIRdeepseek-ai/DeepSeek-V4.1-Flash OUTPUT_DIRamd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8 HIP_VISIBLE_DEVICES0 \ QUARK_MXFP4_IMPLtriton \ python3 Quark/examples/torch/language_modeling/llm_ptq/quantize_quark.py \ --model_dir ${MODEL_DIR} \ --output_dir ${OUTPUT_DIR} \ --quant_scheme ptpc_fp8 \ --layer_quant_scheme *.engram.embed ptpc_fp8 \ --quant_flow file2file \ --model_export hf_format \ --keep_excluded_layers_as_original_model_state \ --exclude_layers \ embed \ *head* \ *ffn.gate* \ *attn.compressor* \ *attn.indexer.weights_proj* \ *attn.indexer.wk* \ *hc_* \ *vision* \ *aligner*環(huán)境變量用哪張卡、走哪個(gè)內(nèi)核變量作用HIP_VISIBLE_DEVICES0把量化任務(wù)綁定到 0 號(hào)卡file2file是純權(quán)重轉(zhuǎn)換單卡即可完成QUARK_MXFP4_IMPLtriton基座模型的 MXFP4 權(quán)重需要專門的反量化內(nèi)核這里顯式指定使用 Triton 實(shí)現(xiàn)核心參數(shù)方案、流程與導(dǎo)出格式參數(shù)取值逐行說(shuō)明--model_dir基座模型目錄輸入端指向 DeepSeek-V4.1-Flash 的本地 MXFP4/MXFP8 權(quán)重--output_dir輸出目錄產(chǎn)物是一個(gè)標(biāo)準(zhǔn) Hugging Face 模型目錄--quant_schemeptpc_fp8全局量化方案FP8e4m3。權(quán)重用 per-channel 靜態(tài)縮放ch_axis: 0激活用運(yùn)行時(shí)動(dòng)態(tài)縮放is_dynamic: true對(duì)稱量化half_even舍入--layer_quant_scheme*.engram.embed ptpc_fp8engram n-gram 嵌入表不是線性層默認(rèn)方案覆蓋不到必須用 layer 級(jí)規(guī)則點(diǎn)名。它也是全模型少數(shù)幾個(gè)被量化的大表--quant_flowfile2file可復(fù)現(xiàn)的關(guān)鍵離線文件到文件轉(zhuǎn)換只做權(quán)重變換不需要校準(zhǔn)數(shù)據(jù)、不做前向。同樣的輸入必然得到同樣的輸出--model_exporthf_format按 Hugging Face 格式導(dǎo)出vLLM / transformers 可直接加載--keep_excluded_layers_as_original_model_state—被排除的層以原始權(quán)重原樣保留在產(chǎn)物里而不是丟棄保證模型開(kāi)箱即用實(shí)際生效的量化配置會(huì)寫進(jìn)產(chǎn)物的 config.jsonquantization_config權(quán)重fp8_e4m3per-channel、PerChannelMinMaxObserver觀測(cè)器、導(dǎo)出weight_format: real_quantized、pack_method: reorder復(fù)現(xiàn)時(shí)可逐項(xiàng)對(duì)照。排除清單哪些層絕對(duì)不能量化--exclude_layers用通配符列出 9 類敏感層。結(jié)合 config.json 中展開(kāi)后的具體層名對(duì)應(yīng)關(guān)系如下通配符對(duì)應(yīng)層為什么排除embed輸入嵌入表網(wǎng)絡(luò)第一層精度敏感量化易引入級(jí)聯(lián)誤差*head*輸出頭及 MTP 的confidence_head、markov_head直接決定 next-token 分布*ffn.gate*全部 40 層 3 個(gè) MTP 層的 MoE 路由路由分?jǐn)?shù)被量化會(huì)破壞專家選擇影響整層 MoE 行為*attn.compressor*第 2/8/14/20 層的 KV 壓縮器wkv/wgate稀疏注意力的 KV 壓縮通路層小且精度要求高*attn.indexer.weights_proj*,*attn.indexer.wk*8 個(gè)層的兩級(jí) indexer負(fù)責(zé)候選 KV 塊篩選topk512量化誤差會(huì)直接選錯(cuò)塊*hc_*超連接Hyper-Connectionshc_mult: 4權(quán)重連接混合權(quán)重規(guī)模小、作用關(guān)鍵*vision*、*aligner*32 層視覺(jué)編碼器全部參數(shù) aligner官方明確保留視覺(jué)塔原始精度保住多模態(tài)能力設(shè)計(jì)思路一句話總結(jié)只量化占計(jì)算量絕對(duì)大頭的大矩陣專家、注意力、engram 嵌入表小而敏感的路由與多模態(tài)通路保持高精度這樣才能做到精度無(wú)損。 驗(yàn)證復(fù)現(xiàn)結(jié)果精度對(duì)標(biāo)與部署上線驗(yàn)證分兩步查產(chǎn)物、測(cè)精度。1. 檢查產(chǎn)物輸出目錄應(yīng)有 48 個(gè) safetensors 分片 config.json tokenizer 文件與本倉(cāng)庫(kù)一致config.json的quantization_config關(guān)鍵項(xiàng)應(yīng)為quant_method: quark、version: 0.13、pack_method: reorder見(jiàn) config.json。2. GSM8K8-shot精度對(duì)標(biāo)官方結(jié)果里量化模型與基座模型同框架、同主機(jī)下 GSM8K 得分均為92.95精度恢復(fù)率100%README.md。用 vLLM 部署后跑 lm-eval 即可復(fù)核export HIP_VISIBLE_DEVICES0,1,2,3 export VLLM_ROCM_USE_AITER1 export VLLM_ROCM_USE_AITER_MOE1 export VLLM_ROCM_USE_AITER_MHA1 export SAFETENSORS_FAST_GPU1 export VLLM_MOE_SKIP_PADDING0 vllm serve amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8 \ --tensor-parallel-size 4 \ --trust-remote-code \ --moe-backend aiter \ --max-model-len 8192 \ --gpu-memory-utilization 0.90 \ --port 8008lm_eval \ --model local-completions \ --tasks gsm8k \ --model_args modelamd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8,base_urlhttp://127.0.0.1:8008/v1/completions,num_concurrent32,max_retries5,timeout1800,tokenized_requestsFalse,tokenizer_backendNone,max_length8192 \ --gen_kwargs max_gen_toks4096 \ --num_fewshot 8 \ --log_samples \ --output_path /tmp/gsm8k-dsv41-ptpc-fp8得分接近 92.95即量化復(fù)現(xiàn)成功 ? 沒(méi)有 MI300 級(jí)顯卡用 inference/ 研讀與自檢倉(cāng)庫(kù)還附帶一套可讀性優(yōu)先的參考實(shí)現(xiàn)inference/README.md不追求生產(chǎn)性能但非常適合理解模型結(jié)構(gòu)convert.py把 HF 權(quán)重按張量并行 rank 切分--expert-dtype fp4等參數(shù)幫助理解專家權(quán)重布局run.sh 配合 examples/example.txt一條命令跑通雙圖交錯(cuò)的多模態(tài)示例端到端驗(yàn)證轉(zhuǎn)換后的權(quán)重model.py直接python model.py即構(gòu)建小模型跑 prefill 22 步 decode自檢 dense-fp8 / MoE-fp4 內(nèi)核管線encoding/ 目錄提供 V4.1 提示詞格式參考實(shí)現(xiàn) encoding.py支持多輪對(duì)話、工具調(diào)用、thinking 模式與 1–100 數(shù)值推理預(yù)算。? 常見(jiàn)疑問(wèn)速查問(wèn)題解答能在 NVIDIA GPU 上量化嗎該方案面向 ROCm/gfx950 棧QUARK_MXFP4_IMPLtriton與 aiter 后端均依賴 AMD 生態(tài)exclude_layers 能隨便改嗎路由層、indexer 都是小而敏感的層改動(dòng)后必須重新做精度驗(yàn)證GSM8K 是官方基線為什么用 file2file 而不是校準(zhǔn)式 PTQ純權(quán)重轉(zhuǎn)換無(wú)需校準(zhǔn)集結(jié)果確定、可復(fù)現(xiàn)校準(zhǔn)式方案結(jié)果會(huì)受數(shù)據(jù)集選擇影響許可證與基座模型相同MIT License見(jiàn) LICENSE 關(guān)鍵文件索引路徑用途README.md官方量化腳本、vLLM 部署與精度復(fù)現(xiàn)命令config.json模型架構(gòu)與量化配置exclude 清單、觀測(cè)器、導(dǎo)出格式inference/README.md參考推理實(shí)現(xiàn)權(quán)重轉(zhuǎn)換、示例運(yùn)行、自檢encoding/README.mdV4.1 提示詞格式參考含與 V4 的 3 處差異evaluation/README.mdDeepSWE agentic 評(píng)測(cè)流程dsh-minimal / mini-swe-agentassets/dsv41_agentic_performance.png、assets/dsv41_kv_cache.pngagentic 性能與 KV cache 設(shè)計(jì)示意圖需 git-lfs 檢出后查看小結(jié)復(fù)現(xiàn) DeepSeek-V4.1-Flash-Quark-PTPC-FP8 的核心就三步——裝好 Quark v0.13.0 ROCm 環(huán)境、跑通file2file量化腳本重點(diǎn)理解--quant_scheme ptpc_fp8與排除清單的取舍、用 GSM8K 92.95 對(duì)標(biāo)驗(yàn)證。掌握大矩陣量化、敏感層豁免這一思路后你也能把它遷移到自己的 MoE 模型上。贊分享【免費(fèi)下載鏈接】DeepSeek-V4.1-Flash-Quark-PTPC-FP8項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8點(diǎn)擊查看免費(fèi)下載相關(guān)推薦一個(gè)腳本跑通DeepSeek-V4.1-Flash-Quark-PTPC-FP8inference最小推理實(shí)現(xiàn)新手入門教程一個(gè)腳本跑通DeepSeek V4.1 Flash Quark PTPC FP8inference最小推理實(shí)現(xiàn)新手入門教程 DeepSeek V4.1 FlaDeepSeek-V4.1-Flash-Quark-PTPC-FP8完全指南AMD官方PTPC-FP8量化實(shí)現(xiàn)GSM8K零損失MI350免費(fèi)部署1M上下文多模態(tài)MoEDeepSeek V4.1 Flash Quark PTPC FP8完全指南AMD官方PTPC FP8量化實(shí)現(xiàn)GSM8K零損失MI350免費(fèi)部署1M上下文多DeepSeek-V4.1-Flash-Quark-MXFP4 TileLang內(nèi)核逐行解析FP4/FP8量化與GEMM的3種實(shí)現(xiàn)細(xì)節(jié)DeepSeek V4.1 Flash Quark MXFP4 TileLang內(nèi)核逐行解析FP4/FP8量化與GEMM的3種實(shí)現(xiàn)細(xì)節(jié) DeepSeek V4大模型模型量化多模態(tài)上一篇貓抓瀏覽器擴(kuò)展讓網(wǎng)頁(yè)視頻一鍵保存變簡(jiǎn)單下一篇Claude Code 系統(tǒng)提示詞變更日志全解析從 v2.0.14 到 v2.1.292 的 308 個(gè)版本演化實(shí)錄創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何自己復(fù)現(xiàn)DeepSeek-V4.1-Flash-Quark-PTPC-FP8：AMD Quark量化腳本參數(shù)逐行拆解
【免費(fèi)下載鏈接】DeepSeek-V4.1-Flash-Quark-PTPC-FP8項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8點(diǎn)擊查看免費(fèi)下載本倉(cāng)庫(kù)DeepSeek-V4.1-Flash-Quark-PTPC-FP8是 AMD 基于 Quark 量化框架把 DeepSeek-V4.1-Flash 轉(zhuǎn)換為 PTPC-FP8 精度的模型權(quán)重庫(kù)。本文帶你逐行拆解官方量化腳本的每個(gè)參數(shù)掌握從零復(fù)現(xiàn) PTPC-FP8 量化的完整流程并驗(yàn)證精度、部署上線。 先看倉(cāng)庫(kù)什么被量化了什么被保留了README.md 的模型卡片給出核心事實(shí)項(xiàng)目說(shuō)明基座模型deepseek-ai/DeepSeek-V4.1-Flash本倉(cāng)庫(kù)是它的量化衍生版量化工具AMD Quark v0.13.0被量化層experts、shared_experts、self_attn、engram.embed未量化層視覺(jué)塔vision tower與 aligner保持原始精度目標(biāo)硬件AMD MI355 / MI350gfx950軟件棧ROCm 7.2.0 · PyTorch 2.12.0 · Transformers 5.17.0推理引擎vLLM倉(cāng)庫(kù)主體是 48 個(gè) safetensors 權(quán)重分片外加 config.json架構(gòu) 量化配置與 tokenizer 文件。從 config.json 可以看到文本模型共 40 層每層是 384 個(gè)路由專家 1 個(gè)共享專家的 MoE 結(jié)構(gòu)每 token 選 6 個(gè)專家還帶兩級(jí)索引器的稀疏注意力、engram n-gram 嵌入表、超連接Hyper-Connections等模塊——理解這些才能看懂后面量化腳本為什么要排除那么多層。倉(cāng)庫(kù)里的多模態(tài)示例圖作為 inference/ 目錄的視覺(jué)輸入樣例正好說(shuō)明了視覺(jué)塔不量化的意義——PTPC-FP8 量化模型完整保留了圖像理解能力? 復(fù)現(xiàn)準(zhǔn)備環(huán)境與素材清單復(fù)現(xiàn)前先備齊三樣?xùn)|西GPU 與軟件1 張 AMD GPUgfx950 系如 MI355/MI350Linux ROCm 7.2.0、PyTorch 2.12.0、Transformers 5.17.0并安裝 AMD Quark v0.13.0基座權(quán)重deepseek-ai/DeepSeek-V4.1-Flash的完整本地目錄。注意它的權(quán)重以MXFP4 / MXFP8微縮放格式存儲(chǔ)轉(zhuǎn)換前需要先反量化量化腳本Quark 倉(cāng)庫(kù)自帶的官方示例Quark/examples/torch/language_modeling/llm_ptq/quantize_quark.py本倉(cāng)庫(kù)只放量化結(jié)果腳本在 Quark 倉(cāng)庫(kù)中。量化完成后可與本倉(cāng)庫(kù)的產(chǎn)物直接對(duì)照倉(cāng)庫(kù)可通過(guò)以下命令獲取git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8 量化腳本參數(shù)逐行拆解官方完整腳本原文見(jiàn) README.mdMODEL_DIRdeepseek-ai/DeepSeek-V4.1-Flash OUTPUT_DIRamd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8 HIP_VISIBLE_DEVICES0 \ QUARK_MXFP4_IMPLtriton \ python3 Quark/examples/torch/language_modeling/llm_ptq/quantize_quark.py \ --model_dir ${MODEL_DIR} \ --output_dir ${OUTPUT_DIR} \ --quant_scheme ptpc_fp8 \ --layer_quant_scheme *.engram.embed ptpc_fp8 \ --quant_flow file2file \ --model_export hf_format \ --keep_excluded_layers_as_original_model_state \ --exclude_layers \ embed \ *head* \ *ffn.gate* \ *attn.compressor* \ *attn.indexer.weights_proj* \ *attn.indexer.wk* \ *hc_* \ *vision* \ *aligner*環(huán)境變量用哪張卡、走哪個(gè)內(nèi)核變量作用HIP_VISIBLE_DEVICES0把量化任務(wù)綁定到 0 號(hào)卡file2file是純權(quán)重轉(zhuǎn)換單卡即可完成QUARK_MXFP4_IMPLtriton基座模型的 MXFP4 權(quán)重需要專門的反量化內(nèi)核這里顯式指定使用 Triton 實(shí)現(xiàn)核心參數(shù)方案、流程與導(dǎo)出格式參數(shù)取值逐行說(shuō)明--model_dir基座模型目錄輸入端指向 DeepSeek-V4.1-Flash 的本地 MXFP4/MXFP8 權(quán)重--output_dir輸出目錄產(chǎn)物是一個(gè)標(biāo)準(zhǔn) Hugging Face 模型目錄--quant_schemeptpc_fp8全局量化方案FP8e4m3。權(quán)重用 per-channel 靜態(tài)縮放ch_axis: 0激活用運(yùn)行時(shí)動(dòng)態(tài)縮放is_dynamic: true對(duì)稱量化half_even舍入--layer_quant_scheme*.engram.embed ptpc_fp8engram n-gram 嵌入表不是線性層默認(rèn)方案覆蓋不到必須用 layer 級(jí)規(guī)則點(diǎn)名。它也是全模型少數(shù)幾個(gè)被量化的大表--quant_flowfile2file可復(fù)現(xiàn)的關(guān)鍵離線文件到文件轉(zhuǎn)換只做權(quán)重變換不需要校準(zhǔn)數(shù)據(jù)、不做前向。同樣的輸入必然得到同樣的輸出--model_exporthf_format按 Hugging Face 格式導(dǎo)出vLLM / transformers 可直接加載--keep_excluded_layers_as_original_model_state—被排除的層以原始權(quán)重原樣保留在產(chǎn)物里而不是丟棄保證模型開(kāi)箱即用實(shí)際生效的量化配置會(huì)寫進(jìn)產(chǎn)物的 config.jsonquantization_config權(quán)重fp8_e4m3per-channel、PerChannelMinMaxObserver觀測(cè)器、導(dǎo)出weight_format: real_quantized、pack_method: reorder復(fù)現(xiàn)時(shí)可逐項(xiàng)對(duì)照。排除清單哪些層絕對(duì)不能量化--exclude_layers用通配符列出 9 類敏感層。結(jié)合 config.json 中展開(kāi)后的具體層名對(duì)應(yīng)關(guān)系如下通配符對(duì)應(yīng)層為什么排除embed輸入嵌入表網(wǎng)絡(luò)第一層精度敏感量化易引入級(jí)聯(lián)誤差*head*輸出頭及 MTP 的confidence_head、markov_head直接決定 next-token 分布*ffn.gate*全部 40 層 3 個(gè) MTP 層的 MoE 路由路由分?jǐn)?shù)被量化會(huì)破壞專家選擇影響整層 MoE 行為*attn.compressor*第 2/8/14/20 層的 KV 壓縮器wkv/wgate稀疏注意力的 KV 壓縮通路層小且精度要求高*attn.indexer.weights_proj*,*attn.indexer.wk*8 個(gè)層的兩級(jí) indexer負(fù)責(zé)候選 KV 塊篩選topk512量化誤差會(huì)直接選錯(cuò)塊*hc_*超連接Hyper-Connectionshc_mult: 4權(quán)重連接混合權(quán)重規(guī)模小、作用關(guān)鍵*vision*、*aligner*32 層視覺(jué)編碼器全部參數(shù) aligner官方明確保留視覺(jué)塔原始精度保住多模態(tài)能力設(shè)計(jì)思路一句話總結(jié)只量化占計(jì)算量絕對(duì)大頭的大矩陣專家、注意力、engram 嵌入表小而敏感的路由與多模態(tài)通路保持高精度這樣才能做到精度無(wú)損。 驗(yàn)證復(fù)現(xiàn)結(jié)果精度對(duì)標(biāo)與部署上線驗(yàn)證分兩步查產(chǎn)物、測(cè)精度。1. 檢查產(chǎn)物輸出目錄應(yīng)有 48 個(gè) safetensors 分片 config.json tokenizer 文件與本倉(cāng)庫(kù)一致config.json的quantization_config關(guān)鍵項(xiàng)應(yīng)為quant_method: quark、version: 0.13、pack_method: reorder見(jiàn) config.json。2. GSM8K8-shot精度對(duì)標(biāo)官方結(jié)果里量化模型與基座模型同框架、同主機(jī)下 GSM8K 得分均為92.95精度恢復(fù)率100%README.md。用 vLLM 部署后跑 lm-eval 即可復(fù)核export HIP_VISIBLE_DEVICES0,1,2,3 export VLLM_ROCM_USE_AITER1 export VLLM_ROCM_USE_AITER_MOE1 export VLLM_ROCM_USE_AITER_MHA1 export SAFETENSORS_FAST_GPU1 export VLLM_MOE_SKIP_PADDING0 vllm serve amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8 \ --tensor-parallel-size 4 \ --trust-remote-code \ --moe-backend aiter \ --max-model-len 8192 \ --gpu-memory-utilization 0.90 \ --port 8008lm_eval \ --model local-completions \ --tasks gsm8k \ --model_args modelamd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8,base_urlhttp://127.0.0.1:8008/v1/completions,num_concurrent32,max_retries5,timeout1800,tokenized_requestsFalse,tokenizer_backendNone,max_length8192 \ --gen_kwargs max_gen_toks4096 \ --num_fewshot 8 \ --log_samples \ --output_path /tmp/gsm8k-dsv41-ptpc-fp8得分接近 92.95即量化復(fù)現(xiàn)成功 ? 沒(méi)有 MI300 級(jí)顯卡用 inference/ 研讀與自檢倉(cāng)庫(kù)還附帶一套可讀性優(yōu)先的參考實(shí)現(xiàn)inference/README.md不追求生產(chǎn)性能但非常適合理解模型結(jié)構(gòu)convert.py把 HF 權(quán)重按張量并行 rank 切分--expert-dtype fp4等參數(shù)幫助理解專家權(quán)重布局run.sh 配合 examples/example.txt一條命令跑通雙圖交錯(cuò)的多模態(tài)示例端到端驗(yàn)證轉(zhuǎn)換后的權(quán)重model.py直接python model.py即構(gòu)建小模型跑 prefill 22 步 decode自檢 dense-fp8 / MoE-fp4 內(nèi)核管線encoding/ 目錄提供 V4.1 提示詞格式參考實(shí)現(xiàn) encoding.py支持多輪對(duì)話、工具調(diào)用、thinking 模式與 1–100 數(shù)值推理預(yù)算。? 常見(jiàn)疑問(wèn)速查問(wèn)題解答能在 NVIDIA GPU 上量化嗎該方案面向 ROCm/gfx950 棧QUARK_MXFP4_IMPLtriton與 aiter 后端均依賴 AMD 生態(tài)exclude_layers 能隨便改嗎路由層、indexer 都是小而敏感的層改動(dòng)后必須重新做精度驗(yàn)證GSM8K 是官方基線為什么用 file2file 而不是校準(zhǔn)式 PTQ純權(quán)重轉(zhuǎn)換無(wú)需校準(zhǔn)集結(jié)果確定、可復(fù)現(xiàn)校準(zhǔn)式方案結(jié)果會(huì)受數(shù)據(jù)集選擇影響許可證與基座模型相同MIT License見(jiàn) LICENSE 關(guān)鍵文件索引路徑用途README.md官方量化腳本、vLLM 部署與精度復(fù)現(xiàn)命令config.json模型架構(gòu)與量化配置exclude 清單、觀測(cè)器、導(dǎo)出格式inference/README.md參考推理實(shí)現(xiàn)權(quán)重轉(zhuǎn)換、示例運(yùn)行、自檢encoding/README.mdV4.1 提示詞格式參考含與 V4 的 3 處差異evaluation/README.mdDeepSWE agentic 評(píng)測(cè)流程dsh-minimal / mini-swe-agentassets/dsv41_agentic_performance.png、assets/dsv41_kv_cache.pngagentic 性能與 KV cache 設(shè)計(jì)示意圖需 git-lfs 檢出后查看小結(jié)復(fù)現(xiàn) DeepSeek-V4.1-Flash-Quark-PTPC-FP8 的核心就三步——裝好 Quark v0.13.0 ROCm 環(huán)境、跑通file2file量化腳本重點(diǎn)理解--quant_scheme ptpc_fp8與排除清單的取舍、用 GSM8K 92.95 對(duì)標(biāo)驗(yàn)證。掌握大矩陣量化、敏感層豁免這一思路后你也能把它遷移到自己的 MoE 模型上。贊分享【免費(fèi)下載鏈接】DeepSeek-V4.1-Flash-Quark-PTPC-FP8項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8點(diǎn)擊查看免費(fèi)下載相關(guān)推薦一個(gè)腳本跑通DeepSeek-V4.1-Flash-Quark-PTPC-FP8inference最小推理實(shí)現(xiàn)新手入門教程一個(gè)腳本跑通DeepSeek V4.1 Flash Quark PTPC FP8inference最小推理實(shí)現(xiàn)新手入門教程 DeepSeek V4.1 FlaDeepSeek-V4.1-Flash-Quark-PTPC-FP8完全指南AMD官方PTPC-FP8量化實(shí)現(xiàn)GSM8K零損失MI350免費(fèi)部署1M上下文多模態(tài)MoEDeepSeek V4.1 Flash Quark PTPC FP8完全指南AMD官方PTPC FP8量化實(shí)現(xiàn)GSM8K零損失MI350免費(fèi)部署1M上下文多DeepSeek-V4.1-Flash-Quark-MXFP4 TileLang內(nèi)核逐行解析FP4/FP8量化與GEMM的3種實(shí)現(xiàn)細(xì)節(jié)DeepSeek V4.1 Flash Quark MXFP4 TileLang內(nèi)核逐行解析FP4/FP8量化與GEMM的3種實(shí)現(xiàn)細(xì)節(jié) DeepSeek V4大模型模型量化多模態(tài)上一篇貓抓瀏覽器擴(kuò)展讓網(wǎng)頁(yè)視頻一鍵保存變簡(jiǎn)單下一篇Claude Code 系統(tǒng)提示詞變更日志全解析從 v2.0.14 到 v2.1.292 的 308 個(gè)版本演化實(shí)錄創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考