構(gòu)全解：safetensors、kv_config與optiq_metadata完全清單)
人工智能大模型模型量化模型優(yōu)化本地部署【免費(fèi)下載鏈接】Agents-A1-OptiQ-4bit-REAP-19B項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Agents-A1-OptiQ-4bit-REAP-19B點(diǎn)擊查看免費(fèi)下載更正標(biāo)題筆誤# Agents-A1-OptiQ-4bit-REAP-19B文件結(jié)構(gòu)全解safetensors、kv_config與optiq_metadata完全清單Agents-A1-OptiQ-4bit-REAP-19B是運(yùn)行在 Apple SiliconMLX上的 19B 級 MoE 多模態(tài)模型它把父模型的 35.1B 參數(shù)剪枝到 18.8B磁盤占用從 21.5 GB 降到12.3 GB運(yùn)行僅需約 14.5 GB 內(nèi)存。本文帶你逐個讀懂倉庫里的 11 個文件——從safetensors權(quán)重分片、model.safetensors.index.json索引到kv_config.json、optiq_metadata.json兩大量化元數(shù)據(jù)一次看清這套模型包的完整結(jié)構(gòu)。 一眼看懂這套模型文件是干什么的先記住這張身份卡后面每個文件都能對號入座屬性數(shù)值出處架構(gòu)Qwen3_5MoeForConditionalGenerationMoE 多模態(tài)config.json總參數(shù)量18.8B父模型 35.1B?47%README.md磁盤大小12.3 GB父模型 21.5 GB?43%README.md量化方案OptiQ 4bit 混合精度實(shí)際約 4.51 bpwoptiq_metadata.json專家剪枝REAP每層 256 → 128 個專家top-8 路由不變optiq_metadata.json 關(guān)鍵機(jī)制一句話剪掉的只是沒被路由選中的專家每個 token 激活的專家數(shù)仍是 8 個——所以模型變小了速度卻不變慢。? 文件完全清單11 個文件各管一攤文件角色一句話說明model-00001-of-00003.safetensors 等 3 個分片權(quán)重本體語言模型 1757 個張量約 12.3 GBmodel.safetensors.index.json權(quán)重索引2090 個張量 → 分片位置的對照表optiq/optiq_vision.safetensors視覺側(cè)車權(quán)重333 個張量bfloat16 原精度保留config.json架構(gòu) 量化配置40 層、128 專家、逐層混合位寬kv_config.jsonKV Cache 量化清單10 個全注意力層的 4/8bit 配置optiq_metadata.json量化/剪枝元數(shù)據(jù)混合精度位圖 REAP 剪枝全過程記錄tokenizer.json、tokenizer_config.json分詞器Qwen2Tokenizer支持 262144 上下文chat_template.jinja對話模板定義消息如何拼進(jìn)模型README.md模型卡片壓縮比、剪枝方法與使用示例.gitattributesLFS 規(guī)則聲明大文件走 Git LFS 下載 safetensors 權(quán)重分片12.3 GB 如何切成 3 塊三個model-000XX-of-00003.safetensors分片按張量切分存放語言模型權(quán)重分布并不均勻第 1 分片553 個張量含embed_tokens、前部網(wǎng)絡(luò)層第 2 分片712 個張量最重的中間層段第 3 分片492 個張量含lm_head等尾部權(quán)重三個分片合計1757 個張量總字節(jié)數(shù)12,355,664,128約 12.3 GB這個數(shù)字就寫在 model.safetensors.index.json 的metadata.total_size里。另外注意*.safetensors和tokenizer.json都在 .gitattributes 中被聲明為Git LFS文件。如果你在本地 mirror 里看到它們只有 100 多字節(jié)那是 LFS 指針文件——用git lfs pull或git lfs install后重新 clone 即可拉到真實(shí)權(quán)重。optiq_vision.safetensors視覺塔為何單獨(dú)存放optiq/optiq_vision.safetensors 是一個側(cè)車sidecar文件存放視覺編碼器vision tower的全部333 個張量以bfloat16 原精度保留、不參與 4bit 量化。索引表中它們同樣登記在冊例如vision_tower.blocks.0.attn.qkv.weight→optiq/optiq_vision.safetensorsvision_tower.blocks.27.attn.proj.bias→optiq/optiq_vision.safetensors這種語言側(cè)量化、視覺側(cè)保精度的拆分正是 OptiQ 多模態(tài)模型的典型做法配置入口在 config.json 的optiq_vision字段sidecar: optiq/optiq_vision.safetensors。? model.safetensors.index.json張量分布速查表這個 206 KB 的 JSON 是整個權(quán)重包的目錄頁兩大塊內(nèi)容{ metadata: { total_size: 12355664128 }, weight_map: { language_model.model.embed_tokens.weight: model-00001-of-00003.safetensors, ...共 2090 個張量條目... } }張量名本身也透露了量化細(xì)節(jié)每個量化矩陣都拆成三份——張量后綴含義.weight4bit/8bit 量化后的主權(quán)重.scales每組 64 個元素的縮放因子affine 模式.biases偏置項(xiàng)注意力投影層才有比如language_model.model.layers.0.linear_attn.in_proj_a.weight / .scales / .biases三個張量同屬第 0 層的線性注意力輸入投影。?? config.json架構(gòu)與混合精度配置config.json約 116 KB大部分篇幅是逐層量化位寬頂層關(guān)鍵字段architecturesQwen3_5MoeForConditionalGeneration——帶視覺/視頻 token 的 MoE 生成模型image_token_id: 248056、video_token_id: 248057text_config40 層num_hidden_layers: 40、隱藏維度 2048、詞表 248320剪枝后num_experts: 128num_experts_per_tok: 8注意力混合layer_types中 30 層是linear_attention每 4 層插一層full_attention即第 3、7、11…39 層quantization默認(rèn)bits: 4, group_size: 64, mode: affine再用 500 多條逐層覆寫把敏感層提到 8bit 剪枝痕跡就藏在num_experts父模型每層 256 個專家這里只剩 128——-19B這個名字由此而來。 kv_config.jsonKV Cache 量化清單僅 10 行配置kv_config.json 很小卻直接決定長上下文的內(nèi)存開銷。它只列出全注意力層線性注意力層不需要 KV Cache的緩存量化位寬layer_idxbitslayer_idxbits3423474274118314158354194394規(guī)律一目了然8 個層用 4bit KV僅第 11、15 層用 8bit 保精度全部group_size: 64。推理框架讀到這個文件就會對相應(yīng)層的 K/V 緩存按位寬壓縮顯著降低長對話的顯存壓力。 optiq_metadata.json量化與剪枝的完整檔案optiq_metadata.json約 122 KB是理解這個模型為什么是現(xiàn)在這個樣子的核心檔案分四塊1?? 混合精度總覽字段值說明methodoptiq_mixed_precision_transferred位寬圖從同架構(gòu)模型遷移而來base_modelInternScience/Agents-A1原始基礎(chǔ)模型target_bpw/achieved_bpw4.5 /4.513目標(biāo)與實(shí)際比特數(shù)bits per weightn_high_bits/n_low_bits397 / 1138bit 層 397 個4bit 層 113 個threshold0.0敏感度判定閾值即絕大多數(shù)張量壓到 4bit397 個對精度敏感的張量如各層注意力投影、共享專家、lm_head保留 8bit最終平均4.513 bpw。2?? per_layer510 條逐張量位寬表per_layer按層號.模塊名給出每個張量的bits與group_size與 config.json 的quantization一一對應(yīng)例如language_model.model.layers.39.mlp.shared_expert_gate: { bits: 8, group_size: 64 }3?? expert_pruningREAP 剪枝全程記錄方法reap路由器權(quán)重 × 專家輸出范數(shù)的條件均值排序保留排名靠前的專家規(guī)模每層256 → 128uniform_retention: truetop_k: 8路由不變體積專家權(quán)重從19.6 GB 砍到 9.8 GBexpert_bytes_before/after校準(zhǔn)optiq 六領(lǐng)域混合 8 個樣本seed: 42專家覆蓋率下限 0.9766retained_experts逐層列出被保留的 128 個專家編號可復(fù)現(xiàn)驗(yàn)證參考同架構(gòu)的驗(yàn)證結(jié)論50% 保留率下 KL 散度僅0.077明顯退化的剪枝模型 1.0生成質(zhì)量在人工評審中難以區(qū)分。詳見 README.md。4?? 與 config.json 的對應(yīng)關(guān)系optiq_metadata.json是制作過程檔案誰做的、怎么選的config.json的quantization是運(yùn)行時配置加載時真正讀取的位寬。兩者數(shù)值一致修改模型行為時以config.json為準(zhǔn)。? 推理三件套tokenizer、模板與加載方式文件要點(diǎn)tokenizer.jsonQwen2Tokenizer 詞表本體LFS 大文件含圖像/視頻/音頻特殊 tokentokenizer_config.jsonmodel_max_length: 262144256K 上下文、tool_parser_type: qwen3_coderchat_template.jinjaJinja 對話模板定義 system/user/assistant 的拼裝格式在裝有mlx-lm的環(huán)境里兩條命令即可跑起來pip install mlx-optiq optiq serve --model mlx-community/Agents-A1-OptiQ-4bit-REAP-19B或直接用mlx_lm加載權(quán)重、分詞器、kv_config.json都會按上文結(jié)構(gòu)自動解析。? 文件結(jié)構(gòu)檢查清單下載后核對model.safetensors.index.json的total_size12355664128字節(jié) ?3 個 safetensors 分片共1757張量 側(cè)車333張量 2090?config.json 中num_experts為128而非 256?kv_config.json 恰好10條全注意力層記錄 ?optiq_metadata.json 的achieved_bpw ≈ 4.513?全部對上說明權(quán)重包完整無損可以安心部署到 Apple Silicon 上體驗(yàn)這個更小不更慢的 19B 專家剪枝模型了。贊分享人工智能大模型模型量化模型優(yōu)化本地部署【免費(fèi)下載鏈接】Agents-A1-OptiQ-4bit-REAP-19B項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Agents-A1-OptiQ-4bit-REAP-19B點(diǎn)擊查看免費(fèi)下載相關(guān)推薦為什么Agents-A1-OptiQ-4bit-REAP-19B變小卻不更慢MoE專家剪枝技術(shù)REAP完整解析為什么Agents A1 OptiQ 4bit REAP 19B變小卻不更慢MoE專家剪枝技術(shù)REAP完整解析 Agents A1 OptiQ 4bit RE人工智能大模型模型量化模型優(yōu)化本地部署如何 3 步用 abogen 把 EPUB 變有聲書開源文本轉(zhuǎn)語音工具上手指南如何 3 步用 abogen 把 EPUB 變有聲書開源文本轉(zhuǎn)語音工具上手指南 abogen 是一款開源的文本轉(zhuǎn)語音工具能把 EPUB、PDF 和純文本變成人工智能大模型模型量化模型優(yōu)化本地部署14.5GB內(nèi)存跑大模型Agents-A1-OptiQ-4bit-REAP-19B部署與內(nèi)存優(yōu)化終極指南14.5GB內(nèi)存跑大模型Agents A1 OptiQ 4bit REAP 19B部署與內(nèi)存優(yōu)化終極指南 Agents A1 OptiQ 4bit REAP人工智能大模型模型量化模型優(yōu)化本地部署上一篇G6 力導(dǎo)向拖拽元素交互 DragElementForce 完全指南d3-force 布局下的實(shí)時重排與節(jié)點(diǎn)固定下一篇DLSS Swapper終極指南3分鐘學(xué)會智能切換DLSS版本免費(fèi)提升游戲性能創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Agents-A1-OptiQ-4bit-4bit-REAP-19B文件結(jié)構(gòu)全解：safetensors、kv_config與optiq_metadata完全清單
人工智能大模型模型量化模型優(yōu)化本地部署【免費(fèi)下載鏈接】Agents-A1-OptiQ-4bit-REAP-19B項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Agents-A1-OptiQ-4bit-REAP-19B點(diǎn)擊查看免費(fèi)下載更正標(biāo)題筆誤# Agents-A1-OptiQ-4bit-REAP-19B文件結(jié)構(gòu)全解safetensors、kv_config與optiq_metadata完全清單Agents-A1-OptiQ-4bit-REAP-19B是運(yùn)行在 Apple SiliconMLX上的 19B 級 MoE 多模態(tài)模型它把父模型的 35.1B 參數(shù)剪枝到 18.8B磁盤占用從 21.5 GB 降到12.3 GB運(yùn)行僅需約 14.5 GB 內(nèi)存。本文帶你逐個讀懂倉庫里的 11 個文件——從safetensors權(quán)重分片、model.safetensors.index.json索引到kv_config.json、optiq_metadata.json兩大量化元數(shù)據(jù)一次看清這套模型包的完整結(jié)構(gòu)。 一眼看懂這套模型文件是干什么的先記住這張身份卡后面每個文件都能對號入座屬性數(shù)值出處架構(gòu)Qwen3_5MoeForConditionalGenerationMoE 多模態(tài)config.json總參數(shù)量18.8B父模型 35.1B?47%README.md磁盤大小12.3 GB父模型 21.5 GB?43%README.md量化方案OptiQ 4bit 混合精度實(shí)際約 4.51 bpwoptiq_metadata.json專家剪枝REAP每層 256 → 128 個專家top-8 路由不變optiq_metadata.json 關(guān)鍵機(jī)制一句話剪掉的只是沒被路由選中的專家每個 token 激活的專家數(shù)仍是 8 個——所以模型變小了速度卻不變慢。? 文件完全清單11 個文件各管一攤文件角色一句話說明model-00001-of-00003.safetensors 等 3 個分片權(quán)重本體語言模型 1757 個張量約 12.3 GBmodel.safetensors.index.json權(quán)重索引2090 個張量 → 分片位置的對照表optiq/optiq_vision.safetensors視覺側(cè)車權(quán)重333 個張量bfloat16 原精度保留config.json架構(gòu) 量化配置40 層、128 專家、逐層混合位寬kv_config.jsonKV Cache 量化清單10 個全注意力層的 4/8bit 配置optiq_metadata.json量化/剪枝元數(shù)據(jù)混合精度位圖 REAP 剪枝全過程記錄tokenizer.json、tokenizer_config.json分詞器Qwen2Tokenizer支持 262144 上下文chat_template.jinja對話模板定義消息如何拼進(jìn)模型README.md模型卡片壓縮比、剪枝方法與使用示例.gitattributesLFS 規(guī)則聲明大文件走 Git LFS 下載 safetensors 權(quán)重分片12.3 GB 如何切成 3 塊三個model-000XX-of-00003.safetensors分片按張量切分存放語言模型權(quán)重分布并不均勻第 1 分片553 個張量含embed_tokens、前部網(wǎng)絡(luò)層第 2 分片712 個張量最重的中間層段第 3 分片492 個張量含lm_head等尾部權(quán)重三個分片合計1757 個張量總字節(jié)數(shù)12,355,664,128約 12.3 GB這個數(shù)字就寫在 model.safetensors.index.json 的metadata.total_size里。另外注意*.safetensors和tokenizer.json都在 .gitattributes 中被聲明為Git LFS文件。如果你在本地 mirror 里看到它們只有 100 多字節(jié)那是 LFS 指針文件——用git lfs pull或git lfs install后重新 clone 即可拉到真實(shí)權(quán)重。optiq_vision.safetensors視覺塔為何單獨(dú)存放optiq/optiq_vision.safetensors 是一個側(cè)車sidecar文件存放視覺編碼器vision tower的全部333 個張量以bfloat16 原精度保留、不參與 4bit 量化。索引表中它們同樣登記在冊例如vision_tower.blocks.0.attn.qkv.weight→optiq/optiq_vision.safetensorsvision_tower.blocks.27.attn.proj.bias→optiq/optiq_vision.safetensors這種語言側(cè)量化、視覺側(cè)保精度的拆分正是 OptiQ 多模態(tài)模型的典型做法配置入口在 config.json 的optiq_vision字段sidecar: optiq/optiq_vision.safetensors。? model.safetensors.index.json張量分布速查表這個 206 KB 的 JSON 是整個權(quán)重包的目錄頁兩大塊內(nèi)容{ metadata: { total_size: 12355664128 }, weight_map: { language_model.model.embed_tokens.weight: model-00001-of-00003.safetensors, ...共 2090 個張量條目... } }張量名本身也透露了量化細(xì)節(jié)每個量化矩陣都拆成三份——張量后綴含義.weight4bit/8bit 量化后的主權(quán)重.scales每組 64 個元素的縮放因子affine 模式.biases偏置項(xiàng)注意力投影層才有比如language_model.model.layers.0.linear_attn.in_proj_a.weight / .scales / .biases三個張量同屬第 0 層的線性注意力輸入投影。?? config.json架構(gòu)與混合精度配置config.json約 116 KB大部分篇幅是逐層量化位寬頂層關(guān)鍵字段architecturesQwen3_5MoeForConditionalGeneration——帶視覺/視頻 token 的 MoE 生成模型image_token_id: 248056、video_token_id: 248057text_config40 層num_hidden_layers: 40、隱藏維度 2048、詞表 248320剪枝后num_experts: 128num_experts_per_tok: 8注意力混合layer_types中 30 層是linear_attention每 4 層插一層full_attention即第 3、7、11…39 層quantization默認(rèn)bits: 4, group_size: 64, mode: affine再用 500 多條逐層覆寫把敏感層提到 8bit 剪枝痕跡就藏在num_experts父模型每層 256 個專家這里只剩 128——-19B這個名字由此而來。 kv_config.jsonKV Cache 量化清單僅 10 行配置kv_config.json 很小卻直接決定長上下文的內(nèi)存開銷。它只列出全注意力層線性注意力層不需要 KV Cache的緩存量化位寬layer_idxbitslayer_idxbits3423474274118314158354194394規(guī)律一目了然8 個層用 4bit KV僅第 11、15 層用 8bit 保精度全部group_size: 64。推理框架讀到這個文件就會對相應(yīng)層的 K/V 緩存按位寬壓縮顯著降低長對話的顯存壓力。 optiq_metadata.json量化與剪枝的完整檔案optiq_metadata.json約 122 KB是理解這個模型為什么是現(xiàn)在這個樣子的核心檔案分四塊1?? 混合精度總覽字段值說明methodoptiq_mixed_precision_transferred位寬圖從同架構(gòu)模型遷移而來base_modelInternScience/Agents-A1原始基礎(chǔ)模型target_bpw/achieved_bpw4.5 /4.513目標(biāo)與實(shí)際比特數(shù)bits per weightn_high_bits/n_low_bits397 / 1138bit 層 397 個4bit 層 113 個threshold0.0敏感度判定閾值即絕大多數(shù)張量壓到 4bit397 個對精度敏感的張量如各層注意力投影、共享專家、lm_head保留 8bit最終平均4.513 bpw。2?? per_layer510 條逐張量位寬表per_layer按層號.模塊名給出每個張量的bits與group_size與 config.json 的quantization一一對應(yīng)例如language_model.model.layers.39.mlp.shared_expert_gate: { bits: 8, group_size: 64 }3?? expert_pruningREAP 剪枝全程記錄方法reap路由器權(quán)重 × 專家輸出范數(shù)的條件均值排序保留排名靠前的專家規(guī)模每層256 → 128uniform_retention: truetop_k: 8路由不變體積專家權(quán)重從19.6 GB 砍到 9.8 GBexpert_bytes_before/after校準(zhǔn)optiq 六領(lǐng)域混合 8 個樣本seed: 42專家覆蓋率下限 0.9766retained_experts逐層列出被保留的 128 個專家編號可復(fù)現(xiàn)驗(yàn)證參考同架構(gòu)的驗(yàn)證結(jié)論50% 保留率下 KL 散度僅0.077明顯退化的剪枝模型 1.0生成質(zhì)量在人工評審中難以區(qū)分。詳見 README.md。4?? 與 config.json 的對應(yīng)關(guān)系optiq_metadata.json是制作過程檔案誰做的、怎么選的config.json的quantization是運(yùn)行時配置加載時真正讀取的位寬。兩者數(shù)值一致修改模型行為時以config.json為準(zhǔn)。? 推理三件套tokenizer、模板與加載方式文件要點(diǎn)tokenizer.jsonQwen2Tokenizer 詞表本體LFS 大文件含圖像/視頻/音頻特殊 tokentokenizer_config.jsonmodel_max_length: 262144256K 上下文、tool_parser_type: qwen3_coderchat_template.jinjaJinja 對話模板定義 system/user/assistant 的拼裝格式在裝有mlx-lm的環(huán)境里兩條命令即可跑起來pip install mlx-optiq optiq serve --model mlx-community/Agents-A1-OptiQ-4bit-REAP-19B或直接用mlx_lm加載權(quán)重、分詞器、kv_config.json都會按上文結(jié)構(gòu)自動解析。? 文件結(jié)構(gòu)檢查清單下載后核對model.safetensors.index.json的total_size12355664128字節(jié) ?3 個 safetensors 分片共1757張量 側(cè)車333張量 2090?config.json 中num_experts為128而非 256?kv_config.json 恰好10條全注意力層記錄 ?optiq_metadata.json 的achieved_bpw ≈ 4.513?全部對上說明權(quán)重包完整無損可以安心部署到 Apple Silicon 上體驗(yàn)這個更小不更慢的 19B 專家剪枝模型了。贊分享人工智能大模型模型量化模型優(yōu)化本地部署【免費(fèi)下載鏈接】Agents-A1-OptiQ-4bit-REAP-19B項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Agents-A1-OptiQ-4bit-REAP-19B點(diǎn)擊查看免費(fèi)下載相關(guān)推薦為什么Agents-A1-OptiQ-4bit-REAP-19B變小卻不更慢MoE專家剪枝技術(shù)REAP完整解析為什么Agents A1 OptiQ 4bit REAP 19B變小卻不更慢MoE專家剪枝技術(shù)REAP完整解析 Agents A1 OptiQ 4bit RE人工智能大模型模型量化模型優(yōu)化本地部署如何 3 步用 abogen 把 EPUB 變有聲書開源文本轉(zhuǎn)語音工具上手指南如何 3 步用 abogen 把 EPUB 變有聲書開源文本轉(zhuǎn)語音工具上手指南 abogen 是一款開源的文本轉(zhuǎn)語音工具能把 EPUB、PDF 和純文本變成人工智能大模型模型量化模型優(yōu)化本地部署14.5GB內(nèi)存跑大模型Agents-A1-OptiQ-4bit-REAP-19B部署與內(nèi)存優(yōu)化終極指南14.5GB內(nèi)存跑大模型Agents A1 OptiQ 4bit REAP 19B部署與內(nèi)存優(yōu)化終極指南 Agents A1 OptiQ 4bit REAP人工智能大模型模型量化模型優(yōu)化本地部署上一篇G6 力導(dǎo)向拖拽元素交互 DragElementForce 完全指南d3-force 布局下的實(shí)時重排與節(jié)點(diǎn)固定下一篇DLSS Swapper終極指南3分鐘學(xué)會智能切換DLSS版本免費(fèi)提升游戲性能創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考