布：下一代混合架構(gòu)大模型完全指南)
【免費下載鏈接】Qwen3-Next-80B-A3B-Instruct項目地址https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct點擊查看免費下載Qwen3-Next-80B-A3B-Instruct 是 Qwen3-Next 系列首發(fā)的下一代混合架構(gòu)大模型總參數(shù) 800 億每 token 僅激活 30 億原生支持 256K 上下文可擴展至 100 萬 token以 10% 的訓練成本超越了 Qwen3-32B 基座在 32K 以上長上下文中推理吞吐提升 10 倍。本指南將帶新手快速看懂它的四大架構(gòu)創(chuàng)新、核心規(guī)格、倉庫文件結(jié)構(gòu)并給出一鍵部署與超長上下文擴展的完整方法。 四大核心亮點混合架構(gòu)到底強在哪Qwen3-Next-80B-A3B 通過架構(gòu)創(chuàng)新實現(xiàn)了更強的模型、更低的成本、更快的推理核心升級有四點混合注意力Hybrid Attention用 Gated DeltaNet線性注意力 Gated Attention門控注意力的組合替代標準注意力48 層中每 4 層才用 1 層全注意力使超長上下文建模既高效又精準高稀疏 MoE混合專家每層 512 個專家每個 token 僅激活 10 個專家加 1 個共享專家大幅降低單 token 計算量同時保留完整模型容量穩(wěn)定性優(yōu)化引入零中心化、帶權(quán)重衰減的 LayerNorm 等技術(shù)讓預訓練與后訓練更加穩(wěn)健多 Token 預測MTP提升預訓練質(zhì)量并可直接加速推理生成。性能表現(xiàn)來自 README.md 官方數(shù)據(jù)對比維度Qwen3-Next-80B-A3B 表現(xiàn)與 Qwen3-235B-A22B-Instruct 對比多項基準打平256K 超長上下文任務優(yōu)勢顯著編程 LiveCodeBench v656.6超越 235B 版51.8對齊 Arena-Hard v282.7全場最高數(shù)學推理 AIME2569.5逼近 235B 版的 70.3訓練成本僅為同級基座模型的10% 注意該模型僅支持 instruct非思考模式輸出中不會出現(xiàn) 思考塊適合追求響應速度的在線服務場景。 模型核心規(guī)格一覽完整參數(shù)定義見 config.json關鍵規(guī)格如下規(guī)格項數(shù)值模型類型因果語言模型Qwen3NextForCausalLM總參數(shù) / 激活參數(shù)80B / 3B非嵌入?yún)?shù) 79B隱藏層維度2048層數(shù)與布局48 層 12 × (3 組 Gated DeltaNet→MoE 1 組 Gated Attention→MoE)MoE 專家數(shù)512 個激活 10 個 1 個共享專家上下文長度原生 262,144 tokens可擴展至約 1,010,000 tokens精度bfloat16詞表大小151,936訓練數(shù)據(jù)15T tokens 預訓練 后訓練 倉庫文件結(jié)構(gòu)說明本倉庫是一個標準的 Hugging Face 模型倉庫41 個model-XXXXX-of-00041.safetensors分片構(gòu)成完整權(quán)重。各配置文件的作用如下文件作用README.md完整官方文檔架構(gòu)、基準、部署與最佳實踐config.json模型架構(gòu)配置層數(shù)、專家數(shù)、注意力頭等generation_config.json推薦采樣參數(shù)temperature0.7、top_p0.8、top_k20model.safetensors.index.json41 個權(quán)重分片的加載索引tokenizer.json / vocab.json / merges.txt分詞器三件套含內(nèi)置工具調(diào)用聊天模板LICENSEApache-2.0 開源協(xié)議可商用 快速上手3 步在本地跑通模型第 1 步安裝依賴。Qwen3-Next 的代碼已合并進transformers主分支舊版本會報KeyError: qwen3_next務必使用最新開發(fā)版pip install githttps://github.com/huggingface/transformers.gitmain第 2 步下載模型權(quán)重。git clone https://gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct第 3 步加載并生成。80B 參數(shù)建議使用多卡自動分配from transformers import AutoModelForCausalLM, AutoTokenizer model_name Qwen/Qwen3-Next-80B-A3B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, dtypeauto, device_mapauto ) messages [{role: user, content: Give me a short introduction to large language model.}] text tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) model_inputs tokenizer([text], return_tensorspt).to(model.device) generated_ids model.generate(**model_inputs, max_new_tokens16384) print(tokenizer.decode(generated_ids[0][len(model_inputs.input_ids[0]):], skip_special_tokensTrue))?? MTP 加速在 Hugging Face Transformers 中暫不可用對吞吐有要求時建議改用下方的專用推理框架。? 生產(chǎn)部署SGLang 與 vLLM 一鍵啟動命令部署推薦使用 SGLang 或 vLLM兩者都能啟動 OpenAI 兼容 API并支持 MTP 推測解碼加速。SGLang 部署步驟要求sglang0.5.2pip install sglang[all]0.5.2 python -m sglang.launch_server --model-path Qwen/Qwen3-Next-80B-A3B-Instruct \ --port 30000 --tp-size 4 --context-length 262144 --mem-fraction-static 0.8啟用 MTP 加速時追加參數(shù)--speculative-algo NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4vLLM 部署步驟要求vllm0.10.2pip install vllm0.10.2 vllm serve Qwen/Qwen3-Next-80B-A3B-Instruct --port 8000 \ --tensor-parallel-size 4 --max-model-len 262144啟用 MTP 加速時追加參數(shù)--speculative-config {method:qwen3_next_mtp,num_speculative_tokens:2} 默認上下文為 256K若服務器啟動失敗可先把--context-length/--max-model-len降到32768再逐步調(diào)高。 256K 超長上下文如何擴展到 1M tokens官方已用 YaRN 方法驗證了 100 萬 token 上下文下的效果RULER 1M 基準平均分 91.8384K 處仍保持 86.9。兩種啟用方式方式一修改 config.json 增加字段rope_scaling: { rope_type: yarn, factor: 4.0, original_max_position_embeddings: 262144 }方式二啟動時傳參vLLM 示例VLLM_ALLOW_LONG_MAX_MODEL_LEN1 vllm serve ... \ --rope-scaling {rope_type:yarn,factor:4.0,original_max_position_embeddings:262144} \ --max-model-len 1010000 靜態(tài) YaRN 的縮放因子恒定可能對短文本性能有輕微影響僅在確需長上下文時再添加rope_scaling配置。若業(yè)務典型長度為 524K建議把factor調(diào)為 2.0。?? 最佳實踐推薦采樣參數(shù)與輸出長度官方推薦的生成參數(shù)已內(nèi)置于 generation_config.json手動設置時建議保持一致采樣參數(shù)Temperature0.7、TopP0.8、TopK20、MinP0可用presence_penalty0~2抑制重復但過高可能導致語言混雜輸出長度多數(shù)問題預留16,384 tokens輸出即可Agent 場景模型工具調(diào)用能力突出可結(jié)合 Qwen-Agent 框架通過 MCP 配置文件接入自定義工具評測規(guī)范數(shù)學題在 prompt 中加入 put your final answer within \boxed{}選擇題要求以answer: C的 JSON 格式輸出選項。? 常見問題 FAQQ1加載時報KeyError: qwen3_nexttransformers版本過舊升級到主分支最新開發(fā)版即可解決。Q2服務器啟動失敗、顯存不足先把上下文長度從 262144 降到 32768確認能啟動后再按需調(diào)高多卡時確保--tp-size與 GPU 數(shù)量匹配。Q3為什么不輸出 思考內(nèi)容Instruct 版僅支持非思考模式這是設計如此可獲得更快的首 token 響應。Q4MTP 能用在 transformers 里嗎目前暫不支持需通過 SGLang / vLLM 的推測解碼參數(shù)啟用。Qwen3-Next-80B-A3B-Instruct 用混合注意力 高稀疏 MoE MTP 的組合展示了小激活、大容量、長上下文的下一代大模型路線。無論是本地實驗還是生產(chǎn)部署從上面的快速上手到一鍵啟動命令你都已經(jīng)具備了把它跑起來的完整知識。贊分享【免費下載鏈接】Qwen3-Next-80B-A3B-Instruct項目地址https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct點擊查看免費下載相關推薦Qwen3-Next-80B-A3B-FP8混合架構(gòu)重塑大模型效率邊界Qwen3 Next 80B A3B FP8混合架構(gòu)重塑大模型效率邊界 導語 阿里達摩院推出的Qwen3 Next 80B A3B FP8大模型通過融合混合大模型人工智能深度學習Rover UI界面詳解交互式基礎設施圖譜的使用技巧Rover UI界面詳解交互式基礎設施圖譜的使用技巧 Rover是一款功能強大的Terraform可視化工具它通過交互式圖譜幫助用戶直觀地理解和管理基礎設施開發(fā)工具運維CANN Ascend C批量張量C獲取APIGetBatchTensorCa nameZH CN_TOPIC_0000002061229326 /a 產(chǎn)品支持情況a namesection人工智能深度學習高性能計算CANN創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Qwen3-Next-80B-A3B-Instruct重磅發(fā)布：下一代混合架構(gòu)大模型完全指南
【免費下載鏈接】Qwen3-Next-80B-A3B-Instruct項目地址https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct點擊查看免費下載Qwen3-Next-80B-A3B-Instruct 是 Qwen3-Next 系列首發(fā)的下一代混合架構(gòu)大模型總參數(shù) 800 億每 token 僅激活 30 億原生支持 256K 上下文可擴展至 100 萬 token以 10% 的訓練成本超越了 Qwen3-32B 基座在 32K 以上長上下文中推理吞吐提升 10 倍。本指南將帶新手快速看懂它的四大架構(gòu)創(chuàng)新、核心規(guī)格、倉庫文件結(jié)構(gòu)并給出一鍵部署與超長上下文擴展的完整方法。 四大核心亮點混合架構(gòu)到底強在哪Qwen3-Next-80B-A3B 通過架構(gòu)創(chuàng)新實現(xiàn)了更強的模型、更低的成本、更快的推理核心升級有四點混合注意力Hybrid Attention用 Gated DeltaNet線性注意力 Gated Attention門控注意力的組合替代標準注意力48 層中每 4 層才用 1 層全注意力使超長上下文建模既高效又精準高稀疏 MoE混合專家每層 512 個專家每個 token 僅激活 10 個專家加 1 個共享專家大幅降低單 token 計算量同時保留完整模型容量穩(wěn)定性優(yōu)化引入零中心化、帶權(quán)重衰減的 LayerNorm 等技術(shù)讓預訓練與后訓練更加穩(wěn)健多 Token 預測MTP提升預訓練質(zhì)量并可直接加速推理生成。性能表現(xiàn)來自 README.md 官方數(shù)據(jù)對比維度Qwen3-Next-80B-A3B 表現(xiàn)與 Qwen3-235B-A22B-Instruct 對比多項基準打平256K 超長上下文任務優(yōu)勢顯著編程 LiveCodeBench v656.6超越 235B 版51.8對齊 Arena-Hard v282.7全場最高數(shù)學推理 AIME2569.5逼近 235B 版的 70.3訓練成本僅為同級基座模型的10% 注意該模型僅支持 instruct非思考模式輸出中不會出現(xiàn) 思考塊適合追求響應速度的在線服務場景。 模型核心規(guī)格一覽完整參數(shù)定義見 config.json關鍵規(guī)格如下規(guī)格項數(shù)值模型類型因果語言模型Qwen3NextForCausalLM總參數(shù) / 激活參數(shù)80B / 3B非嵌入?yún)?shù) 79B隱藏層維度2048層數(shù)與布局48 層 12 × (3 組 Gated DeltaNet→MoE 1 組 Gated Attention→MoE)MoE 專家數(shù)512 個激活 10 個 1 個共享專家上下文長度原生 262,144 tokens可擴展至約 1,010,000 tokens精度bfloat16詞表大小151,936訓練數(shù)據(jù)15T tokens 預訓練 后訓練 倉庫文件結(jié)構(gòu)說明本倉庫是一個標準的 Hugging Face 模型倉庫41 個model-XXXXX-of-00041.safetensors分片構(gòu)成完整權(quán)重。各配置文件的作用如下文件作用README.md完整官方文檔架構(gòu)、基準、部署與最佳實踐config.json模型架構(gòu)配置層數(shù)、專家數(shù)、注意力頭等generation_config.json推薦采樣參數(shù)temperature0.7、top_p0.8、top_k20model.safetensors.index.json41 個權(quán)重分片的加載索引tokenizer.json / vocab.json / merges.txt分詞器三件套含內(nèi)置工具調(diào)用聊天模板LICENSEApache-2.0 開源協(xié)議可商用 快速上手3 步在本地跑通模型第 1 步安裝依賴。Qwen3-Next 的代碼已合并進transformers主分支舊版本會報KeyError: qwen3_next務必使用最新開發(fā)版pip install githttps://github.com/huggingface/transformers.gitmain第 2 步下載模型權(quán)重。git clone https://gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct第 3 步加載并生成。80B 參數(shù)建議使用多卡自動分配from transformers import AutoModelForCausalLM, AutoTokenizer model_name Qwen/Qwen3-Next-80B-A3B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, dtypeauto, device_mapauto ) messages [{role: user, content: Give me a short introduction to large language model.}] text tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) model_inputs tokenizer([text], return_tensorspt).to(model.device) generated_ids model.generate(**model_inputs, max_new_tokens16384) print(tokenizer.decode(generated_ids[0][len(model_inputs.input_ids[0]):], skip_special_tokensTrue))?? MTP 加速在 Hugging Face Transformers 中暫不可用對吞吐有要求時建議改用下方的專用推理框架。? 生產(chǎn)部署SGLang 與 vLLM 一鍵啟動命令部署推薦使用 SGLang 或 vLLM兩者都能啟動 OpenAI 兼容 API并支持 MTP 推測解碼加速。SGLang 部署步驟要求sglang0.5.2pip install sglang[all]0.5.2 python -m sglang.launch_server --model-path Qwen/Qwen3-Next-80B-A3B-Instruct \ --port 30000 --tp-size 4 --context-length 262144 --mem-fraction-static 0.8啟用 MTP 加速時追加參數(shù)--speculative-algo NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4vLLM 部署步驟要求vllm0.10.2pip install vllm0.10.2 vllm serve Qwen/Qwen3-Next-80B-A3B-Instruct --port 8000 \ --tensor-parallel-size 4 --max-model-len 262144啟用 MTP 加速時追加參數(shù)--speculative-config {method:qwen3_next_mtp,num_speculative_tokens:2} 默認上下文為 256K若服務器啟動失敗可先把--context-length/--max-model-len降到32768再逐步調(diào)高。 256K 超長上下文如何擴展到 1M tokens官方已用 YaRN 方法驗證了 100 萬 token 上下文下的效果RULER 1M 基準平均分 91.8384K 處仍保持 86.9。兩種啟用方式方式一修改 config.json 增加字段rope_scaling: { rope_type: yarn, factor: 4.0, original_max_position_embeddings: 262144 }方式二啟動時傳參vLLM 示例VLLM_ALLOW_LONG_MAX_MODEL_LEN1 vllm serve ... \ --rope-scaling {rope_type:yarn,factor:4.0,original_max_position_embeddings:262144} \ --max-model-len 1010000 靜態(tài) YaRN 的縮放因子恒定可能對短文本性能有輕微影響僅在確需長上下文時再添加rope_scaling配置。若業(yè)務典型長度為 524K建議把factor調(diào)為 2.0。?? 最佳實踐推薦采樣參數(shù)與輸出長度官方推薦的生成參數(shù)已內(nèi)置于 generation_config.json手動設置時建議保持一致采樣參數(shù)Temperature0.7、TopP0.8、TopK20、MinP0可用presence_penalty0~2抑制重復但過高可能導致語言混雜輸出長度多數(shù)問題預留16,384 tokens輸出即可Agent 場景模型工具調(diào)用能力突出可結(jié)合 Qwen-Agent 框架通過 MCP 配置文件接入自定義工具評測規(guī)范數(shù)學題在 prompt 中加入 put your final answer within \boxed{}選擇題要求以answer: C的 JSON 格式輸出選項。? 常見問題 FAQQ1加載時報KeyError: qwen3_nexttransformers版本過舊升級到主分支最新開發(fā)版即可解決。Q2服務器啟動失敗、顯存不足先把上下文長度從 262144 降到 32768確認能啟動后再按需調(diào)高多卡時確保--tp-size與 GPU 數(shù)量匹配。Q3為什么不輸出 思考內(nèi)容Instruct 版僅支持非思考模式這是設計如此可獲得更快的首 token 響應。Q4MTP 能用在 transformers 里嗎目前暫不支持需通過 SGLang / vLLM 的推測解碼參數(shù)啟用。Qwen3-Next-80B-A3B-Instruct 用混合注意力 高稀疏 MoE MTP 的組合展示了小激活、大容量、長上下文的下一代大模型路線。無論是本地實驗還是生產(chǎn)部署從上面的快速上手到一鍵啟動命令你都已經(jīng)具備了把它跑起來的完整知識。贊分享【免費下載鏈接】Qwen3-Next-80B-A3B-Instruct項目地址https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct點擊查看免費下載相關推薦Qwen3-Next-80B-A3B-FP8混合架構(gòu)重塑大模型效率邊界Qwen3 Next 80B A3B FP8混合架構(gòu)重塑大模型效率邊界 導語 阿里達摩院推出的Qwen3 Next 80B A3B FP8大模型通過融合混合大模型人工智能深度學習Rover UI界面詳解交互式基礎設施圖譜的使用技巧Rover UI界面詳解交互式基礎設施圖譜的使用技巧 Rover是一款功能強大的Terraform可視化工具它通過交互式圖譜幫助用戶直觀地理解和管理基礎設施開發(fā)工具運維CANN Ascend C批量張量C獲取APIGetBatchTensorCa nameZH CN_TOPIC_0000002061229326 /a 產(chǎn)品支持情況a namesection人工智能深度學習高性能計算CANN創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考