HySparse2把模型拆成前后兩段用兩級KV共享和Token級稀疏選擇減少長輸入計(jì)算但MiMo-V3尚未發(fā)布5.02倍指計(jì)算量不是實(shí)測速度。**先說預(yù)測**MiMo-V3真正值得關(guān)注的可能不是榜單上多漲幾個(gè)點(diǎn)而是它準(zhǔn)備把Agent最昂貴、最容易被忽視的一段成本砍下來反復(fù)讀取工具返回的長網(wǎng)頁、代碼、文檔和執(zhí)行日志。小米LLM-Core團(tuán)隊(duì)公開了HySparse2論文團(tuán)隊(duì)成員羅福莉也明確表示MiMo-V3正在采用以HySparse2為核心的新架構(gòu)。論文中的模型還不是已經(jīng)上線的MiMo-V3產(chǎn)品但技術(shù)方向已經(jīng)相當(dāng)清楚更少的預(yù)填充計(jì)算、更小的KV Cache以及更準(zhǔn)確的長歷史檢索。小米LLM-Core團(tuán)隊(duì)成員羅福莉公開確認(rèn)MiMo-V3將采用以HySparse2為核心的新架構(gòu)。 圖片已壓縮為WebP點(diǎn)擊可查看大圖。HySparse2的目標(biāo)是同時(shí)降低預(yù)填充計(jì)算、縮小KV Cache并提升長上下文檢索。 圖片已壓縮為WebP點(diǎn)擊可查看大圖。先劃重點(diǎn)MiMo-V3目前尚未正式發(fā)布。論文中的5.02倍是80B-A3B實(shí)驗(yàn)?zāi)Ｐ驮?00萬Token時(shí)相對Hybrid SWA的預(yù)填充FLOPs下降不是端到端響應(yīng)速度提升5.02倍長上下文質(zhì)量實(shí)測最高評估到256K100萬Token對應(yīng)的是計(jì)算量與緩存分析。01 / Agent為什么會被“讀材料”拖慢一個(gè)編碼Agent修Bug時(shí)可能只生成幾十個(gè)Token的指令讀取文件、執(zhí)行測試、修改代碼。但工具返回的源文件、搜索結(jié)果和報(bào)錯(cuò)日志動(dòng)輒幾千甚至幾萬Token。每輪新材料進(jìn)入上下文后模型都要先處理輸入、建立后續(xù)生成所需的KV Cache再決定下一步。Agent任務(wù)的典型結(jié)構(gòu)模型輸出短指令工具卻返回長網(wǎng)頁、代碼和運(yùn)行日志。 圖片已壓縮為WebP點(diǎn)擊可查看大圖。這個(gè)處理輸入的階段叫預(yù)填充Prefill。在長時(shí)間、多輪Agent任務(wù)中生成動(dòng)作很短工具觀察很長成本會越來越由預(yù)填充主導(dǎo)。與此同時(shí)模型還不能簡單丟掉舊內(nèi)容因?yàn)榈?0輪需要的線索可能藏在第2輪日志里。所以問題變成了三件互相拉扯的事輸入要少算、歷史要少占顯存、關(guān)鍵線索還必須找得準(zhǔn)。HySparse2就是針對這三個(gè)目標(biāo)設(shè)計(jì)的。02 / HySparse2最關(guān)鍵的一刀預(yù)填充只跑前半段HySparse2把模型骨干拆成Self-Decoder和Cross-Decoder兩段。前段混合全注意力與滑動(dòng)窗口注意力負(fù)責(zé)處理當(dāng)前輸入后段混合全注意力與稀疏注意力負(fù)責(zé)更廣范圍的歷史檢索與最終生成。HySparse2架構(gòu)Self-Decoder、Cross-Decoder、KV Bridging與KV Reuse。 圖片已壓縮為WebP點(diǎn)擊可查看大圖。兩段之間由KV Bridging連接Cross-Decoder中的全注意力層不再要求長輸入完整跑過后半段才能得到緩存而是從Self-Decoder對應(yīng)層的隱藏狀態(tài)重新投影出K和V。Cross-Decoder內(nèi)部再通過KV Reuse讓后續(xù)稀疏層復(fù)用全注意力層的KV Cache和選擇位置。結(jié)果是一批很長的新材料到來時(shí)預(yù)填充走完Self-Decoder就能提前退出不必把全部輸入繼續(xù)逐層送進(jìn)Cross-Decoder。模型開始生成新Token時(shí)后半段仍正常工作能力沒有被簡單“砍掉一半”。論文給出的49層配置中預(yù)填充節(jié)點(diǎn)只需要部署前25層和相關(guān)投影模塊模型內(nèi)存需求接近減半預(yù)填充階段真正執(zhí)行全注意力的只有一層。03 / 從按“塊”找線索改成按單個(gè)Token找上一代HySparse按64 Token的塊選擇歷史。如果一個(gè)塊里只有一個(gè)詞有用剩余63個(gè)位置仍然會占用有限的注意力預(yù)算。面對多輪Agent軌跡關(guān)鍵證據(jù)往往分散在不同工具返回中這種浪費(fèi)會直接影響檢索精度。Token級選擇能把有限注意力預(yù)算分配給分散在歷史中的關(guān)鍵位置。 圖片已壓縮為WebP點(diǎn)擊可查看大圖。HySparse2改為Token級選擇。論文的消融實(shí)驗(yàn)在相同骨干和注意力預(yù)算下選擇1024個(gè)全局Token并保留最近128個(gè)Token作為局部窗口。這樣既能抓住遠(yuǎn)處零散線索也不會漏掉剛返回的工具結(jié)果。在32K及以下的預(yù)訓(xùn)練長上下文測試中Token級選擇相對塊級選擇讓RULER-v2提高6.57個(gè)百分點(diǎn)雙線索MRCR-v2提高8.14個(gè)百分點(diǎn)GraphWalks提高5.55個(gè)百分點(diǎn)。04 / 為什么還要保留少量全注意力HySparse2并沒有把全注意力全部刪除。團(tuán)隊(duì)認(rèn)為少量全注意力層一方面維持模型質(zhì)量另一方面能用完整注意力分?jǐn)?shù)為后續(xù)稀疏層提供“應(yīng)該看哪些Token”的選擇結(jié)果。這相當(dāng)于讓少數(shù)層做全局偵察再讓大量稀疏層只處理最值得看的位置。它不需要額外訓(xùn)練獨(dú)立檢索器但全注意力本身仍然昂貴所以架構(gòu)將其比例控制得很低。05 / 數(shù)據(jù)到底有多夸張5.02倍應(yīng)該這樣讀80B-A3B模型在不同上下文長度下的預(yù)填充計(jì)算量與KV Cache比較。 圖片已壓縮為WebP點(diǎn)擊可查看大圖。指標(biāo)HySparse2HySparseHybrid SWA100萬Token預(yù)填充FLOPs基準(zhǔn)約2.92倍約5.02倍100萬Token KV CacheFP82.69GB6.72GB12.09GB256K RULER-v258.4532.6135.74百萬Token、FP8緩存條件下的計(jì)算量與KV Cache分析結(jié)果。 圖片已壓縮為WebP點(diǎn)擊可查看大圖。**對產(chǎn)品用戶最重要的解釋**FLOPs下降不等于延遲按相同比例下降。真實(shí)速度還取決于稀疏算子效率、顯存帶寬、并行調(diào)度、輸入長度、服務(wù)負(fù)載、網(wǎng)絡(luò)和推測解碼。它首先證明的是架構(gòu)上“少算了很多”并不直接承諾網(wǎng)頁端快5倍。06 / 長上下文質(zhì)量沒有被省掉反而更強(qiáng)HySparse2、HySparse與Hybrid SWA在長上下文檢索和Agent軌跡上的比較。 圖片已壓縮為WebP點(diǎn)擊可查看大圖。團(tuán)隊(duì)使用相同數(shù)據(jù)和訓(xùn)練安排對比HySparse2、HySparse和MiMo-V2系列采用的Hybrid SWA。預(yù)訓(xùn)練后的通識、推理和代碼成績有升有降整體大致可比最明顯的優(yōu)勢集中在長上下文檢索。經(jīng)過約100B Token的輕量后訓(xùn)練后HySparse2在論文評估的各個(gè)上下文長度上領(lǐng)先兩個(gè)對照架構(gòu)。按測試長度平均MRCR-v2和RULER-v2相對HySparse分別提高11.30和19.81個(gè)百分點(diǎn)同時(shí)AgentPPL和LongPPL更低。這比“緩存變小”更重要。Agent真正需要的不是把一百萬Token機(jī)械塞進(jìn)去而是在大量無關(guān)日志之間把早期決策、文件路徑、報(bào)錯(cuò)線索和用戶約束準(zhǔn)確接回當(dāng)前任務(wù)。07 / 對開發(fā)者和普通用戶意味著什么**更長的編碼任務(wù)**Agent可以保留更多文件、測試日志和操作歷史減少過早壓縮導(dǎo)致的信息丟失。**更低的長輸入成本**若部署端能把理論計(jì)算優(yōu)勢轉(zhuǎn)化為高效內(nèi)核處理大型倉庫和長文檔會更經(jīng)濟(jì)。**更高的并發(fā)空間**KV Cache更小同等顯存有機(jī)會承載更多會話或更長上下文。**更穩(wěn)定的歷史檢索**Token級選擇更適合從多輪工具軌跡中尋找分散證據(jù)。但現(xiàn)在還不能在API里選擇“MiMo-V3”。這篇論文描述的是架構(gòu)與實(shí)驗(yàn)?zāi)Ｐ妥罱K產(chǎn)品的參數(shù)規(guī)模、價(jià)格、上下文上限、速度、工具能力和上線時(shí)間仍需等待小米正式公告。08 / 我們的觀點(diǎn)Agent模型正在從“會不會做”轉(zhuǎn)向“能不能一直做”早期Agent競爭看的是單輪推理和工具調(diào)用現(xiàn)在任務(wù)一長系統(tǒng)瓶頸迅速變成輸入處理、緩存、檢索和狀態(tài)管理。模型可以生成漂亮代碼卻可能在第30輪忘記第3輪的約束也可能把大部分算力浪費(fèi)在反復(fù)讀取日志上。HySparse2的方向很務(wù)實(shí)不只是擴(kuò)大上下文窗口數(shù)字而是重新設(shè)計(jì)長歷史如何進(jìn)入模型、如何保存、如何被找到。若MiMo-V3能把論文中的計(jì)算優(yōu)勢轉(zhuǎn)化為穩(wěn)定的線上吞吐和真實(shí)Agent成功率它可能比單純刷榜更有產(chǎn)品價(jià)值。現(xiàn)階段最合理的態(tài)度是架構(gòu)值得期待模型仍需等正式發(fā)布計(jì)算量數(shù)據(jù)可信實(shí)際速度不要提前腦補(bǔ)。常見問題FAQ小米MiMo-V3已經(jīng)發(fā)布了嗎尚未正式發(fā)布。小米團(tuán)隊(duì)已公開HySparse2論文并確認(rèn)MiMo-V3將采用以該技術(shù)為核心的新架構(gòu)但產(chǎn)品規(guī)格、價(jià)格和上線時(shí)間仍需等待官方公告。HySparse2是什么HySparse2是一種面向長上下文和多輪Agent任務(wù)的混合稀疏注意力架構(gòu)通過KV Bridging、KV Reuse、Token級選擇和預(yù)填充提前退出降低計(jì)算與緩存開銷。5.02倍提升代表MiMo-V3速度快5倍嗎不代表。5.02倍指80B-A3B實(shí)驗(yàn)?zāi)Ｐ驮?00萬Token下相對Hybrid SWA的預(yù)填充FLOPs減少比例。端到端速度還受硬件、內(nèi)核、調(diào)度和網(wǎng)絡(luò)等因素影響。HySparse2的KV Cache有多大論文分析中在100萬Token和FP8緩存條件下HySparse2為2.69GBHySparse為6.72GBHybrid SWA為12.09GB。HySparse2為什么適合AI AgentAgent會不斷接收長網(wǎng)頁、代碼和日志。HySparse2減少長輸入預(yù)填充成本并通過Token級選擇提高跨多輪歷史尋找關(guān)鍵證據(jù)的精度。