
文章總結與翻譯一、主要內容本文聚焦大型語言擴散模型(LLDMs)的解碼順序優(yōu)化問題。LLDMs具備并行推理和可控生成的優(yōu)勢,但解碼順序對推理性能高度敏感,現(xiàn)有啟發(fā)式方法僅關注局部信息而忽略長期影響。為此,作者提出兩種解碼方法:預見解碼方法(FDM):融合局部置信度(模型對當前token預測的不確定性)和全局置信度(token解碼對未來的影響),通過兩階段搜索策略(先按局部置信度篩選候選token,再結合全局置信度決策)優(yōu)化解碼順序,理論上證明其與自然分布的KL散度更低。加速版預見解碼方法(FDM-A):基于解碼過程中局部與全局置信度決策的一致性分析,將解碼分為探索、平衡和加速三階段,僅在關鍵步驟(上下文不足或邊界場景)啟用FDM,其余階段通過局部置信度并行解碼,平衡性能與效率。實驗在GSM8K、HumanEval等4個基準數據集和4種LLDM架構上驗證,F(xiàn)DM持續(xù)優(yōu)于啟發(fā)式基線,且搜索寬度越大性能越好(體現(xiàn)推理時縮放特性);FDM-A在性能損失極小的情況下實現(xiàn)3倍以上加速,顯著優(yōu)于現(xiàn)有動態(tài)解碼方法。二、創(chuàng)新點首次明確LLDMs解碼的局部與全局置信度雙維度,提出融合兩者的解碼框架,突破傳統(tǒng)啟發(fā)式方法僅依賴局部信息的局限。設計FDM的兩階段搜索策略,通過動態(tài)剪枝和Top-K篩選壓縮搜索空間,兼顧優(yōu)化效果與計算可行性,且理論證明其分布擬合優(yōu)勢。提出FDM-A的自適應階段劃分機制,基于置信度反饋動