Fast-dLLM：KVキャッシュと並列デコードを可能にした拡散型LLMのトレーニング不要な高速化

Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding

May 28, 2025

著者: Chengyue Wu, Hao Zhang, Shuchen Xue, Zhijian Liu, Shizhe Diao, Ligeng Zhu, Ping Luo, Song Han, Enze Xie

cs.AI

要旨

拡散ベースの大規模言語モデル（Diffusion LLMs）は、並列デコード能力を備えた非自己回帰型テキスト生成において有望な成果を示しています。しかし、オープンソースのDiffusion LLMsの実用的な推論速度は、Key-Value（KV）キャッシュの欠如や、複数のトークンを同時にデコードする際の品質低下により、自己回帰モデルに遅れを取ることが多いです。このギャップを埋めるため、我々は双方向拡散モデルに特化した新しいブロック単位の近似KVキャッシュメカニズムを導入し、性能の低下をほとんど伴わずにキャッシュの再利用を可能にしました。さらに、並列デコードにおける生成品質の低下の根本原因を、条件付き独立性の仮定の下でのトークン依存関係の破綻であると特定しました。これに対処するため、信頼度閾値を超えるトークンを選択的にデコードする信頼度認識型並列デコード戦略を提案し、依存関係の違反を軽減しつつ生成品質を維持します。LLaDAおよびDreamモデルを用いた複数のLLMベンチマークでの実験結果は、最小限の精度低下で最大27.6倍のスループット向上を示し、自己回帰モデルとの性能差を縮め、Diffusion LLMsの実用的な展開への道を開きました。

English

Diffusion-based large language models (Diffusion LLMs) have shown promise for non-autoregressive text generation with parallel decoding capabilities. However, the practical inference speed of open-sourced Diffusion LLMs often lags behind autoregressive models due to the lack of Key-Value (KV) Cache and quality degradation when decoding multiple tokens simultaneously. To bridge this gap, we introduce a novel block-wise approximate KV Cache mechanism tailored for bidirectional diffusion models, enabling cache reuse with negligible performance drop. Additionally, we identify the root cause of generation quality degradation in parallel decoding as the disruption of token dependencies under the conditional independence assumption. To address this, we propose a confidence-aware parallel decoding strategy that selectively decodes tokens exceeding a confidence threshold, mitigating dependency violations and maintaining generation quality. Experimental results on LLaDA and Dream models across multiple LLM benchmarks demonstrate up to 27.6times throughput improvement with minimal accuracy loss, closing the performance gap with autoregressive models and paving the way for practical deployment of Diffusion LLMs.