セットブロックデコーディングは、言語モデル推論アクセラレータである。

要旨

自己回帰型の次トークン予測言語モデルは強力な能力を提供するが、特にデコード段階における推論の高い計算コストとメモリコストのため、実用的な展開において重大な課題に直面している。本論文では、標準的な次トークン予測（NTP）とマスクトークン予測（MATP）を単一のアーキテクチャ内に統合することで生成を加速する、シンプルで柔軟なパラダイムであるSet Block Decoding（SBD）を提案する。SBDは、モデルが複数の、必ずしも連続的でない将来のトークンを並列にサンプリングすることを可能にし、これまでの加速手法との重要な違いとなっている。この柔軟性により、離散拡散理論から高度なソルバーを利用することが可能となり、精度を犠牲にすることなく大幅な高速化を実現する。SBDは、アーキテクチャの変更や追加のトレーニングハイパーパラメータを必要とせず、正確なKVキャッシングとの互換性を維持し、既存の次トークン予測モデルを微調整することで実装可能である。Llama-3.1 8BおよびQwen-3 8Bを微調整することで、SBDが生成に必要なフォワードパスの回数を3～5倍削減しつつ、同等のNTPトレーニングと同等の性能を達成することを実証する。

English

Autoregressive next token prediction language models offer powerful capabilities but face significant challenges in practical deployment due to the high computational and memory costs of inference, particularly during the decoding stage. We introduce Set Block Decoding (SBD), a simple and flexible paradigm that accelerates generation by integrating standard next token prediction (NTP) and masked token prediction (MATP) within a single architecture. SBD allows the model to sample multiple, not necessarily consecutive, future tokens in parallel, a key distinction from previous acceleration methods. This flexibility allows the use of advanced solvers from the discrete diffusion literature, offering significant speedups without sacrificing accuracy. SBD requires no architectural changes or extra training hyperparameters, maintains compatibility with exact KV-caching, and can be implemented by fine-tuning existing next token prediction models. By fine-tuning Llama-3.1 8B and Qwen-3 8B, we demonstrate that SBD enables a 3-5x reduction in the number of forward passes required for generation while achieving same performance as equivalent NTP training.

セットブロックデコーディングは、言語モデル推論アクセラレータである。

Set Block Decoding is a Language Model Inference Accelerator

要旨

Support