Set Block Decoding ist ein Beschleuniger für die Inferenz von Sprachmodellen.

Set Block Decoding is a Language Model Inference Accelerator

September 4, 2025

papers.authors: Itai Gat, Heli Ben-Hamu, Marton Havasi, Daniel Haziza, Jeremy Reizenstein, Gabriel Synnaeve, David Lopez-Paz, Brian Karrer, Yaron Lipman

cs.AI

papers.abstract

Autoregressive Sprachmodelle zur Vorhersage des nächsten Tokens bieten leistungsstarke Fähigkeiten, stehen jedoch bei der praktischen Anwendung vor erheblichen Herausforderungen aufgrund der hohen Rechen- und Speicherkosten während der Inferenz, insbesondere in der Dekodierungsphase. Wir stellen Set Block Decoding (SBD) vor, ein einfaches und flexibles Paradigma, das die Generierung beschleunigt, indem es die Standard-Next-Token-Prediction (NTP) und die Masked-Token-Prediction (MATP) in einer einzigen Architektur integriert. SBD ermöglicht es dem Modell, mehrere, nicht notwendigerweise aufeinanderfolgende zukünftige Tokens parallel zu samplen, was einen entscheidenden Unterschied zu bisherigen Beschleunigungsmethoden darstellt. Diese Flexibilität ermöglicht die Nutzung fortschrittlicher Solver aus der Literatur zur diskreten Diffusion und bietet erhebliche Geschwindigkeitssteigerungen ohne Genauigkeitsverluste. SBD erfordert keine architektonischen Änderungen oder zusätzliche Trainingshyperparameter, bleibt kompatibel mit exaktem KV-Caching und kann durch Feinabstimmung bestehender Next-Token-Prediction-Modelle implementiert werden. Durch die Feinabstimmung von Llama-3.1 8B und Qwen-3 8B zeigen wir, dass SBD eine 3-5-fache Reduzierung der Anzahl der für die Generierung erforderlichen Vorwärtsdurchläufe ermöglicht, während die gleiche Leistung wie beim äquivalenten NTP-Training erzielt wird.

English

Autoregressive next token prediction language models offer powerful capabilities but face significant challenges in practical deployment due to the high computational and memory costs of inference, particularly during the decoding stage. We introduce Set Block Decoding (SBD), a simple and flexible paradigm that accelerates generation by integrating standard next token prediction (NTP) and masked token prediction (MATP) within a single architecture. SBD allows the model to sample multiple, not necessarily consecutive, future tokens in parallel, a key distinction from previous acceleration methods. This flexibility allows the use of advanced solvers from the discrete diffusion literature, offering significant speedups without sacrificing accuracy. SBD requires no architectural changes or extra training hyperparameters, maintains compatibility with exact KV-caching, and can be implemented by fine-tuning existing next token prediction models. By fine-tuning Llama-3.1 8B and Qwen-3 8B, we demonstrate that SBD enables a 3-5x reduction in the number of forward passes required for generation while achieving same performance as equivalent NTP training.