Beschleunigung von Diffusions-LLMs durch adaptives paralleles Decodieren

Accelerating Diffusion LLMs via Adaptive Parallel Decoding

May 31, 2025

Autoren: Daniel Israel, Guy Van den Broeck, Aditya Grover

cs.AI

Zusammenfassung

Die Generierungsgeschwindigkeit von LLMs wird durch das autoregressive Decoding begrenzt, bei dem Token sequenziell nacheinander vorhergesagt werden. Alternativ ermöglichen Diffusion Large Language Models (dLLMs) theoretisch die parallele Token-Generierung, haben jedoch in der Praxis Schwierigkeiten, die Geschwindigkeit autoregressiver Modelle zu erreichen, ohne die Qualität erheblich zu beeinträchtigen. Daher führen wir das adaptive parallele Decoding (APD) ein, eine neuartige Methode, die die Anzahl der parallel abgetasteten Token dynamisch anpasst. Dies erreichen wir, indem wir eine multiplikative Mischung zwischen den marginalen Wahrscheinlichkeiten des dLLM und der gemeinsamen Wahrscheinlichkeit von Sequenzen unter einem kleinen, zusätzlichen autoregressiven Modell definieren. Dies kehrt das Standard-Setup des spekulativen Decodings um, bei dem das Ziel darin besteht, aus einem großen autoregressiven Verifizierer zu sampeln, indem Entwürfe aus einem kleineren Modell erstellt werden. Wir optimieren APD weiter, indem wir KV-Caching aktivieren und die Größe der maskierten Eingabe begrenzen. Insgesamt stellt unsere Methode drei einstellbare Parameter zur Verfügung, um flexibel zwischen Durchsatz und Qualität abzuwägen. Wir zeigen, dass APD einen deutlich höheren Durchsatz bei minimalen Qualitätseinbußen in nachgelagerten Benchmarks bietet.

English

The generation speed of LLMs are bottlenecked by autoregressive decoding, where tokens are predicted sequentially one by one. Alternatively, diffusion large language models (dLLMs) theoretically allow for parallel token generation, but in practice struggle to achieve the speed of autoregressive models without significantly sacrificing quality. We therefore introduce adaptive parallel decoding (APD), a novel method that dynamically adjusts the number of tokens sampled in parallel. We achieve this by defining a multiplicative mixture between the dLLM marginal probabilities and the joint probability of sequences under a small auxiliary autoregressive model. This inverts the standard setup of speculative decoding, where the goal is to sample from a large autoregressive verifier by drafting from a smaller model. We further optimize APD by enabling KV caching and limiting the size of the masked input. Altogether, our method puts forward three tunable parameters to flexibly tradeoff throughput and quality. We show that APD provides markedly higher throughput with minimal quality degradations on downstream benchmarks.