Versnellen van Diffusion LLM's via Adaptieve Parallelle Decodering

Accelerating Diffusion LLMs via Adaptive Parallel Decoding

May 31, 2025

Auteurs: Daniel Israel, Guy Van den Broeck, Aditya Grover

cs.AI

Samenvatting

De generatiesnelheid van LLM's wordt beperkt door autoregressief decoderen, waarbij tokens sequentieel één voor één worden voorspeld. Alternatief bieden diffusie grote taalmodellen (dLLM's) theoretisch de mogelijkheid voor parallelle token-generatie, maar in de praktijk lukt het hen niet om de snelheid van autoregressieve modellen te evenaren zonder aanzienlijk in te leveren op kwaliteit. Daarom introduceren wij adaptief parallel decoderen (APD), een nieuwe methode die dynamisch het aantal parallel gesampelde tokens aanpast. We bereiken dit door een multiplicatieve mix te definiëren tussen de marginale waarschijnlijkheden van het dLLM en de gezamenlijke waarschijnlijkheid van sequenties onder een klein hulp-autoregressief model. Dit keert de standaardopzet van speculatief decoderen om, waarbij het doel is om te sampelen van een groot autoregressief verificatiemodel door te ontwerpen vanuit een kleiner model. We optimaliseren APD verder door KV-caching in te schakelen en de grootte van de gemaskeerde invoer te beperken. Al met al introduceert onze methode drie afstembare parameters om flexibel een afweging te maken tussen doorvoersnelheid en kwaliteit. We tonen aan dat APD een aanzienlijk hogere doorvoersnelheid biedt met minimale kwaliteitsverliezen op downstream benchmarks.

English

The generation speed of LLMs are bottlenecked by autoregressive decoding, where tokens are predicted sequentially one by one. Alternatively, diffusion large language models (dLLMs) theoretically allow for parallel token generation, but in practice struggle to achieve the speed of autoregressive models without significantly sacrificing quality. We therefore introduce adaptive parallel decoding (APD), a novel method that dynamically adjusts the number of tokens sampled in parallel. We achieve this by defining a multiplicative mixture between the dLLM marginal probabilities and the joint probability of sequences under a small auxiliary autoregressive model. This inverts the standard setup of speculative decoding, where the goal is to sample from a large autoregressive verifier by drafting from a smaller model. We further optimize APD by enabling KV caching and limiting the size of the masked input. Altogether, our method puts forward three tunable parameters to flexibly tradeoff throughput and quality. We show that APD provides markedly higher throughput with minimal quality degradations on downstream benchmarks.