Accelerazione dei LLM di diffusione tramite decodifica parallela adattiva

Accelerating Diffusion LLMs via Adaptive Parallel Decoding

May 31, 2025

Autori: Daniel Israel, Guy Van den Broeck, Aditya Grover

cs.AI

Abstract

La velocità di generazione dei modelli linguistici di grandi dimensioni (LLM) è limitata dal decodifica autoregressiva, in cui i token vengono predetti sequenzialmente uno alla volta. In alternativa, i modelli linguistici di grandi dimensioni basati su diffusione (dLLM) teoricamente consentono la generazione parallela di token, ma in pratica faticano a raggiungere la velocità dei modelli autoregressivi senza sacrificare significativamente la qualità. Introduciamo quindi il decodifica parallela adattiva (APD), un metodo innovativo che regola dinamicamente il numero di token campionati in parallelo. Raggiungiamo questo obiettivo definendo una miscela moltiplicativa tra le probabilità marginali del dLLM e la probabilità congiunta di sequenze sotto un piccolo modello autoregressivo ausiliario. Questo inverte la configurazione standard del decodifica speculativa, in cui l'obiettivo è campionare da un verificatore autoregressivo di grandi dimensioni utilizzando un modello più piccolo per la bozza. Ottimizziamo ulteriormente l'APD abilitando la memorizzazione nella cache KV e limitando la dimensione dell'input mascherato. Nel complesso, il nostro metodo propone tre parametri regolabili per bilanciare flessibilmente la velocità di elaborazione e la qualità. Dimostriamo che l'APD offre una velocità di elaborazione notevolmente più elevata con minime riduzioni della qualità nei benchmark a valle.

English

The generation speed of LLMs are bottlenecked by autoregressive decoding, where tokens are predicted sequentially one by one. Alternatively, diffusion large language models (dLLMs) theoretically allow for parallel token generation, but in practice struggle to achieve the speed of autoregressive models without significantly sacrificing quality. We therefore introduce adaptive parallel decoding (APD), a novel method that dynamically adjusts the number of tokens sampled in parallel. We achieve this by defining a multiplicative mixture between the dLLM marginal probabilities and the joint probability of sequences under a small auxiliary autoregressive model. This inverts the standard setup of speculative decoding, where the goal is to sample from a large autoregressive verifier by drafting from a smaller model. We further optimize APD by enabling KV caching and limiting the size of the masked input. Altogether, our method puts forward three tunable parameters to flexibly tradeoff throughput and quality. We show that APD provides markedly higher throughput with minimal quality degradations on downstream benchmarks.