DFlash: Diffusione a Blocchi per la Decodifica Speculativa Flash

DFlash: Block Diffusion for Flash Speculative Decoding

February 5, 2026

Autori: Jian Chen, Yesheng Liang, Zhijian Liu

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) autoregressivi offrono prestazioni elevate ma richiedono un processo di decodifica intrinsecamente sequenziale, portando a un'elevata latenza nell'inferenza e a uno scarso utilizzo della GPU. La decodifica speculativa mitiga questo collo di bottiglia utilizzando un modello draft veloce le cui uscite vengono verificate in parallelo dall'LLM target; tuttavia, i metodi esistenti si basano ancora su un drafting autoregressivo, che rimane sequenziale e limita gli speedup pratici. I modelli Diffusion LLM offrono un'alternativa promettente grazie alla generazione parallela, ma gli attuali modelli di diffusione generalmente forniscono prestazioni inferiori rispetto ai modelli autoregressivi. In questo articolo, introduciamo DFlash, un framework di decodifica speculativa che impiega un modello di diffusione a blocchi leggero per il drafting parallelo. Generando i token draft in un unico passaggio in avanti e condizionando il modello draft su feature contestuali estratte dal modello target, DFlash consente un drafting efficiente con output di alta qualità e tassi di accettazione più elevati. Gli esperimenti mostrano che DFlash raggiunge un'accelerazione senza perdite superiore a 6x su una gamma di modelli e task, offrendo uno speedup fino a 2,5x superiore rispetto al metodo di decodifica speculativa allo stato dell'arte EAGLE-3.

English

Autoregressive large language models (LLMs) deliver strong performance but require inherently sequential decoding, leading to high inference latency and poor GPU utilization. Speculative decoding mitigates this bottleneck by using a fast draft model whose outputs are verified in parallel by the target LLM; however, existing methods still rely on autoregressive drafting, which remains sequential and limits practical speedups. Diffusion LLMs offer a promising alternative by enabling parallel generation, but current diffusion models typically underperform compared with autoregressive models. In this paper, we introduce DFlash, a speculative decoding framework that employs a lightweight block diffusion model for parallel drafting. By generating draft tokens in a single forward pass and conditioning the draft model on context features extracted from the target model, DFlash enables efficient drafting with high-quality outputs and higher acceptance rates. Experiments show that DFlash achieves over 6x lossless acceleration across a range of models and tasks, delivering up to 2.5x higher speedup than the state-of-the-art speculative decoding method EAGLE-3.