DFlash: Blokdiffusie voor Flash Speculatieve Decodering
DFlash: Block Diffusion for Flash Speculative Decoding
February 5, 2026
Auteurs: Jian Chen, Yesheng Liang, Zhijian Liu
cs.AI
Samenvatting
Autoregressieve grote taalmodellen (LLM's) leveren sterke prestaties, maar vereisen inherent sequentiële decodering, wat leidt tot hoge inferentielatentie en slechte GPU-benutting. Speculatieve decodering verzacht dit knelpunt door gebruik te maken van een snel conceptmodel waarvan de uitvoer parallel wordt geverifieerd door het doel-LLM; bestaande methodes blijven echter vertrouwen op autoregressieve conceptgeneratie, die sequentieel blijft en praktische snelheidswinst beperkt. Diffusie-LLM's bieden een veelbelovend alternatief door parallelle generatie mogelijk te maken, maar huidige diffusiemodellen presteren doorgaans minder goed dan autoregressieve modellen. In dit artikel introduceren we DFlash, een speculatief decoderingskader dat een lichtgewicht blokdiffusiemodel gebruikt voor parallelle conceptgeneratie. Door concepttokens in één enkele voorwaartse pass te genereren en het conceptmodel te conditioneren op contextkenmerken die uit het doelmodel zijn geëxtraheerd, stelt DFlash efficiënte conceptgeneratie mogelijk met hoogwaardige uitvoer en hogere acceptatiegraden. Experimenten tonen aan dat DFlash een verliesversnelling van meer dan 6x bereikt over een reeks modellen en taken, wat een tot 2,5x hogere snelheidswinst oplevert dan de state-of-the-art speculatieve decoderingsmethode EAGLE-3.
English
Autoregressive large language models (LLMs) deliver strong performance but require inherently sequential decoding, leading to high inference latency and poor GPU utilization. Speculative decoding mitigates this bottleneck by using a fast draft model whose outputs are verified in parallel by the target LLM; however, existing methods still rely on autoregressive drafting, which remains sequential and limits practical speedups. Diffusion LLMs offer a promising alternative by enabling parallel generation, but current diffusion models typically underperform compared with autoregressive models. In this paper, we introduce DFlash, a speculative decoding framework that employs a lightweight block diffusion model for parallel drafting. By generating draft tokens in a single forward pass and conditioning the draft model on context features extracted from the target model, DFlash enables efficient drafting with high-quality outputs and higher acceptance rates. Experiments show that DFlash achieves over 6x lossless acceleration across a range of models and tasks, delivering up to 2.5x higher speedup than the state-of-the-art speculative decoding method EAGLE-3.