DFlash: Block-Diffusion für Flash-Spekulatives Decodieren
DFlash: Block Diffusion for Flash Speculative Decoding
February 5, 2026
papers.authors: Jian Chen, Yesheng Liang, Zhijian Liu
cs.AI
papers.abstract
Autoregressive große Sprachmodelle (LLMs) liefern eine hohe Leistung, erfordern jedoch inhärent sequenzielles Decodieren, was zu hoher Inferenzlatenz und schlechter GPU-Auslastung führt. Spekulatives Decodieren mildert diesen Engpass, indem ein schnelles Draft-Modell verwendet wird, dessen Ausgaben parallel vom Ziel-LLM verifiziert werden. Bestehende Methoden stützen sich jedoch weiterhin auf autoregressives Drafting, das sequenziell bleibt und praktische Beschleunigungen begrenzt. Diffusions-LLMs bieten eine vielversprechende Alternative durch parallele Generierung, aber aktuelle Diffusionsmodelle liegen in der Leistung typischerweise hinter autoregressiven Modellen zurück. In diesem Artikel stellen wir DFlash vor, einen spekulativen Decodierungsrahmen, der ein leichtgewichtiges Block-Diffusionsmodell für paralleles Drafting einsetzt. Durch die Generierung von Draft-Tokens in einem einzigen Vorwärtsdurchlauf und die Konditionierung des Draft-Modells auf Kontextmerkmale, die aus dem Zielmodell extrahiert werden, ermöglicht DFlash ein effizientes Drafting mit hochwertigen Ausgaben und höheren Akzeptanzraten. Experimente zeigen, dass DFlash über 6x verlustfreie Beschleunigung über eine Reihe von Modellen und Aufgaben hinweg erreicht und dabei bis zu 2,5x höhere Beschleunigung als die state-of-the-art spekulative Decodierungsmethode EAGLE-3 liefert.
English
Autoregressive large language models (LLMs) deliver strong performance but require inherently sequential decoding, leading to high inference latency and poor GPU utilization. Speculative decoding mitigates this bottleneck by using a fast draft model whose outputs are verified in parallel by the target LLM; however, existing methods still rely on autoregressive drafting, which remains sequential and limits practical speedups. Diffusion LLMs offer a promising alternative by enabling parallel generation, but current diffusion models typically underperform compared with autoregressive models. In this paper, we introduce DFlash, a speculative decoding framework that employs a lightweight block diffusion model for parallel drafting. By generating draft tokens in a single forward pass and conditioning the draft model on context features extracted from the target model, DFlash enables efficient drafting with high-quality outputs and higher acceptance rates. Experiments show that DFlash achieves over 6x lossless acceleration across a range of models and tasks, delivering up to 2.5x higher speedup than the state-of-the-art speculative decoding method EAGLE-3.