Fast-dLLM: Trainingsfreie Beschleunigung von Diffusion LLM durch Aktivierung von KV-Cache und paralleler Dekodierung

Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding

May 28, 2025

Autoren: Chengyue Wu, Hao Zhang, Shuchen Xue, Zhijian Liu, Shizhe Diao, Ligeng Zhu, Ping Luo, Song Han, Enze Xie

cs.AI

Zusammenfassung

Diffusion-basierte große Sprachmodelle (Diffusion LLMs) haben vielversprechende Ansätze für nicht-autoregressive Textgenerierung mit parallelen Dekodierungsfähigkeiten gezeigt. Allerdings bleibt die praktische Inferenzgeschwindigkeit von Open-Source-Diffusion-LLMs oft hinter autoregressiven Modellen zurück, was auf das Fehlen eines Key-Value (KV)-Caches und Qualitätseinbußen bei der gleichzeitigen Dekodierung mehrerer Tokens zurückzuführen ist. Um diese Lücke zu schließen, führen wir einen neuartigen blockweisen approximativen KV-Cache-Mechanismus ein, der speziell für bidirektionale Diffusionsmodelle entwickelt wurde und eine Wiederverwendung des Caches mit vernachlässigbarem Leistungsabfall ermöglicht. Zudem identifizieren wir die Ursache für die Qualitätsminderung bei der parallelen Dekodierung in der Störung von Token-Abhängigkeiten unter der Annahme bedingter Unabhängigkeit. Um dies zu beheben, schlagen wir eine konfidenzbasierte parallele Dekodierungsstrategie vor, die selektiv Tokens dekodiert, die einen Konfidenzschwellenwert überschreiten, wodurch Abhängigkeitsverletzungen gemildert und die Generierungsqualität erhalten bleibt. Experimentelle Ergebnisse an LLaDA- und Dream-Modellen über mehrere LLM-Benchmarks zeigen eine bis zu 27,6-fache Steigerung des Durchsatzes bei minimalem Genauigkeitsverlust, wodurch die Leistungslücke zu autoregressiven Modellen geschlossen und der Weg für den praktischen Einsatz von Diffusion-LLMs geebnet wird.

English

Diffusion-based large language models (Diffusion LLMs) have shown promise for non-autoregressive text generation with parallel decoding capabilities. However, the practical inference speed of open-sourced Diffusion LLMs often lags behind autoregressive models due to the lack of Key-Value (KV) Cache and quality degradation when decoding multiple tokens simultaneously. To bridge this gap, we introduce a novel block-wise approximate KV Cache mechanism tailored for bidirectional diffusion models, enabling cache reuse with negligible performance drop. Additionally, we identify the root cause of generation quality degradation in parallel decoding as the disruption of token dependencies under the conditional independence assumption. To address this, we propose a confidence-aware parallel decoding strategy that selectively decodes tokens exceeding a confidence threshold, mitigating dependency violations and maintaining generation quality. Experimental results on LLaDA and Dream models across multiple LLM benchmarks demonstrate up to 27.6times throughput improvement with minimal accuracy loss, closing the performance gap with autoregressive models and paving the way for practical deployment of Diffusion LLMs.