d^2Cache: Beschleunigung diffusionsbasierter LLMs durch duales adaptives Caching

d^2Cache: Accelerating Diffusion-Based LLMs via Dual Adaptive Caching

September 27, 2025

papers.authors: Yuchu Jiang, Yue Cai, Xiangzhong Luo, Jiale Fu, Jiarui Wang, Chonghan Liu, Xu Yang

cs.AI

papers.abstract

Diffusionsbasierte große Sprachmodelle (dLLMs) leiden trotz ihrer vielversprechenden Leistung weiterhin unter einer geringeren Inferenzeffizienz. Dies liegt daran, dass dLLMs auf bidirektionale Aufmerksamkeit angewiesen sind und nicht direkt von dem standardmäßigen Schlüssel-Wert-Cache (KV-Cache) profitieren können, wie es bei autoregressiven Modellen (ARMs) der Fall ist. Um dieses Problem zu lösen, führen wir den Dual Adaptive Cache (d^2Cache) ein, ein trainingsfreies, approximatives KV-Cache-Framework zur Beschleunigung der Inferenz von dLLMs. d^2Cache zeichnet sich durch eine zweistufige, fein abgestimmte Auswahlstrategie aus, um Token zu identifizieren und ihre KV-Zustände in jedem Dekodierungsschritt adaptiv zu aktualisieren, während die KV-Zustände der verbleibenden Token für die Wiederverwendung zwischengespeichert werden. Darüber hinaus bietet d^2Cache auf natürliche Weise eine zuverlässigere Dekodierungsalternative, die eine quasi links-nach-rechts-Generierung ermöglicht und eine vorzeitige Überzuversicht in Token am Ende der Sequenz mildert. Umfangreiche experimentelle Ergebnisse an zwei repräsentativen dLLMs (d.h. LLaDA und Dream) zeigen, dass d^2Cache nicht nur erhebliche Beschleunigungen in der Inferenz erreicht, sondern auch konsistente Verbesserungen in der Generierungsqualität erzielt. Der Code ist unter https://github.com/Kamichanw/d2Cache verfügbar.

English

Diffusion-based large language models (dLLMs), despite their promising performance, still suffer from inferior inference efficiency. This is because dLLMs rely on bidirectional attention and cannot directly benefit from the standard key-value (KV) cache as autoregressive models (ARMs) do. To tackle this issue, we introduce Dual aDaptive Cache (d^2Cache), which is a training-free approximate KV cache framework for accelerating dLLM inference. d^2Cache features a two-stage fine-grained selection strategy to identify tokens and adaptively update their KV states at each decoding step, while caching the KV states of the remaining tokens for reuse. Furthermore, d^2Cache naturally offers a more reliable decoding alternative, which can enable quasi left-to-right generation and mitigate premature overconfidence in tokens at the end of the sequence. Extensive experimental results on two representative dLLMs (\ie, LLaDA and Dream) demonstrate that d^2Cache not only achieves substantial inference speedups, but also yields consistent improvements in generation quality. The code is available at https://github.com/Kamichanw/d2Cache.