d^2Cache : Accélération des LLM basés sur la diffusion via un double cache adaptatif

d^2Cache: Accelerating Diffusion-Based LLMs via Dual Adaptive Caching

September 27, 2025

papers.authors: Yuchu Jiang, Yue Cai, Xiangzhong Luo, Jiale Fu, Jiarui Wang, Chonghan Liu, Xu Yang

cs.AI

papers.abstract

Les modèles de langage à grande échelle basés sur la diffusion (dLLMs), malgré leurs performances prometteuses, souffrent encore d'une inférence peu efficace. Cela s'explique par le fait que les dLLMs reposent sur une attention bidirectionnelle et ne peuvent pas bénéficier directement du cache standard clé-valeur (KV) comme le font les modèles autorégressifs (ARMs). Pour résoudre ce problème, nous introduisons le Dual aDaptive Cache (d²Cache), un cadre de cache KV approximatif sans entraînement visant à accélérer l'inférence des dLLMs. d²Cache intègre une stratégie de sélection fine en deux étapes pour identifier les tokens et mettre à jour de manière adaptative leurs états KV à chaque étape de décodage, tout en conservant en cache les états KV des tokens restants pour une réutilisation ultérieure. De plus, d²Cache propose naturellement une alternative de décodage plus fiable, permettant une génération quasi séquentielle de gauche à droite et atténuant la confiance excessive prématurée dans les tokens situés en fin de séquence. Les résultats expérimentaux approfondis sur deux dLLMs représentatifs (à savoir, LLaDA et Dream) démontrent que d²Cache non seulement permet des accélérations substantielles de l'inférence, mais améliore également de manière cohérente la qualité de la génération. Le code est disponible à l'adresse suivante : https://github.com/Kamichanw/d2Cache.

English

Diffusion-based large language models (dLLMs), despite their promising performance, still suffer from inferior inference efficiency. This is because dLLMs rely on bidirectional attention and cannot directly benefit from the standard key-value (KV) cache as autoregressive models (ARMs) do. To tackle this issue, we introduce Dual aDaptive Cache (d^2Cache), which is a training-free approximate KV cache framework for accelerating dLLM inference. d^2Cache features a two-stage fine-grained selection strategy to identify tokens and adaptively update their KV states at each decoding step, while caching the KV states of the remaining tokens for reuse. Furthermore, d^2Cache naturally offers a more reliable decoding alternative, which can enable quasi left-to-right generation and mitigate premature overconfidence in tokens at the end of the sequence. Extensive experimental results on two representative dLLMs (\ie, LLaDA and Dream) demonstrate that d^2Cache not only achieves substantial inference speedups, but also yields consistent improvements in generation quality. The code is available at https://github.com/Kamichanw/d2Cache.