d^2Cache: Aceleración de LLMs basados en difusión mediante almacenamiento en caché dual adaptativo

d^2Cache: Accelerating Diffusion-Based LLMs via Dual Adaptive Caching

September 27, 2025

Autores: Yuchu Jiang, Yue Cai, Xiangzhong Luo, Jiale Fu, Jiarui Wang, Chonghan Liu, Xu Yang

cs.AI

Resumen

Los modelos de lenguaje basados en difusión (dLLMs, por sus siglas en inglés), a pesar de su rendimiento prometedor, aún presentan una eficiencia de inferencia inferior. Esto se debe a que los dLLMs dependen de atención bidireccional y no pueden beneficiarse directamente de la caché estándar de clave-valor (KV) como lo hacen los modelos autoregresivos (ARMs). Para abordar este problema, presentamos Dual aDaptive Cache (d^2Cache), un marco de caché KV aproximado sin necesidad de entrenamiento para acelerar la inferencia de dLLMs. d^2Cache cuenta con una estrategia de selección de dos etapas de grano fino para identificar tokens y actualizar de manera adaptativa sus estados KV en cada paso de decodificación, mientras almacena en caché los estados KV de los tokens restantes para su reutilización. Además, d^2Cache ofrece naturalmente una alternativa de decodificación más confiable, que permite una generación cuasi de izquierda a derecha y mitiga la confianza prematura en tokens al final de la secuencia. Los resultados experimentales extensivos en dos dLLMs representativos (\ie, LLaDA y Dream) demuestran que d^2Cache no solo logra aceleraciones sustanciales en la inferencia, sino que también produce mejoras consistentes en la calidad de la generación. El código está disponible en https://github.com/Kamichanw/d2Cache.

English

Diffusion-based large language models (dLLMs), despite their promising performance, still suffer from inferior inference efficiency. This is because dLLMs rely on bidirectional attention and cannot directly benefit from the standard key-value (KV) cache as autoregressive models (ARMs) do. To tackle this issue, we introduce Dual aDaptive Cache (d^2Cache), which is a training-free approximate KV cache framework for accelerating dLLM inference. d^2Cache features a two-stage fine-grained selection strategy to identify tokens and adaptively update their KV states at each decoding step, while caching the KV states of the remaining tokens for reuse. Furthermore, d^2Cache naturally offers a more reliable decoding alternative, which can enable quasi left-to-right generation and mitigate premature overconfidence in tokens at the end of the sequence. Extensive experimental results on two representative dLLMs (\ie, LLaDA and Dream) demonstrate that d^2Cache not only achieves substantial inference speedups, but also yields consistent improvements in generation quality. The code is available at https://github.com/Kamichanw/d2Cache.