d^2Cache: Acelerando LLMs Baseados em Difusão via Cache Duplo Adaptativo

d^2Cache: Accelerating Diffusion-Based LLMs via Dual Adaptive Caching

September 27, 2025

Autores: Yuchu Jiang, Yue Cai, Xiangzhong Luo, Jiale Fu, Jiarui Wang, Chonghan Liu, Xu Yang

cs.AI

Resumo

Modelos de linguagem baseados em difusão (dLLMs), apesar de seu desempenho promissor, ainda sofrem com eficiência inferior durante a inferência. Isso ocorre porque os dLLMs dependem de atenção bidirecional e não podem se beneficiar diretamente do cache padrão de chave-valor (KV), como fazem os modelos autoregressivos (ARMs). Para resolver esse problema, introduzimos o Dual Adaptive Cache (d^2Cache), um framework de cache KV aproximado e livre de treinamento para acelerar a inferência de dLLMs. O d^2Cache apresenta uma estratégia de seleção de dois estágios e granularidade fina para identificar tokens e atualizar adaptativamente seus estados KV a cada etapa de decodificação, enquanto armazena em cache os estados KV dos tokens restantes para reutilização. Além disso, o d^2Cache oferece naturalmente uma alternativa de decodificação mais confiável, que pode permitir uma geração quase da esquerda para a direita e mitigar a confiança prematura em tokens no final da sequência. Resultados experimentais extensivos em dois dLLMs representativos (\ie, LLaDA e Dream) demonstram que o d^2Cache não apenas alcança acelerações substanciais na inferência, mas também produz melhorias consistentes na qualidade da geração. O código está disponível em https://github.com/Kamichanw/d2Cache.

English

Diffusion-based large language models (dLLMs), despite their promising performance, still suffer from inferior inference efficiency. This is because dLLMs rely on bidirectional attention and cannot directly benefit from the standard key-value (KV) cache as autoregressive models (ARMs) do. To tackle this issue, we introduce Dual aDaptive Cache (d^2Cache), which is a training-free approximate KV cache framework for accelerating dLLM inference. d^2Cache features a two-stage fine-grained selection strategy to identify tokens and adaptively update their KV states at each decoding step, while caching the KV states of the remaining tokens for reuse. Furthermore, d^2Cache naturally offers a more reliable decoding alternative, which can enable quasi left-to-right generation and mitigate premature overconfidence in tokens at the end of the sequence. Extensive experimental results on two representative dLLMs (\ie, LLaDA and Dream) demonstrate that d^2Cache not only achieves substantial inference speedups, but also yields consistent improvements in generation quality. The code is available at https://github.com/Kamichanw/d2Cache.