d^2Cache: Ускорение диффузионных языковых моделей с помощью двойного адаптивного кэширования

d^2Cache: Accelerating Diffusion-Based LLMs via Dual Adaptive Caching

September 27, 2025

Авторы: Yuchu Jiang, Yue Cai, Xiangzhong Luo, Jiale Fu, Jiarui Wang, Chonghan Liu, Xu Yang

cs.AI

Аннотация

Диффузионные модели больших языков (dLLM), несмотря на их многообещающую производительность, всё ещё страдают от низкой эффективности вывода. Это связано с тем, что dLLM полагаются на двунаправленное внимание и не могут напрямую использовать стандартный кэш ключей и значений (KV), как это делают авторегрессивные модели (ARM). Для решения этой проблемы мы представляем Dual Adaptive Cache (d²Cache) — это не требующий обучения приближённый фреймворк кэша KV для ускорения вывода dLLM. d²Cache использует двухэтапную стратегию тонкого отбора для идентификации токенов и адаптивного обновления их состояний KV на каждом шаге декодирования, одновременно кэшируя состояния KV оставшихся токенов для повторного использования. Кроме того, d²Cache естественным образом предлагает более надёжную альтернативу декодирования, которая может обеспечить квази-последовательное генерацию слева направо и смягчить преждевременную избыточную уверенность в токенах в конце последовательности. Обширные экспериментальные результаты на двух репрезентативных dLLM (а именно, LLaDA и Dream) демонстрируют, что d²Cache не только достигает значительного ускорения вывода, но и обеспечивает последовательное улучшение качества генерации. Код доступен по адресу https://github.com/Kamichanw/d2Cache.

English

Diffusion-based large language models (dLLMs), despite their promising performance, still suffer from inferior inference efficiency. This is because dLLMs rely on bidirectional attention and cannot directly benefit from the standard key-value (KV) cache as autoregressive models (ARMs) do. To tackle this issue, we introduce Dual aDaptive Cache (d^2Cache), which is a training-free approximate KV cache framework for accelerating dLLM inference. d^2Cache features a two-stage fine-grained selection strategy to identify tokens and adaptively update their KV states at each decoding step, while caching the KV states of the remaining tokens for reuse. Furthermore, d^2Cache naturally offers a more reliable decoding alternative, which can enable quasi left-to-right generation and mitigate premature overconfidence in tokens at the end of the sequence. Extensive experimental results on two representative dLLMs (\ie, LLaDA and Dream) demonstrate that d^2Cache not only achieves substantial inference speedups, but also yields consistent improvements in generation quality. The code is available at https://github.com/Kamichanw/d2Cache.