Fast-dLLM: Бесплатное ускорение диффузионных языковых моделей за счет активации кэша ключей и значений и параллельного декодирования

Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding

May 28, 2025

Авторы: Chengyue Wu, Hao Zhang, Shuchen Xue, Zhijian Liu, Shizhe Diao, Ligeng Zhu, Ping Luo, Song Han, Enze Xie

cs.AI

Аннотация

Диффузионные языковые модели большого размера (Diffusion LLMs) продемонстрировали потенциал для неавторегрессивной генерации текста с возможностью параллельного декодирования. Однако практическая скорость вывода открытых Diffusion LLMs часто отстает от авторегрессивных моделей из-за отсутствия кэша ключей и значений (Key-Value Cache, KV Cache) и ухудшения качества при одновременном декодировании нескольких токенов. Чтобы устранить этот разрыв, мы представляем новый механизм блочного приближенного KV Cache, адаптированный для двунаправленных диффузионных моделей, который позволяет повторно использовать кэш с незначительным снижением производительности. Кроме того, мы выявляем коренную причину ухудшения качества генерации при параллельном декодировании как нарушение зависимостей токенов в условиях предположения об условной независимости. Для решения этой проблемы мы предлагаем стратегию уверенного параллельного декодирования, которая выборочно декодирует токены, превышающие порог уверенности, смягчая нарушения зависимостей и сохраняя качество генерации. Экспериментальные результаты на моделях LLaDA и Dream в рамках нескольких бенчмарков для LLM демонстрируют улучшение пропускной способности до 27,6 раз с минимальной потерей точности, сокращая разрыв в производительности с авторегрессивными моделями и открывая путь для практического внедрения Diffusion LLMs.

English

Diffusion-based large language models (Diffusion LLMs) have shown promise for non-autoregressive text generation with parallel decoding capabilities. However, the practical inference speed of open-sourced Diffusion LLMs often lags behind autoregressive models due to the lack of Key-Value (KV) Cache and quality degradation when decoding multiple tokens simultaneously. To bridge this gap, we introduce a novel block-wise approximate KV Cache mechanism tailored for bidirectional diffusion models, enabling cache reuse with negligible performance drop. Additionally, we identify the root cause of generation quality degradation in parallel decoding as the disruption of token dependencies under the conditional independence assumption. To address this, we propose a confidence-aware parallel decoding strategy that selectively decodes tokens exceeding a confidence threshold, mitigating dependency violations and maintaining generation quality. Experimental results on LLaDA and Dream models across multiple LLM benchmarks demonstrate up to 27.6times throughput improvement with minimal accuracy loss, closing the performance gap with autoregressive models and paving the way for practical deployment of Diffusion LLMs.