Sparse-dLLM: Ускорение диффузионных языковых моделей с динамическим вытеснением кэша

Аннотация

Диффузионные большие языковые модели (dLLMs) открывают новые горизонты в области логического вывода и параллельного декодирования, однако сталкиваются с неприемлемо высокой квадратичной вычислительной сложностью и значительными затратами памяти на этапе вывода. Современные методы кэширования ускоряют декодирование за счет хранения состояний всех слоев, но требуют существенных объемов памяти, что ограничивает их применение в задачах с длинным контекстом. Наш анализ паттернов внимания в dLLMs выявил устойчивую разреженность между слоями, при которой ключевые токены остаются значимыми на протяжении шагов декодирования, а малозначимые токены сохраняют низкую релевантность, что мотивирует избирательное удаление из кэша. Мы предлагаем Sparse-dLLM — первую не требующую обучения платформу, которая интегрирует динамическое удаление из кэша с разреженным вниманием через отложенное двунаправленное разреженное кэширование. Используя устойчивость значимости токенов на протяжении шагов, она сохраняет критически важные токены и динамически удаляет малозначимые префиксные и суффиксные записи с помощью стратегии, управляемой вниманием. Масштабные эксперименты на моделях серий LLaDA и Dream демонстрируют, что Sparse-dLLM достигает до 10-кратного увеличения пропускной способности по сравнению с базовыми dLLMs при сопоставимой производительности и аналогичных пиковых затратах памяти, превосходя предыдущие методы по эффективности и результативности.

English

Diffusion Large Language Models (dLLMs) enable breakthroughs in reasoning and parallel decoding but suffer from prohibitive quadratic computational complexity and memory overhead during inference. Current caching techniques accelerate decoding by storing full-layer states, yet impose substantial memory usage that limit long-context applications. Our analysis of attention patterns in dLLMs reveals persistent cross-layer sparsity, with pivotal tokens remaining salient across decoding steps and low-relevance tokens staying unimportant, motivating selective cache eviction. We propose Sparse-dLLM, the first training-free framework integrating dynamic cache eviction with sparse attention via delayed bidirectional sparse caching. By leveraging the stability of token saliency over steps, it retains critical tokens and dynamically evicts unimportant prefix/suffix entries using an attention-guided strategy. Extensive experiments on LLaDA and Dream series demonstrate Sparse-dLLM achieves up to 10times higher throughput than vanilla dLLMs, with comparable performance and similar peak memory costs, outperforming previous methods in efficiency and effectiveness.

Sparse-dLLM: Ускорение диффузионных языковых моделей с динамическим вытеснением кэша

Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction

Аннотация

Support