Sparse-dLLM: Acelerando LLMs de Difusão com Expurgo Dinâmico de Cache

Resumo

Modelos de Linguagem de Grande Escala baseados em Difusão (dLLMs) permitem avanços no raciocínio e decodificação paralela, mas sofrem com a complexidade computacional quadrática proibitiva e a sobrecarga de memória durante a inferência. As técnicas atuais de cache aceleram a decodificação armazenando estados completos das camadas, mas impõem um uso substancial de memória que limita aplicações de contexto longo. Nossa análise dos padrões de atenção em dLLMs revela esparsidade persistente entre camadas, com tokens pivôs mantendo-se salientes ao longo das etapas de decodificação e tokens de baixa relevância permanecendo sem importância, motivando a evicção seletiva do cache. Propomos o Sparse-dLLM, o primeiro framework sem necessidade de treinamento que integra evicção dinâmica de cache com atenção esparsa por meio de cache bidirecional esparso atrasado. Ao aproveitar a estabilidade da saliência dos tokens ao longo das etapas, ele retém tokens críticos e evita dinamicamente entradas de prefixo/sufixo irrelevantes usando uma estratégia guiada por atenção. Experimentos extensivos nas séries LLaDA e Dream demonstram que o Sparse-dLLM alcança até 10 vezes mais taxa de transferência do que dLLMs convencionais, com desempenho comparável e custos de memória máxima semelhantes, superando métodos anteriores em eficiência e eficácia.

English

Diffusion Large Language Models (dLLMs) enable breakthroughs in reasoning and parallel decoding but suffer from prohibitive quadratic computational complexity and memory overhead during inference. Current caching techniques accelerate decoding by storing full-layer states, yet impose substantial memory usage that limit long-context applications. Our analysis of attention patterns in dLLMs reveals persistent cross-layer sparsity, with pivotal tokens remaining salient across decoding steps and low-relevance tokens staying unimportant, motivating selective cache eviction. We propose Sparse-dLLM, the first training-free framework integrating dynamic cache eviction with sparse attention via delayed bidirectional sparse caching. By leveraging the stability of token saliency over steps, it retains critical tokens and dynamically evicts unimportant prefix/suffix entries using an attention-guided strategy. Extensive experiments on LLaDA and Dream series demonstrate Sparse-dLLM achieves up to 10times higher throughput than vanilla dLLMs, with comparable performance and similar peak memory costs, outperforming previous methods in efficiency and effectiveness.

Sparse-dLLM: Acelerando LLMs de Difusão com Expurgo Dinâmico de Cache

Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction

Resumo

Support