Sparse-dLLM: Versnelling van Diffusion LLM's met Dynamische Cache-verwijdering

Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction

August 4, 2025

Auteurs: Yuerong Song, Xiaoran Liu, Ruixiao Li, Zhigeng Liu, Zengfeng Huang, Qipeng Guo, Ziwei He, Xipeng Qiu

cs.AI

Samenvatting

Diffusion Large Language Models (dLLMs) maken doorbraken mogelijk in redeneren en parallel decoderen, maar lijden onder een verbiedende kwadratische rekencomplexiteit en geheugenoverhead tijdens inferentie. Huidige cachingtechnieken versnellen het decoderen door volledige laagstatussen op te slaan, maar leggen een aanzienlijk geheugengebruik op dat langetermijntoepassingen beperkt. Onze analyse van aandachtspatronen in dLLMs onthult aanhoudende sparsiteit tussen lagen, waarbij cruciale tokens prominent blijven over decoderingstappen en tokens met lage relevantie onbelangrijk blijven, wat selectieve cacheverwijdering motiveert. Wij stellen Sparse-dLLM voor, het eerste trainingsvrije framework dat dynamische cacheverwijdering integreert met sparse aandacht via vertraagde bidirectionele sparse caching. Door gebruik te maken van de stabiliteit van tokensalientie over stappen, behoudt het kritieke tokens en verwijdert het dynamisch onbelangrijke prefix-/suffix-vermeldingen met behulp van een aandacht-gestuurde strategie. Uitgebreide experimenten op de LLaDA- en Dream-series tonen aan dat Sparse-dLLM tot 10 keer hogere doorvoer bereikt dan standaard dLLMs, met vergelijkbare prestaties en vergelijkbare piekgeheugenkosten, en overtreft eerdere methoden in efficiëntie en effectiviteit.

English

Diffusion Large Language Models (dLLMs) enable breakthroughs in reasoning and parallel decoding but suffer from prohibitive quadratic computational complexity and memory overhead during inference. Current caching techniques accelerate decoding by storing full-layer states, yet impose substantial memory usage that limit long-context applications. Our analysis of attention patterns in dLLMs reveals persistent cross-layer sparsity, with pivotal tokens remaining salient across decoding steps and low-relevance tokens staying unimportant, motivating selective cache eviction. We propose Sparse-dLLM, the first training-free framework integrating dynamic cache eviction with sparse attention via delayed bidirectional sparse caching. By leveraging the stability of token saliency over steps, it retains critical tokens and dynamically evicts unimportant prefix/suffix entries using an attention-guided strategy. Extensive experiments on LLaDA and Dream series demonstrate Sparse-dLLM achieves up to 10times higher throughput than vanilla dLLMs, with comparable performance and similar peak memory costs, outperforming previous methods in efficiency and effectiveness.