LightCache: Geheugenefficiënte, trainingsvrije versnelling voor videogeneratie

LightCache: Memory-Efficient, Training-Free Acceleration for Video Generation

October 6, 2025

Auteurs: Yang Xiao, Gen Li, Kaiyuan Deng, Yushu Wu, Zheng Zhan, Yanzhi Wang, Xiaolong Ma, Bo Hui

cs.AI

Samenvatting

Trainingsvrije versnelling is naar voren gekomen als een geavanceerd onderzoeksgebied in videogeneratie op basis van diffusiemodellen. De redundantie van latente variabelen in de inferentie van diffusiemodellen biedt een natuurlijk aanknopingspunt voor versnelling. In dit artikel ontleden we het inferentieproces in de fasen van codering, ruisverwijdering en decodering, en merken we op dat cache-gebaseerde versnellingsmethoden vaak leiden tot aanzienlijke geheugenpieken in de laatste twee fasen. Om dit probleem aan te pakken, analyseren we de kenmerken van inferentie in verschillende fasen en stellen we fasenspecifieke strategieën voor om het geheugengebruik te verminderen: 1) Asynchrone Cache-swapping. 2) Feature-chunking. 3) Slicing van latente variabelen voor decodering. Tegelijkertijd zorgen we ervoor dat de tijdsbelasting die door deze drie strategieën wordt geïntroduceerd, lager blijft dan de versnellingswinsten zelf. Vergeleken met de baseline bereikt onze aanpak een snellere inferentiesnelheid en lager geheugengebruik, terwijl de kwaliteitsafname binnen een acceptabel bereik blijft. De code is beschikbaar op https://github.com/NKUShaw/LightCache.

English

Training-free acceleration has emerged as an advanced research area in video generation based on diffusion models. The redundancy of latents in diffusion model inference provides a natural entry point for acceleration. In this paper, we decompose the inference process into the encoding, denoising, and decoding stages, and observe that cache-based acceleration methods often lead to substantial memory surges in the latter two stages. To address this problem, we analyze the characteristics of inference across different stages and propose stage-specific strategies for reducing memory consumption: 1) Asynchronous Cache Swapping. 2) Feature chunk. 3) Slicing latents to decode. At the same time, we ensure that the time overhead introduced by these three strategies remains lower than the acceleration gains themselves. Compared with the baseline, our approach achieves faster inference speed and lower memory usage, while maintaining quality degradation within an acceptable range. The Code is available at https://github.com/NKUShaw/LightCache .