LightCache : Accélération sans apprentissage et économe en mémoire pour la génération vidéo

LightCache: Memory-Efficient, Training-Free Acceleration for Video Generation

October 6, 2025

papers.authors: Yang Xiao, Gen Li, Kaiyuan Deng, Yushu Wu, Zheng Zhan, Yanzhi Wang, Xiaolong Ma, Bo Hui

cs.AI

papers.abstract

L'accélération sans apprentissage est apparue comme un domaine de recherche avancé dans la génération de vidéos basée sur les modèles de diffusion. La redondance des latents dans l'inférence des modèles de diffusion offre un point d'entrée naturel pour l'accélération. Dans cet article, nous décomposons le processus d'inférence en étapes d'encodage, de débruitage et de décodage, et observons que les méthodes d'accélération basées sur le cache entraînent souvent des augmentations substantielles de mémoire dans les deux dernières étapes. Pour résoudre ce problème, nous analysons les caractéristiques de l'inférence à travers les différentes étapes et proposons des stratégies spécifiques à chaque étape pour réduire la consommation de mémoire : 1) Échange asynchrone du cache. 2) Découpage des caractéristiques. 3) Découpage des latents pour le décodage. Parallèlement, nous veillons à ce que le surcoût temporel introduit par ces trois stratégies reste inférieur aux gains d'accélération eux-mêmes. Par rapport à la référence, notre approche permet une inférence plus rapide et une utilisation de la mémoire réduite, tout en maintenant la dégradation de la qualité dans une plage acceptable. Le code est disponible à l'adresse suivante : https://github.com/NKUShaw/LightCache.

English

Training-free acceleration has emerged as an advanced research area in video generation based on diffusion models. The redundancy of latents in diffusion model inference provides a natural entry point for acceleration. In this paper, we decompose the inference process into the encoding, denoising, and decoding stages, and observe that cache-based acceleration methods often lead to substantial memory surges in the latter two stages. To address this problem, we analyze the characteristics of inference across different stages and propose stage-specific strategies for reducing memory consumption: 1) Asynchronous Cache Swapping. 2) Feature chunk. 3) Slicing latents to decode. At the same time, we ensure that the time overhead introduced by these three strategies remains lower than the acceleration gains themselves. Compared with the baseline, our approach achieves faster inference speed and lower memory usage, while maintaining quality degradation within an acceptable range. The Code is available at https://github.com/NKUShaw/LightCache .