LightCache: Speicher-effiziente, trainingsfreie Beschleunigung für die Videogenerierung

LightCache: Memory-Efficient, Training-Free Acceleration for Video Generation

October 6, 2025

papers.authors: Yang Xiao, Gen Li, Kaiyuan Deng, Yushu Wu, Zheng Zhan, Yanzhi Wang, Xiaolong Ma, Bo Hui

cs.AI

papers.abstract

Trainingsfreie Beschleunigung hat sich als ein fortschrittliches Forschungsgebiet in der Videogenerierung auf Basis von Diffusionsmodellen etabliert. Die Redundanz von latenten Variablen bei der Inferenz von Diffusionsmodellen bietet einen natürlichen Ansatzpunkt für die Beschleunigung. In diesem Artikel zerlegen wir den Inferenzprozess in die Phasen der Kodierung, Entrauschung und Dekodierung und stellen fest, dass cache-basierte Beschleunigungsmethoden oft zu erheblichen Speicherspitzen in den letzten beiden Phasen führen. Um dieses Problem zu lösen, analysieren wir die Charakteristika der Inferenz in den verschiedenen Phasen und schlagen phasenspezifische Strategien zur Reduzierung des Speicherverbrauchs vor: 1) Asynchroner Cache-Austausch. 2) Feature-Chunking. 3) Aufteilung latenter Variablen für die Dekodierung. Gleichzeitig stellen wir sicher, dass der durch diese drei Strategien verursachte Zeitaufwand geringer bleibt als die erzielten Beschleunigungsgewinne. Im Vergleich zur Baseline erreicht unser Ansatz eine schnellere Inferenzgeschwindigkeit und einen geringeren Speicherverbrauch, während die Qualitätsminderung in einem akzeptablen Rahmen bleibt. Der Code ist verfügbar unter https://github.com/NKUShaw/LightCache.

English

Training-free acceleration has emerged as an advanced research area in video generation based on diffusion models. The redundancy of latents in diffusion model inference provides a natural entry point for acceleration. In this paper, we decompose the inference process into the encoding, denoising, and decoding stages, and observe that cache-based acceleration methods often lead to substantial memory surges in the latter two stages. To address this problem, we analyze the characteristics of inference across different stages and propose stage-specific strategies for reducing memory consumption: 1) Asynchronous Cache Swapping. 2) Feature chunk. 3) Slicing latents to decode. At the same time, we ensure that the time overhead introduced by these three strategies remains lower than the acceleration gains themselves. Compared with the baseline, our approach achieves faster inference speed and lower memory usage, while maintaining quality degradation within an acceptable range. The Code is available at https://github.com/NKUShaw/LightCache .