LightCache: Энергоэффективное, не требующее обучения ускорение генерации видео

LightCache: Memory-Efficient, Training-Free Acceleration for Video Generation

October 6, 2025

Авторы: Yang Xiao, Gen Li, Kaiyuan Deng, Yushu Wu, Zheng Zhan, Yanzhi Wang, Xiaolong Ma, Bo Hui

cs.AI

Аннотация

Бесплатформенное ускорение стало перспективной областью исследований в генерации видео на основе диффузионных моделей. Избыточность латентных переменных в процессе вывода диффузионных моделей предоставляет естественную точку для ускорения. В данной работе мы разбиваем процесс вывода на этапы кодирования, удаления шума и декодирования и отмечаем, что методы ускорения на основе кэширования часто приводят к значительному увеличению использования памяти на последних двух этапах. Для решения этой проблемы мы анализируем характеристики вывода на разных этапах и предлагаем стратегии, специфичные для каждого этапа, направленные на снижение потребления памяти: 1) Асинхронная замена кэша. 2) Разделение признаков на фрагменты. 3) Срезы латентных переменных для декодирования. При этом мы обеспечиваем, что временные затраты, вносимые этими тремя стратегиями, остаются ниже получаемого ускорения. По сравнению с базовым подходом, наш метод обеспечивает более высокую скорость вывода и меньшее использование памяти, сохраняя ухудшение качества в допустимых пределах. Код доступен по адресу https://github.com/NKUShaw/LightCache.

English

Training-free acceleration has emerged as an advanced research area in video generation based on diffusion models. The redundancy of latents in diffusion model inference provides a natural entry point for acceleration. In this paper, we decompose the inference process into the encoding, denoising, and decoding stages, and observe that cache-based acceleration methods often lead to substantial memory surges in the latter two stages. To address this problem, we analyze the characteristics of inference across different stages and propose stage-specific strategies for reducing memory consumption: 1) Asynchronous Cache Swapping. 2) Feature chunk. 3) Slicing latents to decode. At the same time, we ensure that the time overhead introduced by these three strategies remains lower than the acceleration gains themselves. Compared with the baseline, our approach achieves faster inference speed and lower memory usage, while maintaining quality degradation within an acceptable range. The Code is available at https://github.com/NKUShaw/LightCache .