LightCache: Aceleração Eficiente em Memória e Sem Treinamento para Geração de Vídeo

LightCache: Memory-Efficient, Training-Free Acceleration for Video Generation

October 6, 2025

Autores: Yang Xiao, Gen Li, Kaiyuan Deng, Yushu Wu, Zheng Zhan, Yanzhi Wang, Xiaolong Ma, Bo Hui

cs.AI

Resumo

A aceleração sem treinamento emergiu como uma área de pesquisa avançada na geração de vídeos baseada em modelos de difusão. A redundância dos latentes na inferência dos modelos de difusão fornece um ponto de entrada natural para a aceleração. Neste artigo, decompomos o processo de inferência nas etapas de codificação, remoção de ruído e decodificação, e observamos que os métodos de aceleração baseados em cache frequentemente resultam em aumentos substanciais de memória nas duas últimas etapas. Para resolver esse problema, analisamos as características da inferência em diferentes etapas e propomos estratégias específicas para cada etapa visando reduzir o consumo de memória: 1) Troca Assíncrona de Cache. 2) Divisão de Características. 3) Fatiamento de Latentes para Decodificação. Ao mesmo tempo, garantimos que a sobrecarga de tempo introduzida por essas três estratégias permaneça menor do que os ganhos de aceleração obtidos. Em comparação com a linha de base, nossa abordagem alcança uma velocidade de inferência mais rápida e um uso de memória menor, mantendo a degradação da qualidade dentro de um intervalo aceitável. O código está disponível em https://github.com/NKUShaw/LightCache.

English

Training-free acceleration has emerged as an advanced research area in video generation based on diffusion models. The redundancy of latents in diffusion model inference provides a natural entry point for acceleration. In this paper, we decompose the inference process into the encoding, denoising, and decoding stages, and observe that cache-based acceleration methods often lead to substantial memory surges in the latter two stages. To address this problem, we analyze the characteristics of inference across different stages and propose stage-specific strategies for reducing memory consumption: 1) Asynchronous Cache Swapping. 2) Feature chunk. 3) Slicing latents to decode. At the same time, we ensure that the time overhead introduced by these three strategies remains lower than the acceleration gains themselves. Compared with the baseline, our approach achieves faster inference speed and lower memory usage, while maintaining quality degradation within an acceptable range. The Code is available at https://github.com/NKUShaw/LightCache .