Reutilização de Desnublização: Explorando a Consistência de Movimento Inter-frame para Geração Eficiente de Latentes de Vídeo

Denoising Reuse: Exploiting Inter-frame Motion Consistency for Efficient Video Latent Generation

September 19, 2024

Autores: Chenyu Wang, Shuo Yan, Yixuan Chen, Yujiang Wang, Mingzhi Dong, Xiaochen Yang, Dongsheng Li, Robert P. Dick, Qin Lv, Fan Yang, Tun Lu, Ning Gu, Li Shang

cs.AI

Resumo

A geração de vídeo usando modelos baseados em difusão é limitada pelos altos custos computacionais devido ao processo de difusão iterativa por quadro. Este trabalho apresenta uma rede chamada Diffusion Reuse MOtion (Dr. Mo) para acelerar a geração de vídeo latente. Nossa descoberta chave é que ruídos de granulação grosseira em etapas anteriores de denoising têm demonstrado alta consistência de movimento entre quadros de vídeo consecutivos. Seguindo essa observação, o Dr. Mo propaga esses ruídos de granulação grosseira para o próximo quadro incorporando movimentos interquadros cuidadosamente projetados e leves, eliminando a redundância computacional massiva em modelos de difusão por quadro. Os ruídos mais sensíveis e de granulação fina ainda são adquiridos por meio de etapas posteriores de denoising, que podem ser essenciais para manter as qualidades visuais. Assim, decidir em quais etapas intermediárias deve-se alternar entre propagações baseadas em movimento e denoising pode ser um problema crucial e um trade-off chave entre eficiência e qualidade. Dr. Mo emprega uma meta-rede chamada Seletor de Etapa de Denoising (DSS) para determinar dinamicamente as etapas intermediárias desejáveis em quadros de vídeo. Avaliações extensivas em tarefas de geração e edição de vídeo mostraram que Dr. Mo pode acelerar substancialmente modelos de difusão em tarefas de vídeo com qualidades visuais aprimoradas.

English

Video generation using diffusion-based models is constrained by high computational costs due to the frame-wise iterative diffusion process. This work presents a Diffusion Reuse MOtion (Dr. Mo) network to accelerate latent video generation. Our key discovery is that coarse-grained noises in earlier denoising steps have demonstrated high motion consistency across consecutive video frames. Following this observation, Dr. Mo propagates those coarse-grained noises onto the next frame by incorporating carefully designed, lightweight inter-frame motions, eliminating massive computational redundancy in frame-wise diffusion models. The more sensitive and fine-grained noises are still acquired via later denoising steps, which can be essential to retain visual qualities. As such, deciding which intermediate steps should switch from motion-based propagations to denoising can be a crucial problem and a key tradeoff between efficiency and quality. Dr. Mo employs a meta-network named Denoising Step Selector (DSS) to dynamically determine desirable intermediate steps across video frames. Extensive evaluations on video generation and editing tasks have shown that Dr. Mo can substantially accelerate diffusion models in video tasks with improved visual qualities.