Reutilización de Eliminación de Ruido: Explotando la Coherencia de Movimiento entre Fotogramas para una Generación Latente Eficiente de Videos

Denoising Reuse: Exploiting Inter-frame Motion Consistency for Efficient Video Latent Generation

September 19, 2024

Autores: Chenyu Wang, Shuo Yan, Yixuan Chen, Yujiang Wang, Mingzhi Dong, Xiaochen Yang, Dongsheng Li, Robert P. Dick, Qin Lv, Fan Yang, Tun Lu, Ning Gu, Li Shang

cs.AI

Resumen

La generación de video utilizando modelos basados en difusión se ve limitada por altos costos computacionales debido al proceso de difusión iterativa por cuadros. Este trabajo presenta una red llamada Difusión Reutilizada de Movimiento (Dr. Mo) para acelerar la generación de video latente. Nuestro descubrimiento clave es que los ruidos de grano grueso en etapas anteriores de eliminación de ruido han demostrado una alta consistencia de movimiento entre cuadros de video consecutivos. Siguiendo esta observación, Dr. Mo propaga esos ruidos de grano grueso al cuadro siguiente mediante la incorporación de movimientos intercuadro cuidadosamente diseñados y livianos, eliminando la redundancia computacional masiva en modelos de difusión por cuadros. Los ruidos más sensibles y de grano fino aún se adquieren a través de etapas posteriores de eliminación de ruido, lo cual puede ser esencial para mantener la calidad visual. Por lo tanto, decidir en qué etapas intermedias se debe cambiar de propagaciones basadas en movimiento a eliminación de ruido puede ser un problema crucial y un compromiso clave entre eficiencia y calidad. Dr. Mo emplea una meta-red llamada Selector de Etapas de Eliminación de Ruido (DSS) para determinar dinámicamente las etapas intermedias deseadas en cuadros de video. Evaluaciones extensas en tareas de generación y edición de video han demostrado que Dr. Mo puede acelerar sustancialmente los modelos de difusión en tareas de video con mejoras en la calidad visual.

English

Video generation using diffusion-based models is constrained by high computational costs due to the frame-wise iterative diffusion process. This work presents a Diffusion Reuse MOtion (Dr. Mo) network to accelerate latent video generation. Our key discovery is that coarse-grained noises in earlier denoising steps have demonstrated high motion consistency across consecutive video frames. Following this observation, Dr. Mo propagates those coarse-grained noises onto the next frame by incorporating carefully designed, lightweight inter-frame motions, eliminating massive computational redundancy in frame-wise diffusion models. The more sensitive and fine-grained noises are still acquired via later denoising steps, which can be essential to retain visual qualities. As such, deciding which intermediate steps should switch from motion-based propagations to denoising can be a crucial problem and a key tradeoff between efficiency and quality. Dr. Mo employs a meta-network named Denoising Step Selector (DSS) to dynamically determine desirable intermediate steps across video frames. Extensive evaluations on video generation and editing tasks have shown that Dr. Mo can substantially accelerate diffusion models in video tasks with improved visual qualities.