Réutilisation du débruitage : Exploitation de la cohérence des mouvements inter-trames pour une génération latente efficace de vidéos

Denoising Reuse: Exploiting Inter-frame Motion Consistency for Efficient Video Latent Generation

September 19, 2024

Auteurs: Chenyu Wang, Shuo Yan, Yixuan Chen, Yujiang Wang, Mingzhi Dong, Xiaochen Yang, Dongsheng Li, Robert P. Dick, Qin Lv, Fan Yang, Tun Lu, Ning Gu, Li Shang

cs.AI

Résumé

La génération de vidéos à l'aide de modèles basés sur la diffusion est limitée par des coûts computationnels élevés en raison du processus de diffusion itérative image par image. Ce travail présente un réseau appelé Diffusion Réutilisable des Mouvements (Dr. Mo) pour accélérer la génération de vidéos latentes. Notre découverte clé est que les bruits grossiers dans les premières étapes de débruitage ont démontré une forte cohérence de mouvement à travers les images vidéo consécutives. Suite à cette observation, Dr. Mo propage ces bruits grossiers sur l'image suivante en incorporant des mouvements inter-images soigneusement conçus et légers, éliminant ainsi la redondance computationnelle massive des modèles de diffusion image par image. Les bruits plus sensibles et fins sont toujours acquis via des étapes de débruitage ultérieures, ce qui peut être essentiel pour conserver la qualité visuelle. Ainsi, décider quelles étapes intermédiaires devraient passer de propagations basées sur le mouvement à du débruitage peut être un problème crucial et un compromis clé entre l'efficacité et la qualité. Dr. Mo utilise un méta-réseau nommé Sélecteur d'Étapes de Débruitage (DSS) pour déterminer dynamiquement les étapes intermédiaires souhaitables à travers les images vidéo. Des évaluations approfondies sur la génération et l'édition de vidéos ont montré que Dr. Mo peut accélérer de manière significative les modèles de diffusion dans les tâches vidéo tout en améliorant la qualité visuelle.

English

Video generation using diffusion-based models is constrained by high computational costs due to the frame-wise iterative diffusion process. This work presents a Diffusion Reuse MOtion (Dr. Mo) network to accelerate latent video generation. Our key discovery is that coarse-grained noises in earlier denoising steps have demonstrated high motion consistency across consecutive video frames. Following this observation, Dr. Mo propagates those coarse-grained noises onto the next frame by incorporating carefully designed, lightweight inter-frame motions, eliminating massive computational redundancy in frame-wise diffusion models. The more sensitive and fine-grained noises are still acquired via later denoising steps, which can be essential to retain visual qualities. As such, deciding which intermediate steps should switch from motion-based propagations to denoising can be a crucial problem and a key tradeoff between efficiency and quality. Dr. Mo employs a meta-network named Denoising Step Selector (DSS) to dynamically determine desirable intermediate steps across video frames. Extensive evaluations on video generation and editing tasks have shown that Dr. Mo can substantially accelerate diffusion models in video tasks with improved visual qualities.