ConsistI2V : Amélioration de la cohérence visuelle pour la génération d'images vers vidéo
ConsistI2V: Enhancing Visual Consistency for Image-to-Video Generation
February 6, 2024
Auteurs: Weiming Ren, Harry Yang, Ge Zhang, Cong Wei, Xinrun Du, Stephen Huang, Wenhu Chen
cs.AI
Résumé
La génération d'image-à-vidéo (I2V) vise à utiliser l'image initiale (ainsi qu'une invite textuelle) pour créer une séquence vidéo. Un défi majeur dans la génération I2V est de maintenir une cohérence visuelle tout au long de la vidéo : les méthodes existantes peinent souvent à préserver l'intégrité du sujet, de l'arrière-plan et du style de la première image, ainsi qu'à assurer une progression fluide et logique dans la narration vidéo. Pour atténuer ces problèmes, nous proposons ConsistI2V, une méthode basée sur la diffusion pour améliorer la cohérence visuelle dans la génération I2V. Plus précisément, nous introduisons (1) une attention spatiotemporelle sur la première image pour maintenir une cohérence spatiale et de mouvement, et (2) une initialisation du bruit à partir de la bande de basse fréquence de la première image pour renforcer la cohérence de la mise en page. Ces deux approches permettent à ConsistI2V de générer des vidéos hautement cohérentes. Nous étendons également les approches proposées pour montrer leur potentiel à améliorer la cohérence dans la génération de vidéos longues auto-régressives et le contrôle des mouvements de caméra. Pour vérifier l'efficacité de notre méthode, nous proposons I2V-Bench, un benchmark d'évaluation complet pour la génération I2V. Nos résultats d'évaluation automatique et humaine démontrent la supériorité de ConsistI2V par rapport aux méthodes existantes.
English
Image-to-video (I2V) generation aims to use the initial frame (alongside a
text prompt) to create a video sequence. A grand challenge in I2V generation is
to maintain visual consistency throughout the video: existing methods often
struggle to preserve the integrity of the subject, background, and style from
the first frame, as well as ensure a fluid and logical progression within the
video narrative. To mitigate these issues, we propose ConsistI2V, a
diffusion-based method to enhance visual consistency for I2V generation.
Specifically, we introduce (1) spatiotemporal attention over the first frame to
maintain spatial and motion consistency, (2) noise initialization from the
low-frequency band of the first frame to enhance layout consistency. These two
approaches enable ConsistI2V to generate highly consistent videos. We also
extend the proposed approaches to show their potential to improve consistency
in auto-regressive long video generation and camera motion control. To verify
the effectiveness of our method, we propose I2V-Bench, a comprehensive
evaluation benchmark for I2V generation. Our automatic and human evaluation
results demonstrate the superiority of ConsistI2V over existing methods.