ConsistI2V: Verbesserung der visuellen Konsistenz bei der Bild-zu-Video-Generierung

ConsistI2V: Enhancing Visual Consistency for Image-to-Video Generation

February 6, 2024

Autoren: Weiming Ren, Harry Yang, Ge Zhang, Cong Wei, Xinrun Du, Stephen Huang, Wenhu Chen

cs.AI

Zusammenfassung

Die Bild-zu-Video-Generierung (Image-to-Video, I2V) zielt darauf ab, mithilfe des Anfangsbildes (sowie eines Textprompts) eine Videosequenz zu erstellen. Eine große Herausforderung bei der I2V-Generierung besteht darin, die visuelle Konsistenz im gesamten Video aufrechtzuerhalten: bestehende Methoden haben oft Schwierigkeiten, die Integrität des Subjekts, des Hintergrunds und des Stils vom ersten Bild zu bewahren sowie einen flüssigen und logischen Fortgang innerhalb der Videonarative zu gewährleisten. Um diese Probleme zu mildern, schlagen wir ConsistI2V vor, eine diffusionsbasierte Methode zur Verbesserung der visuellen Konsistenz bei der I2V-Generierung. Insbesondere führen wir (1) eine raumzeitliche Aufmerksamkeit über das erste Bild ein, um die räumliche und Bewegungs-Konsistenz zu erhalten, und (2) eine Rauschinitialisierung aus dem niederfrequenten Band des ersten Bildes, um die Layout-Konsistenz zu verbessern. Diese beiden Ansätze ermöglichen es ConsistI2V, hochkonsistente Videos zu generieren. Wir erweitern die vorgeschlagenen Ansätze, um ihr Potenzial zur Verbesserung der Konsistenz bei der autoregressiven Langvideo-Generierung und der Kamerabewegungssteuerung aufzuzeigen. Um die Wirksamkeit unserer Methode zu überprüfen, schlagen wir I2V-Bench vor, einen umfassenden Bewertungsmaßstab für die I2V-Generierung. Unsere automatischen und menschlichen Bewertungsergebnisse demonstrieren die Überlegenheit von ConsistI2V gegenüber bestehenden Methoden.

English

Image-to-video (I2V) generation aims to use the initial frame (alongside a text prompt) to create a video sequence. A grand challenge in I2V generation is to maintain visual consistency throughout the video: existing methods often struggle to preserve the integrity of the subject, background, and style from the first frame, as well as ensure a fluid and logical progression within the video narrative. To mitigate these issues, we propose ConsistI2V, a diffusion-based method to enhance visual consistency for I2V generation. Specifically, we introduce (1) spatiotemporal attention over the first frame to maintain spatial and motion consistency, (2) noise initialization from the low-frequency band of the first frame to enhance layout consistency. These two approaches enable ConsistI2V to generate highly consistent videos. We also extend the proposed approaches to show their potential to improve consistency in auto-regressive long video generation and camera motion control. To verify the effectiveness of our method, we propose I2V-Bench, a comprehensive evaluation benchmark for I2V generation. Our automatic and human evaluation results demonstrate the superiority of ConsistI2V over existing methods.