ConsistI2V: Mejorando la Consistencia Visual en la Generación de Imagen a Video
ConsistI2V: Enhancing Visual Consistency for Image-to-Video Generation
February 6, 2024
Autores: Weiming Ren, Harry Yang, Ge Zhang, Cong Wei, Xinrun Du, Stephen Huang, Wenhu Chen
cs.AI
Resumen
La generación de imagen a video (I2V) tiene como objetivo utilizar el fotograma inicial (junto con un texto de entrada) para crear una secuencia de video. Un gran desafío en la generación I2V es mantener la consistencia visual a lo largo del video: los métodos existentes suelen tener dificultades para preservar la integridad del sujeto, el fondo y el estilo del primer fotograma, así como para garantizar una progresión fluida y lógica dentro de la narrativa del video. Para mitigar estos problemas, proponemos ConsistI2V, un método basado en difusión para mejorar la consistencia visual en la generación I2V. Específicamente, introducimos (1) atención espacio-temporal sobre el primer fotograma para mantener la consistencia espacial y de movimiento, y (2) inicialización del ruido a partir de la banda de baja frecuencia del primer fotograma para mejorar la consistencia del diseño. Estos dos enfoques permiten que ConsistI2V genere videos altamente consistentes. También extendemos los enfoques propuestos para mostrar su potencial para mejorar la consistencia en la generación autoregresiva de videos largos y el control de movimiento de cámara. Para verificar la efectividad de nuestro método, proponemos I2V-Bench, un punto de referencia de evaluación integral para la generación I2V. Nuestros resultados de evaluación automática y humana demuestran la superioridad de ConsistI2V sobre los métodos existentes.
English
Image-to-video (I2V) generation aims to use the initial frame (alongside a
text prompt) to create a video sequence. A grand challenge in I2V generation is
to maintain visual consistency throughout the video: existing methods often
struggle to preserve the integrity of the subject, background, and style from
the first frame, as well as ensure a fluid and logical progression within the
video narrative. To mitigate these issues, we propose ConsistI2V, a
diffusion-based method to enhance visual consistency for I2V generation.
Specifically, we introduce (1) spatiotemporal attention over the first frame to
maintain spatial and motion consistency, (2) noise initialization from the
low-frequency band of the first frame to enhance layout consistency. These two
approaches enable ConsistI2V to generate highly consistent videos. We also
extend the proposed approaches to show their potential to improve consistency
in auto-regressive long video generation and camera motion control. To verify
the effectiveness of our method, we propose I2V-Bench, a comprehensive
evaluation benchmark for I2V generation. Our automatic and human evaluation
results demonstrate the superiority of ConsistI2V over existing methods.