ConsistI2V: Miglioramento della Coerenza Visiva per la Generazione da Immagine a Video
ConsistI2V: Enhancing Visual Consistency for Image-to-Video Generation
February 6, 2024
Autori: Weiming Ren, Harry Yang, Ge Zhang, Cong Wei, Xinrun Du, Stephen Huang, Wenhu Chen
cs.AI
Abstract
La generazione da immagine a video (Image-to-Video, I2V) mira a utilizzare il frame iniziale (insieme a un prompt testuale) per creare una sequenza video. Una delle principali sfide nella generazione I2V è mantenere la coerenza visiva lungo l'intero video: i metodi esistenti spesso faticano a preservare l'integrità del soggetto, dello sfondo e dello stile del primo frame, oltre a garantire una progressione fluida e logica nella narrazione video. Per mitigare questi problemi, proponiamo ConsistI2V, un metodo basato su diffusione per migliorare la coerenza visiva nella generazione I2V. Nello specifico, introduciamo (1) un'attenzione spazio-temporale sul primo frame per mantenere la coerenza spaziale e del movimento, e (2) un'inizializzazione del rumore dalla banda a bassa frequenza del primo frame per migliorare la coerenza del layout. Questi due approcci consentono a ConsistI2V di generare video altamente coerenti. Estendiamo inoltre i metodi proposti per dimostrare il loro potenziale nel migliorare la coerenza nella generazione autoregressiva di video lunghi e nel controllo del movimento della telecamera. Per verificare l'efficacia del nostro metodo, proponiamo I2V-Bench, un benchmark di valutazione completo per la generazione I2V. I risultati delle nostre valutazioni automatiche e umane dimostrano la superiorità di ConsistI2V rispetto ai metodi esistenti.
English
Image-to-video (I2V) generation aims to use the initial frame (alongside a
text prompt) to create a video sequence. A grand challenge in I2V generation is
to maintain visual consistency throughout the video: existing methods often
struggle to preserve the integrity of the subject, background, and style from
the first frame, as well as ensure a fluid and logical progression within the
video narrative. To mitigate these issues, we propose ConsistI2V, a
diffusion-based method to enhance visual consistency for I2V generation.
Specifically, we introduce (1) spatiotemporal attention over the first frame to
maintain spatial and motion consistency, (2) noise initialization from the
low-frequency band of the first frame to enhance layout consistency. These two
approaches enable ConsistI2V to generate highly consistent videos. We also
extend the proposed approaches to show their potential to improve consistency
in auto-regressive long video generation and camera motion control. To verify
the effectiveness of our method, we propose I2V-Bench, a comprehensive
evaluation benchmark for I2V generation. Our automatic and human evaluation
results demonstrate the superiority of ConsistI2V over existing methods.