ConsistI2V: Verbetering van visuele consistentie voor beeld-naar-video-generatie

ConsistI2V: Enhancing Visual Consistency for Image-to-Video Generation

February 6, 2024

Auteurs: Weiming Ren, Harry Yang, Ge Zhang, Cong Wei, Xinrun Du, Stephen Huang, Wenhu Chen

cs.AI

Samenvatting

Image-to-video (I2V)-generatie heeft als doel om met behulp van het eerste frame (samen met een tekstprompt) een videosequentie te creëren. Een grote uitdaging bij I2V-generatie is het behouden van visuele consistentie gedurende de hele video: bestaande methoden hebben vaak moeite om de integriteit van het onderwerp, de achtergrond en de stijl van het eerste frame te behouden, evenals om een vloeiende en logische voortgang binnen het videonarratief te waarborgen. Om deze problemen te verlichten, stellen we ConsistI2V voor, een op diffusie gebaseerde methode om de visuele consistentie voor I2V-generatie te verbeteren. Specifiek introduceren we (1) spatiotemporele aandacht voor het eerste frame om ruimtelijke en bewegingsconsistentie te behouden, en (2) ruisinitialisatie vanuit het laagfrequente band van het eerste frame om lay-outconsistentie te verbeteren. Deze twee benaderingen stellen ConsistI2V in staat om zeer consistente video's te genereren. We breiden de voorgestelde benaderingen ook uit om hun potentieel te laten zien voor het verbeteren van consistentie bij autoregressieve lange videogeneratie en camerabewegingscontrole. Om de effectiviteit van onze methode te verifiëren, stellen we I2V-Bench voor, een uitgebreide evaluatiebenchmark voor I2V-generatie. Onze automatische en menselijke evaluatieresultaten tonen de superioriteit van ConsistI2V aan ten opzichte van bestaande methoden.

English

Image-to-video (I2V) generation aims to use the initial frame (alongside a text prompt) to create a video sequence. A grand challenge in I2V generation is to maintain visual consistency throughout the video: existing methods often struggle to preserve the integrity of the subject, background, and style from the first frame, as well as ensure a fluid and logical progression within the video narrative. To mitigate these issues, we propose ConsistI2V, a diffusion-based method to enhance visual consistency for I2V generation. Specifically, we introduce (1) spatiotemporal attention over the first frame to maintain spatial and motion consistency, (2) noise initialization from the low-frequency band of the first frame to enhance layout consistency. These two approaches enable ConsistI2V to generate highly consistent videos. We also extend the proposed approaches to show their potential to improve consistency in auto-regressive long video generation and camera motion control. To verify the effectiveness of our method, we propose I2V-Bench, a comprehensive evaluation benchmark for I2V generation. Our automatic and human evaluation results demonstrate the superiority of ConsistI2V over existing methods.