ConsistI2V: 画像から動画生成における視覚的一貫性の向上

要旨

画像から動画（I2V）生成は、初期フレーム（およびテキストプロンプト）を使用して動画シーケンスを作成することを目的としています。I2V生成における大きな課題は、動画全体を通じて視覚的一貫性を維持することです。既存の手法では、最初のフレームから被写体、背景、スタイルの整合性を保つことや、動画の物語内で流動的かつ論理的な進行を確保することがしばしば困難です。これらの問題を緩和するため、我々はConsistI2Vを提案します。これは、視覚的一貫性を強化するための拡散ベースの手法です。具体的には、(1) 最初のフレームに対する時空間的注意機構を導入して空間的および運動的一貫性を維持し、(2) 最初のフレームの低周波帯からノイズを初期化してレイアウトの一貫性を向上させます。これら2つのアプローチにより、ConsistI2Vは高度に一貫性のある動画を生成することが可能です。また、提案手法を拡張して、自己回帰的な長尺動画生成やカメラモーション制御における一貫性向上の可能性を示します。我々の手法の有効性を検証するため、I2V生成のための包括的な評価ベンチマークであるI2V-Benchを提案します。自動評価および人間による評価結果は、ConsistI2Vが既存の手法を上回る優位性を示しています。

English

Image-to-video (I2V) generation aims to use the initial frame (alongside a text prompt) to create a video sequence. A grand challenge in I2V generation is to maintain visual consistency throughout the video: existing methods often struggle to preserve the integrity of the subject, background, and style from the first frame, as well as ensure a fluid and logical progression within the video narrative. To mitigate these issues, we propose ConsistI2V, a diffusion-based method to enhance visual consistency for I2V generation. Specifically, we introduce (1) spatiotemporal attention over the first frame to maintain spatial and motion consistency, (2) noise initialization from the low-frequency band of the first frame to enhance layout consistency. These two approaches enable ConsistI2V to generate highly consistent videos. We also extend the proposed approaches to show their potential to improve consistency in auto-regressive long video generation and camera motion control. To verify the effectiveness of our method, we propose I2V-Bench, a comprehensive evaluation benchmark for I2V generation. Our automatic and human evaluation results demonstrate the superiority of ConsistI2V over existing methods.

ConsistI2V: 画像から動画生成における視覚的一貫性の向上

ConsistI2V: Enhancing Visual Consistency for Image-to-Video Generation

要旨

Support