ConsistI2V: Повышение визуальной согласованности в генерации видео из изображений
ConsistI2V: Enhancing Visual Consistency for Image-to-Video Generation
February 6, 2024
Авторы: Weiming Ren, Harry Yang, Ge Zhang, Cong Wei, Xinrun Du, Stephen Huang, Wenhu Chen
cs.AI
Аннотация
Генерация видео из изображений (Image-to-Video, I2V) ставит своей целью создание видеопоследовательности на основе начального кадра (вместе с текстовым запросом). Основная сложность в I2V заключается в поддержании визуальной согласованности на протяжении всего видео: существующие методы часто не могут сохранить целостность объекта, фона и стиля из первого кадра, а также обеспечить плавное и логичное развитие видеосюжета. Для решения этих проблем мы предлагаем ConsistI2V — метод, основанный на диффузии, который улучшает визуальную согласованность в генерации I2V. В частности, мы вводим (1) пространственно-временное внимание к первому кадру для поддержания пространственной и динамической согласованности, (2) инициализацию шума из низкочастотной полосы первого кадра для улучшения согласованности композиции. Эти два подхода позволяют ConsistI2V генерировать видео с высокой степенью согласованности. Мы также расширяем предложенные подходы, чтобы продемонстрировать их потенциал для улучшения согласованности в авторегрессивной генерации длинных видео и управлении движением камеры. Для проверки эффективности нашего метода мы предлагаем I2V-Bench — комплексный эталонный набор для оценки генерации I2V. Результаты автоматической и экспертной оценки подтверждают превосходство ConsistI2V над существующими методами.
English
Image-to-video (I2V) generation aims to use the initial frame (alongside a
text prompt) to create a video sequence. A grand challenge in I2V generation is
to maintain visual consistency throughout the video: existing methods often
struggle to preserve the integrity of the subject, background, and style from
the first frame, as well as ensure a fluid and logical progression within the
video narrative. To mitigate these issues, we propose ConsistI2V, a
diffusion-based method to enhance visual consistency for I2V generation.
Specifically, we introduce (1) spatiotemporal attention over the first frame to
maintain spatial and motion consistency, (2) noise initialization from the
low-frequency band of the first frame to enhance layout consistency. These two
approaches enable ConsistI2V to generate highly consistent videos. We also
extend the proposed approaches to show their potential to improve consistency
in auto-regressive long video generation and camera motion control. To verify
the effectiveness of our method, we propose I2V-Bench, a comprehensive
evaluation benchmark for I2V generation. Our automatic and human evaluation
results demonstrate the superiority of ConsistI2V over existing methods.