Через маску: траектории движения на основе маски для генерации изображения в видеоформат.

Through-The-Mask: Mask-based Motion Trajectories for Image-to-Video Generation

January 6, 2025

Авторы: Guy Yariv, Yuval Kirstain, Amit Zohar, Shelly Sheynin, Yaniv Taigman, Yossi Adi, Sagie Benaim, Adam Polyak

cs.AI

Аннотация

Мы рассматриваем задачу генерации изображения в видео (Image-to-Video, I2V), которая включает в себя преобразование статических изображений в реалистичные видеопоследовательности на основе текстового описания. В то время как недавние достижения производят фотореалистичные результаты, они часто испытывают затруднения в создании видео с точным и последовательным движением объектов, особенно в сценариях с несколькими объектами. Для решения этих ограничений мы предлагаем двухэтапную композиционную структуру, которая декомпозирует генерацию I2V на: (i) Этап генерации явного промежуточного представления, за которым следует (ii) Этап генерации видео, который зависит от этого представления. Нашим ключевым новшеством является введение траектории движения на основе маски в качестве промежуточного представления, которая захватывает как семантическую информацию об объекте, так и движение, обеспечивая выразительное, но компактное представление движения и семантики. Для интеграции изученного представления на втором этапе мы используем объектно-ориентированные цели внимания. Конкретно, мы рассматриваем пространственную, по объектам, маскированную кросс-внимательность, интегрируя объектно-специфические подсказки в соответствующие области латентного пространства, и маскированную пространственно-временную самовнимательность, обеспечивая последовательность кадра к кадру для каждого объекта. Мы оцениваем наш метод на сложных бенчмарках с сценариями множественных объектов и высоким движением и эмпирически демонстрируем, что предложенный метод достигает лучших результатов во временной согласованности, реализме движения и верности текстовой подсказке. Кроме того, мы представляем \benchmark, новый сложный бенчмарк для генерации I2V с одиночным объектом и множественными объектами, и демонстрируем превосходство нашего метода на этом бенчмарке. Страница проекта доступна по адресу https://guyyariv.github.io/TTM/.

English

We consider the task of Image-to-Video (I2V) generation, which involves transforming static images into realistic video sequences based on a textual description. While recent advancements produce photorealistic outputs, they frequently struggle to create videos with accurate and consistent object motion, especially in multi-object scenarios. To address these limitations, we propose a two-stage compositional framework that decomposes I2V generation into: (i) An explicit intermediate representation generation stage, followed by (ii) A video generation stage that is conditioned on this representation. Our key innovation is the introduction of a mask-based motion trajectory as an intermediate representation, that captures both semantic object information and motion, enabling an expressive but compact representation of motion and semantics. To incorporate the learned representation in the second stage, we utilize object-level attention objectives. Specifically, we consider a spatial, per-object, masked-cross attention objective, integrating object-specific prompts into corresponding latent space regions and a masked spatio-temporal self-attention objective, ensuring frame-to-frame consistency for each object. We evaluate our method on challenging benchmarks with multi-object and high-motion scenarios and empirically demonstrate that the proposed method achieves state-of-the-art results in temporal coherence, motion realism, and text-prompt faithfulness. Additionally, we introduce \benchmark, a new challenging benchmark for single-object and multi-object I2V generation, and demonstrate our method's superiority on this benchmark. Project page is available at https://guyyariv.github.io/TTM/.