À travers le masque : Trajectoires de mouvement basées sur des masques pour la génération d'images vers vidéos

Through-The-Mask: Mask-based Motion Trajectories for Image-to-Video Generation

January 6, 2025

Auteurs: Guy Yariv, Yuval Kirstain, Amit Zohar, Shelly Sheynin, Yaniv Taigman, Yossi Adi, Sagie Benaim, Adam Polyak

cs.AI

Résumé

Nous considérons la tâche de génération Image-vers-Vidéo (I2V), qui implique de transformer des images statiques en séquences vidéo réalistes basées sur une description textuelle. Alors que les récents progrès produisent des sorties photoréalistes, ils ont souvent du mal à créer des vidéos avec un mouvement d'objets précis et cohérent, surtout dans des scénarios multi-objets. Pour remédier à ces limitations, nous proposons un cadre compositionnel en deux étapes qui décompose la génération I2V en : (i) Une étape de génération d'une représentation intermédiaire explicite, suivie par (ii) Une étape de génération de vidéo conditionnée par cette représentation. Notre innovation clé est l'introduction d'une trajectoire de mouvement basée sur un masque en tant que représentation intermédiaire, qui capture à la fois les informations sémantiques des objets et le mouvement, permettant une représentation expressive mais compacte du mouvement et de la sémantique. Pour incorporer la représentation apprise dans la deuxième étape, nous utilisons des objectifs d'attention au niveau des objets. Plus précisément, nous considérons un objectif d'attention croisée masquée spatial, par objet, intégrant des indications spécifiques à l'objet dans les régions correspondantes de l'espace latent et un objectif d'auto-attention spatio-temporelle masquée, assurant la cohérence image par image pour chaque objet. Nous évaluons notre méthode sur des benchmarks exigeants avec des scénarios multi-objets et à mouvement élevé et démontrons empiriquement que la méthode proposée atteint des résultats de pointe en termes de cohérence temporelle, de réalisme du mouvement et de fidélité à la description textuelle. De plus, nous introduisons \benchmark, un nouveau benchmark exigeant pour la génération I2V d'objets simples et multi-objets, et démontrons la supériorité de notre méthode sur ce benchmark. La page du projet est disponible sur https://guyyariv.github.io/TTM/.

English

We consider the task of Image-to-Video (I2V) generation, which involves transforming static images into realistic video sequences based on a textual description. While recent advancements produce photorealistic outputs, they frequently struggle to create videos with accurate and consistent object motion, especially in multi-object scenarios. To address these limitations, we propose a two-stage compositional framework that decomposes I2V generation into: (i) An explicit intermediate representation generation stage, followed by (ii) A video generation stage that is conditioned on this representation. Our key innovation is the introduction of a mask-based motion trajectory as an intermediate representation, that captures both semantic object information and motion, enabling an expressive but compact representation of motion and semantics. To incorporate the learned representation in the second stage, we utilize object-level attention objectives. Specifically, we consider a spatial, per-object, masked-cross attention objective, integrating object-specific prompts into corresponding latent space regions and a masked spatio-temporal self-attention objective, ensuring frame-to-frame consistency for each object. We evaluate our method on challenging benchmarks with multi-object and high-motion scenarios and empirically demonstrate that the proposed method achieves state-of-the-art results in temporal coherence, motion realism, and text-prompt faithfulness. Additionally, we introduce \benchmark, a new challenging benchmark for single-object and multi-object I2V generation, and demonstrate our method's superiority on this benchmark. Project page is available at https://guyyariv.github.io/TTM/.