Through-The-Mask: Maskergebaseerde Bewegingstrajecten voor Beeld-naar-Video Generatie

Through-The-Mask: Mask-based Motion Trajectories for Image-to-Video Generation

January 6, 2025

Auteurs: Guy Yariv, Yuval Kirstain, Amit Zohar, Shelly Sheynin, Yaniv Taigman, Yossi Adi, Sagie Benaim, Adam Polyak

cs.AI

Samenvatting

We onderzoeken de taak van Afbeelding-naar-Video (I2V) generatie, wat inhoudt dat statische afbeeldingen worden omgezet in realistische videoreeksen op basis van een tekstuele beschrijving. Hoewel recente ontwikkelingen fotorealistische resultaten opleveren, hebben ze vaak moeite om video's te creëren met nauwkeurige en consistente objectbeweging, vooral in scenario's met meerdere objecten. Om deze beperkingen aan te pakken, stellen we een tweefasig samenstellingskader voor dat I2V-generatie opsplitst in: (i) Een expliciete tussenliggende representatiegeneratiefase, gevolgd door (ii) Een videogeneratiefase die is geconditioneerd op deze representatie. Onze belangrijkste innovatie is de introductie van een op maskers gebaseerde bewegingstraject als tussenliggende representatie, dat zowel semantische objectinformatie als beweging vastlegt, waardoor een expressieve maar compacte representatie van beweging en semantiek mogelijk is. Om de geleerde representatie in de tweede fase op te nemen, maken we gebruik van objectniveau-aandachtdoelstellingen. Specifiek beschouwen we een ruimtelijke, per-object, gemaskerde kruisaandachtdoelstelling, waarbij objectspecifieke aanwijzingen worden geïntegreerd in overeenkomstige latente ruimteregio's en een gemaskerde ruimtelijk-temporele zelfaandachtdoelstelling, die zorgt voor frame-tot-frame consistentie voor elk object. We evalueren onze methode op uitdagende benchmarks met scenario's met meerdere objecten en hoge beweging en tonen empirisch aan dat de voorgestelde methode state-of-the-art resultaten behaalt op het gebied van temporele coherentie, bewegingsrealisme en tekstgetrouwheid. Daarnaast introduceren we \benchmark, een nieuwe uitdagende benchmark voor enkelvoudige en meervoudige I2V-generatie, en tonen we de superioriteit van onze methode op deze benchmark aan. De projectpagina is beschikbaar op https://guyyariv.github.io/TTM/.

English

We consider the task of Image-to-Video (I2V) generation, which involves transforming static images into realistic video sequences based on a textual description. While recent advancements produce photorealistic outputs, they frequently struggle to create videos with accurate and consistent object motion, especially in multi-object scenarios. To address these limitations, we propose a two-stage compositional framework that decomposes I2V generation into: (i) An explicit intermediate representation generation stage, followed by (ii) A video generation stage that is conditioned on this representation. Our key innovation is the introduction of a mask-based motion trajectory as an intermediate representation, that captures both semantic object information and motion, enabling an expressive but compact representation of motion and semantics. To incorporate the learned representation in the second stage, we utilize object-level attention objectives. Specifically, we consider a spatial, per-object, masked-cross attention objective, integrating object-specific prompts into corresponding latent space regions and a masked spatio-temporal self-attention objective, ensuring frame-to-frame consistency for each object. We evaluate our method on challenging benchmarks with multi-object and high-motion scenarios and empirically demonstrate that the proposed method achieves state-of-the-art results in temporal coherence, motion realism, and text-prompt faithfulness. Additionally, we introduce \benchmark, a new challenging benchmark for single-object and multi-object I2V generation, and demonstrate our method's superiority on this benchmark. Project page is available at https://guyyariv.github.io/TTM/.