Durch-die-Maske: Maskenbasierte Bewegungsbahnen für die Generierung von Bild-zu-Video.

Through-The-Mask: Mask-based Motion Trajectories for Image-to-Video Generation

January 6, 2025

Autoren: Guy Yariv, Yuval Kirstain, Amit Zohar, Shelly Sheynin, Yaniv Taigman, Yossi Adi, Sagie Benaim, Adam Polyak

cs.AI

Zusammenfassung

Wir betrachten die Aufgabe der Bild-zu-Video (I2V)-Generierung, die darin besteht, statische Bilder basierend auf einer textuellen Beschreibung in realistische Videosequenzen zu transformieren. Während aktuelle Fortschritte fotorealistische Ergebnisse liefern, haben sie häufig Schwierigkeiten, Videos mit präziser und konsistenter Objektbewegung zu erstellen, insbesondere in Szenarien mit mehreren Objekten. Um diese Einschränkungen zu bewältigen, schlagen wir ein zweistufiges kompositionelles Framework vor, das die I2V-Generierung in folgende Schritte unterteilt: (i) Eine explizite Zwischenrepräsentationsgenerierungsstufe, gefolgt von (ii) einer Videogenerierungsstufe, die von dieser Repräsentation abhängt. Unsere Hauptinnovation besteht in der Einführung einer maskenbasierten Bewegungsbahn als Zwischenrepräsentation, die sowohl semantische Objektinformationen als auch Bewegung erfasst und eine ausdrucksstarke, aber kompakte Repräsentation von Bewegung und Semantik ermöglicht. Um die gelernte Repräsentation in der zweiten Stufe zu integrieren, nutzen wir objektspezifische Aufmerksamkeitsziele. Insbesondere betrachten wir ein räumliches, pro-Objekt, maskiertes Kreuz-Aufmerksamkeitsziel, das objektspezifische Hinweise in entsprechende latente Raumregionen integriert, sowie ein maskiertes raumzeitliches Selbst-Aufmerksamkeitsziel, das eine Frame-zu-Frame-Konsistenz für jedes Objekt gewährleistet. Wir evaluieren unsere Methode an anspruchsvollen Benchmarks mit Szenarien mit mehreren Objekten und hoher Bewegung und zeigen empirisch, dass die vorgeschlagene Methode Spitzenleistungen in zeitlicher Kohärenz, Bewegungsrealismus und Texttreue erzielt. Darüber hinaus führen wir \benchmark ein, einen neuen anspruchsvollen Benchmark für die Bild-zu-Video-Generierung von Einzelobjekten und Mehrfachobjekten ein und zeigen die Überlegenheit unserer Methode in diesem Benchmark. Die Projektseite ist verfügbar unter https://guyyariv.github.io/TTM/.

English

We consider the task of Image-to-Video (I2V) generation, which involves transforming static images into realistic video sequences based on a textual description. While recent advancements produce photorealistic outputs, they frequently struggle to create videos with accurate and consistent object motion, especially in multi-object scenarios. To address these limitations, we propose a two-stage compositional framework that decomposes I2V generation into: (i) An explicit intermediate representation generation stage, followed by (ii) A video generation stage that is conditioned on this representation. Our key innovation is the introduction of a mask-based motion trajectory as an intermediate representation, that captures both semantic object information and motion, enabling an expressive but compact representation of motion and semantics. To incorporate the learned representation in the second stage, we utilize object-level attention objectives. Specifically, we consider a spatial, per-object, masked-cross attention objective, integrating object-specific prompts into corresponding latent space regions and a masked spatio-temporal self-attention objective, ensuring frame-to-frame consistency for each object. We evaluate our method on challenging benchmarks with multi-object and high-motion scenarios and empirically demonstrate that the proposed method achieves state-of-the-art results in temporal coherence, motion realism, and text-prompt faithfulness. Additionally, we introduce \benchmark, a new challenging benchmark for single-object and multi-object I2V generation, and demonstrate our method's superiority on this benchmark. Project page is available at https://guyyariv.github.io/TTM/.