TC4D: Trajektorie-bedingte Text-zu-4D-Generierung

TC4D: Trajectory-Conditioned Text-to-4D Generation

March 26, 2024

Autoren: Sherwin Bahmani, Xian Liu, Yifan Wang, Ivan Skorokhodov, Victor Rong, Ziwei Liu, Xihui Liu, Jeong Joon Park, Sergey Tulyakov, Gordon Wetzstein, Andrea Tagliasacchi, David B. Lindell

cs.AI

Zusammenfassung

Aktuelle Techniken zur Text-zu-4D-Generierung synthetisieren dynamische 3D-Szenen unter Verwendung der Überwachung durch vortrainierte Text-zu-Video-Modelle. Allerdings sind bestehende Repräsentationen für Bewegung, wie Deformationsmodelle oder zeitabhängige neuronale Repräsentationen, in der Menge der erzeugbaren Bewegung begrenzt - sie können keine Bewegung synthetisieren, die weit über die für die Volumenrendering verwendete Begrenzung hinausgeht. Das Fehlen eines flexibleren Bewegungsmodells trägt zur Diskrepanz in der Realitätsnähe zwischen 4D-Generierungsmethoden und aktuellen, nahezu fotorealistischen Videogenerierungsmodellen bei. Hier schlagen wir TC4D vor: trajekektorbedingte Text-zu-4D-Generierung, das die Bewegung in globale und lokale Komponenten aufteilt. Wir repräsentieren die globale Bewegung des Begrenzungsrahmens einer Szene mittels einer starren Transformation entlang eines durch einen Spline parametrisierten Trajektorie. Wir lernen lokale Verformungen, die sich der globalen Trajektorie anpassen, unter Verwendung der Überwachung durch ein Text-zu-Video-Modell. Unser Ansatz ermöglicht die Synthese von Szenen, die entlang beliebiger Trajektorien animiert sind, die kompositorische Szenengenerierung und signifikante Verbesserungen hinsichtlich der Realitätsnähe und der Menge der erzeugten Bewegung, die wir qualitativ und durch eine Benutzerstudie evaluieren. Die Videoergebnisse können auf unserer Website angesehen werden: https://sherwinbahmani.github.io/tc4d.

English

Recent techniques for text-to-4D generation synthesize dynamic 3D scenes using supervision from pre-trained text-to-video models. However, existing representations for motion, such as deformation models or time-dependent neural representations, are limited in the amount of motion they can generate-they cannot synthesize motion extending far beyond the bounding box used for volume rendering. The lack of a more flexible motion model contributes to the gap in realism between 4D generation methods and recent, near-photorealistic video generation models. Here, we propose TC4D: trajectory-conditioned text-to-4D generation, which factors motion into global and local components. We represent the global motion of a scene's bounding box using rigid transformation along a trajectory parameterized by a spline. We learn local deformations that conform to the global trajectory using supervision from a text-to-video model. Our approach enables the synthesis of scenes animated along arbitrary trajectories, compositional scene generation, and significant improvements to the realism and amount of generated motion, which we evaluate qualitatively and through a user study. Video results can be viewed on our website: https://sherwinbahmani.github.io/tc4d.