TC4D : Génération de texte vers 4D conditionnée par trajectoire

TC4D: Trajectory-Conditioned Text-to-4D Generation

March 26, 2024

Auteurs: Sherwin Bahmani, Xian Liu, Yifan Wang, Ivan Skorokhodov, Victor Rong, Ziwei Liu, Xihui Liu, Jeong Joon Park, Sergey Tulyakov, Gordon Wetzstein, Andrea Tagliasacchi, David B. Lindell

cs.AI

Résumé

Les techniques récentes pour la génération de texte-à-4D synthétisent des scènes 3D dynamiques en utilisant la supervision de modèles pré-entraînés de texte-à-vidéo. Cependant, les représentations existantes du mouvement, telles que les modèles de déformation ou les représentations neuronales dépendantes du temps, sont limitées dans la quantité de mouvement qu'elles peuvent générer—elles ne peuvent pas synthétiser des mouvements s'étendant bien au-delà de la boîte englobante utilisée pour le rendu volumétrique. L'absence d'un modèle de mouvement plus flexible contribue à l'écart de réalisme entre les méthodes de génération 4D et les modèles récents de génération de vidéos quasi-photoréalistes. Ici, nous proposons TC4D : la génération texte-à-4D conditionnée par trajectoire, qui décompose le mouvement en composantes globales et locales. Nous représentons le mouvement global de la boîte englobante d'une scène en utilisant une transformation rigide le long d'une trajectoire paramétrée par une spline. Nous apprenons les déformations locales qui se conforment à la trajectoire globale en utilisant la supervision d'un modèle texte-à-vidéo. Notre approche permet la synthèse de scènes animées le long de trajectoires arbitraires, la génération de scènes compositionnelles, et des améliorations significatives du réalisme et de la quantité de mouvement généré, que nous évaluons qualitativement et à travers une étude utilisateur. Les résultats vidéo peuvent être consultés sur notre site web : https://sherwinbahmani.github.io/tc4d.

English

Recent techniques for text-to-4D generation synthesize dynamic 3D scenes using supervision from pre-trained text-to-video models. However, existing representations for motion, such as deformation models or time-dependent neural representations, are limited in the amount of motion they can generate-they cannot synthesize motion extending far beyond the bounding box used for volume rendering. The lack of a more flexible motion model contributes to the gap in realism between 4D generation methods and recent, near-photorealistic video generation models. Here, we propose TC4D: trajectory-conditioned text-to-4D generation, which factors motion into global and local components. We represent the global motion of a scene's bounding box using rigid transformation along a trajectory parameterized by a spline. We learn local deformations that conform to the global trajectory using supervision from a text-to-video model. Our approach enables the synthesis of scenes animated along arbitrary trajectories, compositional scene generation, and significant improvements to the realism and amount of generated motion, which we evaluate qualitatively and through a user study. Video results can be viewed on our website: https://sherwinbahmani.github.io/tc4d.