TC4D: Generación de Texto a 4D Condicionada por Trayectoria

TC4D: Trajectory-Conditioned Text-to-4D Generation

March 26, 2024

Autores: Sherwin Bahmani, Xian Liu, Yifan Wang, Ivan Skorokhodov, Victor Rong, Ziwei Liu, Xihui Liu, Jeong Joon Park, Sergey Tulyakov, Gordon Wetzstein, Andrea Tagliasacchi, David B. Lindell

cs.AI

Resumen

Las técnicas recientes para la generación de texto a 4D sintetizan escenas 3D dinámicas utilizando supervisión de modelos preentrenados de texto a video. Sin embargo, las representaciones existentes para el movimiento, como los modelos de deformación o las representaciones neuronales dependientes del tiempo, están limitadas en la cantidad de movimiento que pueden generar: no pueden sintetizar movimientos que se extiendan más allá del cuadro delimitador utilizado para el renderizado volumétrico. La falta de un modelo de movimiento más flexible contribuye a la brecha en el realismo entre los métodos de generación 4D y los modelos recientes de generación de video casi fotorealistas. Aquí, proponemos TC4D: generación de texto a 4D condicionada por trayectorias, que descompone el movimiento en componentes globales y locales. Representamos el movimiento global del cuadro delimitador de una escena utilizando transformaciones rígidas a lo largo de una trayectoria parametrizada por un spline. Aprendemos deformaciones locales que se ajustan a la trayectoria global utilizando supervisión de un modelo de texto a video. Nuestro enfoque permite la síntesis de escenas animadas a lo largo de trayectorias arbitrarias, la generación composicional de escenas y mejoras significativas en el realismo y la cantidad de movimiento generado, lo cual evaluamos cualitativamente y mediante un estudio de usuarios. Los resultados en video pueden verse en nuestro sitio web: https://sherwinbahmani.github.io/tc4d.

English

Recent techniques for text-to-4D generation synthesize dynamic 3D scenes using supervision from pre-trained text-to-video models. However, existing representations for motion, such as deformation models or time-dependent neural representations, are limited in the amount of motion they can generate-they cannot synthesize motion extending far beyond the bounding box used for volume rendering. The lack of a more flexible motion model contributes to the gap in realism between 4D generation methods and recent, near-photorealistic video generation models. Here, we propose TC4D: trajectory-conditioned text-to-4D generation, which factors motion into global and local components. We represent the global motion of a scene's bounding box using rigid transformation along a trajectory parameterized by a spline. We learn local deformations that conform to the global trajectory using supervision from a text-to-video model. Our approach enables the synthesis of scenes animated along arbitrary trajectories, compositional scene generation, and significant improvements to the realism and amount of generated motion, which we evaluate qualitatively and through a user study. Video results can be viewed on our website: https://sherwinbahmani.github.io/tc4d.