TC4D: Geração de Texto para 4D Condicionada por Trajetória

TC4D: Trajectory-Conditioned Text-to-4D Generation

March 26, 2024

Autores: Sherwin Bahmani, Xian Liu, Yifan Wang, Ivan Skorokhodov, Victor Rong, Ziwei Liu, Xihui Liu, Jeong Joon Park, Sergey Tulyakov, Gordon Wetzstein, Andrea Tagliasacchi, David B. Lindell

cs.AI

Resumo

Técnicas recentes para geração de texto-para-4D sintetizam cenas 3D dinâmicas utilizando supervisão de modelos pré-treinados de texto-para-vídeo. No entanto, as representações existentes para movimento, como modelos de deformação ou representações neurais dependentes do tempo, são limitadas na quantidade de movimento que podem gerar — elas não conseguem sintetizar movimentos que se estendam muito além da caixa delimitadora usada para renderização volumétrica. A falta de um modelo de movimento mais flexível contribui para a lacuna de realismo entre os métodos de geração 4D e os modelos recentes de geração de vídeo quase fotorealistas. Aqui, propomos o TC4D: geração de texto-para-4D condicionada por trajetória, que divide o movimento em componentes globais e locais. Representamos o movimento global da caixa delimitadora de uma cena usando transformações rígidas ao longo de uma trajetória parametrizada por uma spline. Aprendemos deformações locais que se conformam à trajetória global utilizando supervisão de um modelo de texto-para-vídeo. Nossa abordagem permite a síntese de cenas animadas ao longo de trajetórias arbitrárias, geração composicional de cenas e melhorias significativas no realismo e na quantidade de movimento gerado, que avaliamos qualitativamente e por meio de um estudo com usuários. Os resultados em vídeo podem ser visualizados em nosso site: https://sherwinbahmani.github.io/tc4d.

English

Recent techniques for text-to-4D generation synthesize dynamic 3D scenes using supervision from pre-trained text-to-video models. However, existing representations for motion, such as deformation models or time-dependent neural representations, are limited in the amount of motion they can generate-they cannot synthesize motion extending far beyond the bounding box used for volume rendering. The lack of a more flexible motion model contributes to the gap in realism between 4D generation methods and recent, near-photorealistic video generation models. Here, we propose TC4D: trajectory-conditioned text-to-4D generation, which factors motion into global and local components. We represent the global motion of a scene's bounding box using rigid transformation along a trajectory parameterized by a spline. We learn local deformations that conform to the global trajectory using supervision from a text-to-video model. Our approach enables the synthesis of scenes animated along arbitrary trajectories, compositional scene generation, and significant improvements to the realism and amount of generated motion, which we evaluate qualitatively and through a user study. Video results can be viewed on our website: https://sherwinbahmani.github.io/tc4d.