TC4D: Generazione Testo-to-4D Condizionata alla Traiettoria

TC4D: Trajectory-Conditioned Text-to-4D Generation

March 26, 2024

Autori: Sherwin Bahmani, Xian Liu, Yifan Wang, Ivan Skorokhodov, Victor Rong, Ziwei Liu, Xihui Liu, Jeong Joon Park, Sergey Tulyakov, Gordon Wetzstein, Andrea Tagliasacchi, David B. Lindell

cs.AI

Abstract

Le tecniche recenti per la generazione di testo-a-4D sintetizzano scene 3D dinamiche utilizzando la supervisione di modelli pre-addestrati di testo-a-video. Tuttavia, le rappresentazioni esistenti per il movimento, come i modelli di deformazione o le rappresentazioni neurali dipendenti dal tempo, sono limitate nella quantità di movimento che possono generare: non sono in grado di sintetizzare movimenti che si estendono ben oltre il bounding box utilizzato per il rendering volumetrico. La mancanza di un modello di movimento più flessibile contribuisce al divario nel realismo tra i metodi di generazione 4D e i recenti modelli di generazione video quasi fotorealistici. Qui proponiamo TC4D: generazione testo-a-4D condizionata alla traiettoria, che scompone il movimento in componenti globali e locali. Rappresentiamo il movimento globale del bounding box di una scena utilizzando trasformazioni rigide lungo una traiettoria parametrizzata da una spline. Apprendiamo deformazioni locali che si conformano alla traiettoria globale utilizzando la supervisione di un modello testo-a-video. Il nostro approccio consente la sintesi di scene animate lungo traiettorie arbitrarie, la generazione composizionale di scene e significativi miglioramenti nel realismo e nella quantità di movimento generato, che valutiamo qualitativamente e attraverso uno studio con utenti. I risultati video possono essere visualizzati sul nostro sito web: https://sherwinbahmani.github.io/tc4d.

English

Recent techniques for text-to-4D generation synthesize dynamic 3D scenes using supervision from pre-trained text-to-video models. However, existing representations for motion, such as deformation models or time-dependent neural representations, are limited in the amount of motion they can generate-they cannot synthesize motion extending far beyond the bounding box used for volume rendering. The lack of a more flexible motion model contributes to the gap in realism between 4D generation methods and recent, near-photorealistic video generation models. Here, we propose TC4D: trajectory-conditioned text-to-4D generation, which factors motion into global and local components. We represent the global motion of a scene's bounding box using rigid transformation along a trajectory parameterized by a spline. We learn local deformations that conform to the global trajectory using supervision from a text-to-video model. Our approach enables the synthesis of scenes animated along arbitrary trajectories, compositional scene generation, and significant improvements to the realism and amount of generated motion, which we evaluate qualitatively and through a user study. Video results can be viewed on our website: https://sherwinbahmani.github.io/tc4d.