TC4D: Trajectorie-Gestuurde Tekst-naar-4D Generatie

TC4D: Trajectory-Conditioned Text-to-4D Generation

March 26, 2024

Auteurs: Sherwin Bahmani, Xian Liu, Yifan Wang, Ivan Skorokhodov, Victor Rong, Ziwei Liu, Xihui Liu, Jeong Joon Park, Sergey Tulyakov, Gordon Wetzstein, Andrea Tagliasacchi, David B. Lindell

cs.AI

Samenvatting

Recente technieken voor tekst-naar-4D-generatie synthetiseren dynamische 3D-scènes met behulp van supervisie van vooraf getrainde tekst-naar-video-modellen. Bestaande representaties voor beweging, zoals vervormingsmodellen of tijdsafhankelijke neurale representaties, zijn echter beperkt in de hoeveelheid beweging die ze kunnen genereren—ze kunnen geen beweging synthetiseren die ver buiten het begrenzingsvlak voor volumeweergave reikt. Het ontbreken van een flexibeler bewegingsmodel draagt bij aan het verschil in realisme tussen 4D-generatiemethoden en recente, bijna-fotorealistische videogeneratiemodellen. Hier stellen we TC4D voor: traject-geconditioneerde tekst-naar-4D-generatie, waarbij beweging wordt opgesplitst in globale en lokale componenten. We representeren de globale beweging van het begrenzingsvlak van een scène met behulp van rigide transformatie langs een traject dat wordt geparametriseerd door een spline. We leren lokale vervormingen die overeenkomen met het globale traject met supervisie van een tekst-naar-video-model. Onze aanpak maakt het mogelijk om scènes te synthetiseren die geanimeerd zijn langs willekeurige trajecten, compositorische scènegeneratie, en aanzienlijke verbeteringen in het realisme en de hoeveelheid gegenereerde beweging, wat we kwalitatief evalueren en via een gebruikersstudie. Videoresultaten zijn te bekijken op onze website: https://sherwinbahmani.github.io/tc4d.

English

Recent techniques for text-to-4D generation synthesize dynamic 3D scenes using supervision from pre-trained text-to-video models. However, existing representations for motion, such as deformation models or time-dependent neural representations, are limited in the amount of motion they can generate-they cannot synthesize motion extending far beyond the bounding box used for volume rendering. The lack of a more flexible motion model contributes to the gap in realism between 4D generation methods and recent, near-photorealistic video generation models. Here, we propose TC4D: trajectory-conditioned text-to-4D generation, which factors motion into global and local components. We represent the global motion of a scene's bounding box using rigid transformation along a trajectory parameterized by a spline. We learn local deformations that conform to the global trajectory using supervision from a text-to-video model. Our approach enables the synthesis of scenes animated along arbitrary trajectories, compositional scene generation, and significant improvements to the realism and amount of generated motion, which we evaluate qualitatively and through a user study. Video results can be viewed on our website: https://sherwinbahmani.github.io/tc4d.