TC4D: Генерация текста в 4D, зависящая от траектории

TC4D: Trajectory-Conditioned Text-to-4D Generation

March 26, 2024

Авторы: Sherwin Bahmani, Xian Liu, Yifan Wang, Ivan Skorokhodov, Victor Rong, Ziwei Liu, Xihui Liu, Jeong Joon Park, Sergey Tulyakov, Gordon Wetzstein, Andrea Tagliasacchi, David B. Lindell

cs.AI

Аннотация

Недавние техники генерации текста в 4D синтезируют динамические 3D сцены с использованием наблюдения за предварительно обученными моделями текст-видео. Однако существующие представления движения, такие как модели деформации или времязависимые нейронные представления, ограничены в объеме движения, который они могут генерировать - они не могут синтезировать движение, выходящее далеко за границы ограничивающего параллелепипеда, используемого для объемного рендеринга. Отсутствие более гибкой модели движения способствует разрыву в реализме между методами генерации 4D и недавними, почти фотореалистичными моделями генерации видео. Здесь мы предлагаем TC4D: генерацию текста в 4D с учетом траектории, которая разделяет движение на глобальные и локальные компоненты. Мы представляем глобальное движение ограничивающего параллелепипеда сцены с помощью жесткого преобразования вдоль траектории, параметризованной сплайном. Мы изучаем локальные деформации, соответствующие глобальной траектории, используя наблюдение за моделью текст-видео. Наш подход позволяет синтезировать сцены с анимацией вдоль произвольных траекторий, композиционную генерацию сцен и значительные улучшения в реализме и объеме сгенерированного движения, которые мы оцениваем качественно и через пользовательское исследование. Результаты видео можно просмотреть на нашем веб-сайте: https://sherwinbahmani.github.io/tc4d.

English

Recent techniques for text-to-4D generation synthesize dynamic 3D scenes using supervision from pre-trained text-to-video models. However, existing representations for motion, such as deformation models or time-dependent neural representations, are limited in the amount of motion they can generate-they cannot synthesize motion extending far beyond the bounding box used for volume rendering. The lack of a more flexible motion model contributes to the gap in realism between 4D generation methods and recent, near-photorealistic video generation models. Here, we propose TC4D: trajectory-conditioned text-to-4D generation, which factors motion into global and local components. We represent the global motion of a scene's bounding box using rigid transformation along a trajectory parameterized by a spline. We learn local deformations that conform to the global trajectory using supervision from a text-to-video model. Our approach enables the synthesis of scenes animated along arbitrary trajectories, compositional scene generation, and significant improvements to the realism and amount of generated motion, which we evaluate qualitatively and through a user study. Video results can be viewed on our website: https://sherwinbahmani.github.io/tc4d.