К физическому пониманию в генерации видео: подход регуляризации 3D точек

Towards Physical Understanding in Video Generation: A 3D Point Regularization Approach

February 5, 2025

Авторы: Yunuo Chen, Junli Cao, Anil Kag, Vidit Goel, Sergei Korolev, Chenfanfu Jiang, Sergey Tulyakov, Jian Ren

cs.AI

Аннотация

Мы представляем новую структуру генерации видео, которая интегрирует трехмерную геометрию и динамическое восприятие. Для достижения этой цели мы дополняем двумерные видео трехмерными траекториями точек и выравниваем их в пространстве пикселей. Полученный набор данных видео с учетом трехмерной информации, PointVid, затем используется для настройки модели латентного диффузионного процесса, что позволяет отслеживать двумерные объекты с трехмерными декартовыми координатами. На этом основании мы регуляризуем форму и движение объектов в видео, чтобы устранить нежелательные артефакты, например, нереалистичные деформации. В результате мы улучшаем качество сгенерированных RGB видео и уменьшаем распространенные проблемы, такие как морфинг объектов, которые характерны для текущих моделей видео из-за отсутствия трехмерного восприятия формы. Благодаря нашему трехмерному дополнению и регуляризации, наша модель способна обрабатывать сценарии с богатым контактом, такие как видео с ориентированными на задачу. Эти видео включают в себя сложные взаимодействия твердых тел, где трехмерная информация необходима для восприятия деформации и контакта. Более того, наша модель улучшает общее качество генерации видео, повышая трехмерную согласованность движущихся объектов и уменьшая резкие изменения формы и движения.

English

We present a novel video generation framework that integrates 3-dimensional geometry and dynamic awareness. To achieve this, we augment 2D videos with 3D point trajectories and align them in pixel space. The resulting 3D-aware video dataset, PointVid, is then used to fine-tune a latent diffusion model, enabling it to track 2D objects with 3D Cartesian coordinates. Building on this, we regularize the shape and motion of objects in the video to eliminate undesired artifacts, \eg, nonphysical deformation. Consequently, we enhance the quality of generated RGB videos and alleviate common issues like object morphing, which are prevalent in current video models due to a lack of shape awareness. With our 3D augmentation and regularization, our model is capable of handling contact-rich scenarios such as task-oriented videos. These videos involve complex interactions of solids, where 3D information is essential for perceiving deformation and contact. Furthermore, our model improves the overall quality of video generation by promoting the 3D consistency of moving objects and reducing abrupt changes in shape and motion.