Hacia la comprensión física en la generación de videos: Un enfoque de regularización de puntos 3D

Towards Physical Understanding in Video Generation: A 3D Point Regularization Approach

February 5, 2025

Autores: Yunuo Chen, Junli Cao, Anil Kag, Vidit Goel, Sergei Korolev, Chenfanfu Jiang, Sergey Tulyakov, Jian Ren

cs.AI

Resumen

Presentamos un nuevo marco de generación de videos que integra geometría tridimensional y conciencia dinámica. Para lograr esto, aumentamos videos 2D con trayectorias de puntos 3D y las alineamos en el espacio de píxeles. El conjunto de datos de video 3D consciente resultante, PointVid, se utiliza luego para ajustar finamente un modelo de difusión latente, permitiéndole rastrear objetos 2D con coordenadas cartesianas 3D. Basándonos en esto, regularizamos la forma y el movimiento de objetos en el video para eliminar artefactos no deseados, como deformaciones no físicas. En consecuencia, mejoramos la calidad de los videos RGB generados y aliviamos problemas comunes como la morfología de objetos, que son frecuentes en los modelos de video actuales debido a la falta de conciencia de forma. Con nuestra ampliación y regularización 3D, nuestro modelo es capaz de manejar escenarios ricos en contacto, como videos orientados a tareas. Estos videos involucran interacciones complejas de sólidos, donde la información 3D es esencial para percibir la deformación y el contacto. Además, nuestro modelo mejora la calidad general de la generación de video al promover la consistencia 3D de objetos en movimiento y reducir cambios abruptos en forma y movimiento.

English

We present a novel video generation framework that integrates 3-dimensional geometry and dynamic awareness. To achieve this, we augment 2D videos with 3D point trajectories and align them in pixel space. The resulting 3D-aware video dataset, PointVid, is then used to fine-tune a latent diffusion model, enabling it to track 2D objects with 3D Cartesian coordinates. Building on this, we regularize the shape and motion of objects in the video to eliminate undesired artifacts, \eg, nonphysical deformation. Consequently, we enhance the quality of generated RGB videos and alleviate common issues like object morphing, which are prevalent in current video models due to a lack of shape awareness. With our 3D augmentation and regularization, our model is capable of handling contact-rich scenarios such as task-oriented videos. These videos involve complex interactions of solids, where 3D information is essential for perceiving deformation and contact. Furthermore, our model improves the overall quality of video generation by promoting the 3D consistency of moving objects and reducing abrupt changes in shape and motion.