Rumo à Compreensão Física na Geração de Vídeo: Uma Abordagem de Regularização de Pontos 3D

Towards Physical Understanding in Video Generation: A 3D Point Regularization Approach

February 5, 2025

Autores: Yunuo Chen, Junli Cao, Anil Kag, Vidit Goel, Sergei Korolev, Chenfanfu Jiang, Sergey Tulyakov, Jian Ren

cs.AI

Resumo

Apresentamos um novo framework de geração de vídeos que integra geometria tridimensional e consciência dinâmica. Para alcançar isso, nós aumentamos vídeos 2D com trajetórias de pontos 3D e os alinhamos no espaço de pixels. O conjunto de dados de vídeo 3D-aware resultante, PointVid, é então utilizado para ajustar finamente um modelo de difusão latente, permitindo rastrear objetos 2D com coordenadas cartesianas 3D. Com base nisso, regularizamos a forma e o movimento dos objetos no vídeo para eliminar artefatos indesejados, como deformações não físicas. Consequentemente, aprimoramos a qualidade dos vídeos RGB gerados e aliviamos problemas comuns como a morfagem de objetos, que são prevalentes nos modelos de vídeo atuais devido à falta de consciência de forma. Com nossa ampliação e regularização 3D, nosso modelo é capaz de lidar com cenários ricos em contato, como vídeos orientados por tarefas. Esses vídeos envolvem interações complexas de sólidos, onde a informação 3D é essencial para perceber deformações e contato. Além disso, nosso modelo melhora a qualidade geral da geração de vídeo ao promover a consistência 3D de objetos em movimento e reduzir mudanças abruptas na forma e no movimento.

English

We present a novel video generation framework that integrates 3-dimensional geometry and dynamic awareness. To achieve this, we augment 2D videos with 3D point trajectories and align them in pixel space. The resulting 3D-aware video dataset, PointVid, is then used to fine-tune a latent diffusion model, enabling it to track 2D objects with 3D Cartesian coordinates. Building on this, we regularize the shape and motion of objects in the video to eliminate undesired artifacts, \eg, nonphysical deformation. Consequently, we enhance the quality of generated RGB videos and alleviate common issues like object morphing, which are prevalent in current video models due to a lack of shape awareness. With our 3D augmentation and regularization, our model is capable of handling contact-rich scenarios such as task-oriented videos. These videos involve complex interactions of solids, where 3D information is essential for perceiving deformation and contact. Furthermore, our model improves the overall quality of video generation by promoting the 3D consistency of moving objects and reducing abrupt changes in shape and motion.