Vers une compréhension physique dans la génération de vidéos : Une approche de régularisation de points 3D

Towards Physical Understanding in Video Generation: A 3D Point Regularization Approach

February 5, 2025

Auteurs: Yunuo Chen, Junli Cao, Anil Kag, Vidit Goel, Sergei Korolev, Chenfanfu Jiang, Sergey Tulyakov, Jian Ren

cs.AI

Résumé

Nous présentons un nouveau cadre de génération de vidéos qui intègre la géométrie tridimensionnelle et la conscience dynamique. Pour y parvenir, nous enrichissons les vidéos 2D avec des trajectoires de points 3D et les alignons dans l'espace des pixels. Le jeu de données vidéo 3D-aware résultant, PointVid, est ensuite utilisé pour affiner un modèle de diffusion latent, lui permettant de suivre des objets 2D avec des coordonnées cartésiennes 3D. En s'appuyant sur cela, nous régularisons la forme et le mouvement des objets dans la vidéo pour éliminer les artefacts indésirables, tels que les déformations non physiques. Par conséquent, nous améliorons la qualité des vidéos RVB générées et atténuons les problèmes courants tels que la morphing des objets, qui sont fréquents dans les modèles vidéo actuels en raison d'un manque de conscience de la forme. Grâce à notre augmentation et régularisation 3D, notre modèle est capable de gérer des scénarios riches en contacts tels que les vidéos orientées tâches. Ces vidéos impliquent des interactions complexes de solides, où l'information 3D est essentielle pour percevoir la déformation et le contact. De plus, notre modèle améliore la qualité globale de la génération de vidéos en favorisant la cohérence 3D des objets en mouvement et en réduisant les changements brusques de forme et de mouvement.

English

We present a novel video generation framework that integrates 3-dimensional geometry and dynamic awareness. To achieve this, we augment 2D videos with 3D point trajectories and align them in pixel space. The resulting 3D-aware video dataset, PointVid, is then used to fine-tune a latent diffusion model, enabling it to track 2D objects with 3D Cartesian coordinates. Building on this, we regularize the shape and motion of objects in the video to eliminate undesired artifacts, \eg, nonphysical deformation. Consequently, we enhance the quality of generated RGB videos and alleviate common issues like object morphing, which are prevalent in current video models due to a lack of shape awareness. With our 3D augmentation and regularization, our model is capable of handling contact-rich scenarios such as task-oriented videos. These videos involve complex interactions of solids, where 3D information is essential for perceiving deformation and contact. Furthermore, our model improves the overall quality of video generation by promoting the 3D consistency of moving objects and reducing abrupt changes in shape and motion.