Verso la comprensione fisica nella generazione di video: un approccio di regolarizzazione dei punti 3D

Towards Physical Understanding in Video Generation: A 3D Point Regularization Approach

February 5, 2025

Autori: Yunuo Chen, Junli Cao, Anil Kag, Vidit Goel, Sergei Korolev, Chenfanfu Jiang, Sergey Tulyakov, Jian Ren

cs.AI

Abstract

Presentiamo un nuovo framework di generazione video che integra la geometria tridimensionale e la consapevolezza dinamica. Per raggiungere questo obiettivo, arricchiamo i video 2D con traiettorie di punti 3D e le allineiamo nello spazio dei pixel. Il dataset video 3D-aware risultante, PointVid, viene quindi utilizzato per perfezionare un modello di diffusione latente, consentendogli di tracciare oggetti 2D con coordinate cartesiane 3D. Basandoci su questo, regolarizziamo la forma e il movimento degli oggetti nel video per eliminare artefatti indesiderati, come ad esempio deformazioni non fisiche. Di conseguenza, miglioriamo la qualità dei video RGB generati e riduciamo problemi comuni come la morfing degli oggetti, che sono diffusi nei modelli video attuali a causa della mancanza di consapevolezza della forma. Con la nostra augmentazione e regolarizzazione 3D, il nostro modello è in grado di gestire scenari ricchi di contatti come i video orientati al compito. Questi video coinvolgono interazioni complesse di solidi, dove le informazioni 3D sono essenziali per percepire deformazioni e contatti. Inoltre, il nostro modello migliora la qualità complessiva della generazione video promuovendo la coerenza 3D degli oggetti in movimento e riducendo cambiamenti improvvisi nella forma e nel movimento.

English

We present a novel video generation framework that integrates 3-dimensional geometry and dynamic awareness. To achieve this, we augment 2D videos with 3D point trajectories and align them in pixel space. The resulting 3D-aware video dataset, PointVid, is then used to fine-tune a latent diffusion model, enabling it to track 2D objects with 3D Cartesian coordinates. Building on this, we regularize the shape and motion of objects in the video to eliminate undesired artifacts, \eg, nonphysical deformation. Consequently, we enhance the quality of generated RGB videos and alleviate common issues like object morphing, which are prevalent in current video models due to a lack of shape awareness. With our 3D augmentation and regularization, our model is capable of handling contact-rich scenarios such as task-oriented videos. These videos involve complex interactions of solids, where 3D information is essential for perceiving deformation and contact. Furthermore, our model improves the overall quality of video generation by promoting the 3D consistency of moving objects and reducing abrupt changes in shape and motion.