Auf dem Weg zum physikalischen Verständnis in der Videogenerierung: Ein Ansatz zur 3D-Punktreularisierung

Towards Physical Understanding in Video Generation: A 3D Point Regularization Approach

February 5, 2025

Autoren: Yunuo Chen, Junli Cao, Anil Kag, Vidit Goel, Sergei Korolev, Chenfanfu Jiang, Sergey Tulyakov, Jian Ren

cs.AI

Zusammenfassung

Wir präsentieren ein neuartiges Videoerzeugungs-Framework, das 3-dimensionale Geometrie und dynamische Bewusstheit integriert. Um dies zu erreichen, erweitern wir 2D-Videos mit 3D-Punktbahnen und richten sie im Pixelraum aus. Das resultierende 3D-bewusste Video-Datenset, PointVid, wird dann verwendet, um ein latentes Diffusionsmodell feinzutunen, sodass es 2D-Objekte mit 3D-Kartesischen Koordinaten verfolgen kann. Aufbauend darauf regulieren wir die Form und Bewegung von Objekten im Video, um unerwünschte Artefakte wie nicht-physikalische Verformungen zu beseitigen. Folglich verbessern wir die Qualität der erzeugten RGB-Videos und mildern häufige Probleme wie Objektverformungen, die in aktuellen Videomodellen aufgrund mangelnder Formbewusstheit weit verbreitet sind. Mit unserer 3D-Erweiterung und Regulierung ist unser Modell in der Lage, szenarien mit vielen Kontakten wie aufgabenorientierte Videos zu bewältigen. Diese Videos beinhalten komplexe Interaktionen von Festkörpern, bei denen 3D-Informationen wesentlich sind, um Verformungen und Kontakte wahrzunehmen. Darüber hinaus verbessert unser Modell die Gesamtqualität der Videoerzeugung, indem es die 3D-Konsistenz sich bewegender Objekte fördert und abrupte Änderungen in Form und Bewegung reduziert.

English

We present a novel video generation framework that integrates 3-dimensional geometry and dynamic awareness. To achieve this, we augment 2D videos with 3D point trajectories and align them in pixel space. The resulting 3D-aware video dataset, PointVid, is then used to fine-tune a latent diffusion model, enabling it to track 2D objects with 3D Cartesian coordinates. Building on this, we regularize the shape and motion of objects in the video to eliminate undesired artifacts, \eg, nonphysical deformation. Consequently, we enhance the quality of generated RGB videos and alleviate common issues like object morphing, which are prevalent in current video models due to a lack of shape awareness. With our 3D augmentation and regularization, our model is capable of handling contact-rich scenarios such as task-oriented videos. These videos involve complex interactions of solids, where 3D information is essential for perceiving deformation and contact. Furthermore, our model improves the overall quality of video generation by promoting the 3D consistency of moving objects and reducing abrupt changes in shape and motion.