Physics3D : Apprentissage des propriétés physiques de Gaussiennes 3D via la diffusion vidéo

Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion

June 6, 2024

Auteurs: Fangfu Liu, Hanyang Wang, Shunyu Yao, Shengjun Zhang, Jie Zhou, Yueqi Duan

cs.AI

Résumé

Ces dernières années, les modèles de génération 3D ont connu un développement rapide, ouvrant de nouvelles possibilités pour des applications telles que la simulation des mouvements dynamiques d'objets 3D et la personnalisation de leurs comportements. Cependant, les modèles génératifs 3D actuels ont tendance à se concentrer uniquement sur des caractéristiques de surface telles que la couleur et la forme, négligeant les propriétés physiques intrinsèques qui régissent le comportement des objets dans le monde réel. Pour simuler avec précision des dynamiques alignées sur la physique, il est essentiel de prédire les propriétés physiques des matériaux et de les intégrer dans le processus de prédiction des comportements. Néanmoins, prédire la diversité des matériaux des objets du monde réel reste un défi en raison de la complexité de leurs attributs physiques. Dans cet article, nous proposons Physics3D, une méthode novatrice pour apprendre diverses propriétés physiques d'objets 3D à travers un modèle de diffusion vidéo. Notre approche consiste à concevoir un système de simulation physique hautement généralisable basé sur un modèle de matériau viscoélastique, ce qui nous permet de simuler une large gamme de matériaux avec des capacités de haute fidélité. De plus, nous distillons les connaissances physiques préalables à partir d'un modèle de diffusion vidéo qui contient une meilleure compréhension des matériaux réalistes des objets. Des expériences approfondies démontrent l'efficacité de notre méthode avec des matériaux à la fois élastiques et plastiques. Physics3D montre un grand potentiel pour combler le fossé entre le monde physique et l'espace neuronal virtuel, offrant une meilleure intégration et application des principes physiques réalistes dans les environnements virtuels. Page du projet : https://liuff19.github.io/Physics3D.

English

In recent years, there has been rapid development in 3D generation models, opening up new possibilities for applications such as simulating the dynamic movements of 3D objects and customizing their behaviors. However, current 3D generative models tend to focus only on surface features such as color and shape, neglecting the inherent physical properties that govern the behavior of objects in the real world. To accurately simulate physics-aligned dynamics, it is essential to predict the physical properties of materials and incorporate them into the behavior prediction process. Nonetheless, predicting the diverse materials of real-world objects is still challenging due to the complex nature of their physical attributes. In this paper, we propose Physics3D, a novel method for learning various physical properties of 3D objects through a video diffusion model. Our approach involves designing a highly generalizable physical simulation system based on a viscoelastic material model, which enables us to simulate a wide range of materials with high-fidelity capabilities. Moreover, we distill the physical priors from a video diffusion model that contains more understanding of realistic object materials. Extensive experiments demonstrate the effectiveness of our method with both elastic and plastic materials. Physics3D shows great potential for bridging the gap between the physical world and virtual neural space, providing a better integration and application of realistic physical principles in virtual environments. Project page: https://liuff19.github.io/Physics3D.