Physics3D: Apprendimento delle Proprietà Fisiche di Gaussiane 3D tramite Diffusione Video

Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion

June 6, 2024

Autori: Fangfu Liu, Hanyang Wang, Shunyu Yao, Shengjun Zhang, Jie Zhou, Yueqi Duan

cs.AI

Abstract

Negli ultimi anni, si è assistito a un rapido sviluppo dei modelli di generazione 3D, aprendo nuove possibilità per applicazioni come la simulazione dei movimenti dinamici degli oggetti 3D e la personalizzazione dei loro comportamenti. Tuttavia, gli attuali modelli generativi 3D tendono a concentrarsi solo su caratteristiche superficiali come il colore e la forma, trascurando le proprietà fisiche intrinseche che governano il comportamento degli oggetti nel mondo reale. Per simulare con precisione dinamiche allineate alla fisica, è essenziale prevedere le proprietà fisiche dei materiali e incorporarle nel processo di previsione del comportamento. Tuttavia, prevedere i materiali diversificati degli oggetti reali rimane una sfida a causa della natura complessa dei loro attributi fisici. In questo articolo, proponiamo Physics3D, un metodo innovativo per apprendere varie proprietà fisiche degli oggetti 3D attraverso un modello di diffusione video. Il nostro approccio prevede la progettazione di un sistema di simulazione fisica altamente generalizzabile basato su un modello di materiale viscoelastico, che ci consente di simulare un'ampia gamma di materiali con capacità ad alta fedeltà. Inoltre, distilliamo i priori fisici da un modello di diffusione video che contiene una maggiore comprensione dei materiali realistici degli oggetti. Esperimenti estesi dimostrano l'efficacia del nostro metodo sia con materiali elastici che plastici. Physics3D mostra un grande potenziale per colmare il divario tra il mondo fisico e lo spazio neurale virtuale, fornendo una migliore integrazione e applicazione dei principi fisici realistici negli ambienti virtuali. Pagina del progetto: https://liuff19.github.io/Physics3D.

English

In recent years, there has been rapid development in 3D generation models, opening up new possibilities for applications such as simulating the dynamic movements of 3D objects and customizing their behaviors. However, current 3D generative models tend to focus only on surface features such as color and shape, neglecting the inherent physical properties that govern the behavior of objects in the real world. To accurately simulate physics-aligned dynamics, it is essential to predict the physical properties of materials and incorporate them into the behavior prediction process. Nonetheless, predicting the diverse materials of real-world objects is still challenging due to the complex nature of their physical attributes. In this paper, we propose Physics3D, a novel method for learning various physical properties of 3D objects through a video diffusion model. Our approach involves designing a highly generalizable physical simulation system based on a viscoelastic material model, which enables us to simulate a wide range of materials with high-fidelity capabilities. Moreover, we distill the physical priors from a video diffusion model that contains more understanding of realistic object materials. Extensive experiments demonstrate the effectiveness of our method with both elastic and plastic materials. Physics3D shows great potential for bridging the gap between the physical world and virtual neural space, providing a better integration and application of realistic physical principles in virtual environments. Project page: https://liuff19.github.io/Physics3D.