Physics3D: Erlernen physikalischer Eigenschaften von 3D-Gaußverteilungen durch Video-Diffusion

Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion

June 6, 2024

papers.authors: Fangfu Liu, Hanyang Wang, Shunyu Yao, Shengjun Zhang, Jie Zhou, Yueqi Duan

cs.AI

papers.abstract

In den letzten Jahren hat es eine rasante Entwicklung bei 3D-Generierungsmodellen gegeben, die neue Möglichkeiten für Anwendungen wie die Simulation der dynamischen Bewegungen von 3D-Objekten und die Anpassung ihres Verhaltens eröffnen. Allerdings neigen aktuelle 3D-generative Modelle dazu, sich nur auf Oberflächenmerkmale wie Farbe und Form zu konzentrieren und vernachlässigen die inhärenten physikalischen Eigenschaften, die das Verhalten von Objekten in der realen Welt steuern. Um Physik-orientierte Dynamiken genau zu simulieren, ist es entscheidend, die physikalischen Eigenschaften von Materialien vorherzusagen und in den Verhaltensvorhersageprozess zu integrieren. Dennoch ist die Vorhersage der vielfältigen Materialien realer Objekte aufgrund der komplexen Natur ihrer physikalischen Attribute nach wie vor eine Herausforderung. In diesem Artikel schlagen wir Physics3D vor, eine neuartige Methode zum Erlernen verschiedener physikalischer Eigenschaften von 3D-Objekten durch ein Video-Diffusionsmodell. Unser Ansatz beinhaltet die Entwicklung eines hochgradig generalisierbaren physikalischen Simulationssystems auf Basis eines viskoelastischen Materialmodells, das es uns ermöglicht, eine Vielzahl von Materialien mit hoher Genauigkeit zu simulieren. Darüber hinaus destillieren wir die physikalischen Voraussetzungen aus einem Video-Diffusionsmodell, das ein tieferes Verständnis realistischer Objektmaterialeigenschaften bietet. Umfangreiche Experimente zeigen die Wirksamkeit unserer Methode sowohl bei elastischen als auch bei plastischen Materialien. Physics3D zeigt ein großes Potenzial, um die Kluft zwischen der physischen Welt und dem virtuellen neuronalen Raum zu überbrücken und eine bessere Integration und Anwendung realistischer physikalischer Prinzipien in virtuellen Umgebungen zu ermöglichen. Projektseite: https://liuff19.github.io/Physics3D.

English

In recent years, there has been rapid development in 3D generation models, opening up new possibilities for applications such as simulating the dynamic movements of 3D objects and customizing their behaviors. However, current 3D generative models tend to focus only on surface features such as color and shape, neglecting the inherent physical properties that govern the behavior of objects in the real world. To accurately simulate physics-aligned dynamics, it is essential to predict the physical properties of materials and incorporate them into the behavior prediction process. Nonetheless, predicting the diverse materials of real-world objects is still challenging due to the complex nature of their physical attributes. In this paper, we propose Physics3D, a novel method for learning various physical properties of 3D objects through a video diffusion model. Our approach involves designing a highly generalizable physical simulation system based on a viscoelastic material model, which enables us to simulate a wide range of materials with high-fidelity capabilities. Moreover, we distill the physical priors from a video diffusion model that contains more understanding of realistic object materials. Extensive experiments demonstrate the effectiveness of our method with both elastic and plastic materials. Physics3D shows great potential for bridging the gap between the physical world and virtual neural space, providing a better integration and application of realistic physical principles in virtual environments. Project page: https://liuff19.github.io/Physics3D.