Physics3D: Het Leren van Fysische Eigenschappen van 3D Gaussians via Video Diffusie

Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion

June 6, 2024

Auteurs: Fangfu Liu, Hanyang Wang, Shunyu Yao, Shengjun Zhang, Jie Zhou, Yueqi Duan

cs.AI

Samenvatting

In de afgelopen jaren is er een snelle ontwikkeling geweest in 3D-generatiemodellen, wat nieuwe mogelijkheden heeft geopend voor toepassingen zoals het simuleren van de dynamische bewegingen van 3D-objecten en het aanpassen van hun gedrag. Huidige 3D-generatieve modellen richten zich echter vaak alleen op oppervlaktekenmerken zoals kleur en vorm, waarbij de inherente fysieke eigenschappen die het gedrag van objecten in de echte wereld bepalen, worden verwaarloosd. Om nauwkeurig fysiek-gealigneerde dynamica te simuleren, is het essentieel om de fysieke eigenschappen van materialen te voorspellen en deze te integreren in het gedragsvoorspellingsproces. Desalniettemin blijft het voorspellen van de diverse materialen van objecten uit de echte wereld een uitdaging vanwege de complexe aard van hun fysieke attributen. In dit artikel stellen we Physics3D voor, een nieuwe methode voor het leren van verschillende fysieke eigenschappen van 3D-objecten via een videodiffusiemodel. Onze aanpak omvat het ontwerpen van een zeer generaliseerbaar fysisch simulatatiesysteem gebaseerd op een visco-elastisch materiaalmodel, waarmee we een breed scala aan materialen met hoogwaardige mogelijkheden kunnen simuleren. Bovendien distilleren we de fysieke priors uit een videodiffusiemodel dat meer begrip bevat van realistische objectmaterialen. Uitgebreide experimenten tonen de effectiviteit van onze methode aan, zowel voor elastische als plastische materialen. Physics3D toont groot potentieel om de kloof tussen de fysieke wereld en de virtuele neurale ruimte te overbruggen, waardoor een betere integratie en toepassing van realistische fysieke principes in virtuele omgevingen mogelijk wordt gemaakt. Projectpagina: https://liuff19.github.io/Physics3D.

English

In recent years, there has been rapid development in 3D generation models, opening up new possibilities for applications such as simulating the dynamic movements of 3D objects and customizing their behaviors. However, current 3D generative models tend to focus only on surface features such as color and shape, neglecting the inherent physical properties that govern the behavior of objects in the real world. To accurately simulate physics-aligned dynamics, it is essential to predict the physical properties of materials and incorporate them into the behavior prediction process. Nonetheless, predicting the diverse materials of real-world objects is still challenging due to the complex nature of their physical attributes. In this paper, we propose Physics3D, a novel method for learning various physical properties of 3D objects through a video diffusion model. Our approach involves designing a highly generalizable physical simulation system based on a viscoelastic material model, which enables us to simulate a wide range of materials with high-fidelity capabilities. Moreover, we distill the physical priors from a video diffusion model that contains more understanding of realistic object materials. Extensive experiments demonstrate the effectiveness of our method with both elastic and plastic materials. Physics3D shows great potential for bridging the gap between the physical world and virtual neural space, providing a better integration and application of realistic physical principles in virtual environments. Project page: https://liuff19.github.io/Physics3D.