Physics3D: Aprendizado de Propriedades Físicas de Gaussianas 3D via Difusão de Vídeo

Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion

June 6, 2024

Autores: Fangfu Liu, Hanyang Wang, Shunyu Yao, Shengjun Zhang, Jie Zhou, Yueqi Duan

cs.AI

Resumo

Nos últimos anos, houve um rápido desenvolvimento em modelos de geração 3D, abrindo novas possibilidades para aplicações como a simulação de movimentos dinâmicos de objetos 3D e a personalização de seus comportamentos. No entanto, os modelos generativos 3D atuais tendem a se concentrar apenas em características superficiais, como cor e forma, negligenciando as propriedades físicas inerentes que governam o comportamento dos objetos no mundo real. Para simular com precisão a dinâmica alinhada à física, é essencial prever as propriedades físicas dos materiais e incorporá-las ao processo de previsão de comportamento. No entanto, prever os diversos materiais dos objetos do mundo real ainda é desafiador devido à natureza complexa de seus atributos físicos. Neste artigo, propomos o Physics3D, um método inovador para aprender diversas propriedades físicas de objetos 3D por meio de um modelo de difusão de vídeo. Nossa abordagem envolve a criação de um sistema de simulação física altamente generalizável baseado em um modelo de material viscoelástico, o que nos permite simular uma ampla gama de materiais com capacidades de alta fidelidade. Além disso, destilamos os conhecimentos físicos de um modelo de difusão de vídeo que contém uma compreensão mais aprofundada dos materiais realistas dos objetos. Experimentos extensivos demonstram a eficácia do nosso método com materiais tanto elásticos quanto plásticos. O Physics3D mostra grande potencial para reduzir a lacuna entre o mundo físico e o espaço neural virtual, proporcionando uma melhor integração e aplicação de princípios físicos realistas em ambientes virtuais. Página do projeto: https://liuff19.github.io/Physics3D.

English

In recent years, there has been rapid development in 3D generation models, opening up new possibilities for applications such as simulating the dynamic movements of 3D objects and customizing their behaviors. However, current 3D generative models tend to focus only on surface features such as color and shape, neglecting the inherent physical properties that govern the behavior of objects in the real world. To accurately simulate physics-aligned dynamics, it is essential to predict the physical properties of materials and incorporate them into the behavior prediction process. Nonetheless, predicting the diverse materials of real-world objects is still challenging due to the complex nature of their physical attributes. In this paper, we propose Physics3D, a novel method for learning various physical properties of 3D objects through a video diffusion model. Our approach involves designing a highly generalizable physical simulation system based on a viscoelastic material model, which enables us to simulate a wide range of materials with high-fidelity capabilities. Moreover, we distill the physical priors from a video diffusion model that contains more understanding of realistic object materials. Extensive experiments demonstrate the effectiveness of our method with both elastic and plastic materials. Physics3D shows great potential for bridging the gap between the physical world and virtual neural space, providing a better integration and application of realistic physical principles in virtual environments. Project page: https://liuff19.github.io/Physics3D.