Physics3D: Aprendizaje de Propiedades Físicas de Gaussianas 3D mediante Difusión de Video

Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion

June 6, 2024

Autores: Fangfu Liu, Hanyang Wang, Shunyu Yao, Shengjun Zhang, Jie Zhou, Yueqi Duan

cs.AI

Resumen

En los últimos años, ha habido un rápido desarrollo en los modelos de generación 3D, abriendo nuevas posibilidades para aplicaciones como la simulación de movimientos dinámicos de objetos 3D y la personalización de sus comportamientos. Sin embargo, los modelos generativos 3D actuales tienden a centrarse únicamente en características superficiales como el color y la forma, descuidando las propiedades físicas inherentes que gobiernan el comportamiento de los objetos en el mundo real. Para simular con precisión dinámicas alineadas con la física, es esencial predecir las propiedades físicas de los materiales e incorporarlas en el proceso de predicción del comportamiento. No obstante, predecir los diversos materiales de los objetos del mundo real sigue siendo un desafío debido a la naturaleza compleja de sus atributos físicos. En este artículo, proponemos Physics3D, un método novedoso para aprender diversas propiedades físicas de objetos 3D a través de un modelo de difusión de video. Nuestro enfoque implica diseñar un sistema de simulación física altamente generalizable basado en un modelo de material viscoelástico, lo que nos permite simular una amplia gama de materiales con capacidades de alta fidelidad. Además, destilamos los conocimientos previos físicos de un modelo de difusión de video que contiene una mayor comprensión de los materiales realistas de los objetos. Experimentos extensos demuestran la efectividad de nuestro método tanto con materiales elásticos como plásticos. Physics3D muestra un gran potencial para cerrar la brecha entre el mundo físico y el espacio neural virtual, proporcionando una mejor integración y aplicación de principios físicos realistas en entornos virtuales. Página del proyecto: https://liuff19.github.io/Physics3D.

English

In recent years, there has been rapid development in 3D generation models, opening up new possibilities for applications such as simulating the dynamic movements of 3D objects and customizing their behaviors. However, current 3D generative models tend to focus only on surface features such as color and shape, neglecting the inherent physical properties that govern the behavior of objects in the real world. To accurately simulate physics-aligned dynamics, it is essential to predict the physical properties of materials and incorporate them into the behavior prediction process. Nonetheless, predicting the diverse materials of real-world objects is still challenging due to the complex nature of their physical attributes. In this paper, we propose Physics3D, a novel method for learning various physical properties of 3D objects through a video diffusion model. Our approach involves designing a highly generalizable physical simulation system based on a viscoelastic material model, which enables us to simulate a wide range of materials with high-fidelity capabilities. Moreover, we distill the physical priors from a video diffusion model that contains more understanding of realistic object materials. Extensive experiments demonstrate the effectiveness of our method with both elastic and plastic materials. Physics3D shows great potential for bridging the gap between the physical world and virtual neural space, providing a better integration and application of realistic physical principles in virtual environments. Project page: https://liuff19.github.io/Physics3D.