PhysGaussian: Gaussianas 3D Integradas con Física para Dinámicas Generativas

PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics

November 20, 2023

Autores: Tianyi Xie, Zeshun Zong, Yuxin Qiu, Xuan Li, Yutao Feng, Yin Yang, Chenfanfu Jiang

cs.AI

Resumen

Presentamos PhysGaussian, un nuevo método que integra de manera fluida la dinámica newtoniana físicamente fundamentada dentro de gaussianas 3D para lograr una síntesis de movimiento novedoso de alta calidad. Empleando un Método de Puntos Materiales (MPM) personalizado, nuestro enfoque enriquece los núcleos gaussianos 3D con atributos cinemáticos de deformación y tensión mecánica con significado físico, todos evolucionados de acuerdo con los principios de la mecánica de medios continuos. Una característica distintiva de nuestro método es la integración fluida entre la simulación física y el renderizado visual: ambos componentes utilizan los mismos núcleos gaussianos 3D como sus representaciones discretas. Esto elimina la necesidad de mallado de triángulos/tetraedros, cubos de marcha, "mallas de jaula" o cualquier otro tipo de incrustación geométrica, destacando el principio de "lo que ves es lo que simulas (WS^2)". Nuestro método demuestra una versatilidad excepcional en una amplia variedad de materiales—incluyendo entidades elásticas, metales, fluidos no newtonianos y materiales granulares—mostrando sus sólidas capacidades para crear contenido visual diverso con puntos de vista y movimientos novedosos. Nuestra página del proyecto se encuentra en: https://xpandora.github.io/PhysGaussian/

English

We introduce PhysGaussian, a new method that seamlessly integrates physically grounded Newtonian dynamics within 3D Gaussians to achieve high-quality novel motion synthesis. Employing a custom Material Point Method (MPM), our approach enriches 3D Gaussian kernels with physically meaningful kinematic deformation and mechanical stress attributes, all evolved in line with continuum mechanics principles. A defining characteristic of our method is the seamless integration between physical simulation and visual rendering: both components utilize the same 3D Gaussian kernels as their discrete representations. This negates the necessity for triangle/tetrahedron meshing, marching cubes, "cage meshes," or any other geometry embedding, highlighting the principle of "what you see is what you simulate (WS^2)." Our method demonstrates exceptional versatility across a wide variety of materials--including elastic entities, metals, non-Newtonian fluids, and granular materials--showcasing its strong capabilities in creating diverse visual content with novel viewpoints and movements. Our project page is at: https://xpandora.github.io/PhysGaussian/