PhysGaussian: Gaussiane 3D Integrate con Fisica per Dinamiche Generative

PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics

November 20, 2023

Autori: Tianyi Xie, Zeshun Zong, Yuxin Qiu, Xuan Li, Yutao Feng, Yin Yang, Chenfanfu Jiang

cs.AI

Abstract

Introduciamo PhysGaussian, un nuovo metodo che integra in modo fluido la dinamica newtoniana fisicamente fondata all’interno di Gaussiane 3D per ottenere una sintesi di movimento innovativa e di alta qualità. Utilizzando un metodo personalizzato dei punti materiali (Material Point Method, MPM), il nostro approccio arricchisce i kernel Gaussiani 3D con attributi cinematici di deformazione e stress meccanico fisicamente significativi, tutti evoluti in linea con i principi della meccanica del continuo. Una caratteristica distintiva del nostro metodo è l’integrazione senza soluzione di continuità tra simulazione fisica e rendering visivo: entrambe le componenti utilizzano gli stessi kernel Gaussiani 3D come loro rappresentazioni discrete. Ciò elimina la necessità di mesh triangolari/tetraedriche, marching cubes, "cage mesh" o qualsiasi altro tipo di embedding geometrico, evidenziando il principio di "ciò che vedi è ciò che simuli (WS^2)". Il nostro metodo dimostra un’eccezionale versatilità su una vasta gamma di materiali—inclusi entità elastiche, metalli, fluidi non newtoniani e materiali granulari—mostrando forti capacità nella creazione di contenuti visivi diversificati con punti di vista e movimenti innovativi. La nostra pagina del progetto è disponibile all’indirizzo: https://xpandora.github.io/PhysGaussian/.

English

We introduce PhysGaussian, a new method that seamlessly integrates physically grounded Newtonian dynamics within 3D Gaussians to achieve high-quality novel motion synthesis. Employing a custom Material Point Method (MPM), our approach enriches 3D Gaussian kernels with physically meaningful kinematic deformation and mechanical stress attributes, all evolved in line with continuum mechanics principles. A defining characteristic of our method is the seamless integration between physical simulation and visual rendering: both components utilize the same 3D Gaussian kernels as their discrete representations. This negates the necessity for triangle/tetrahedron meshing, marching cubes, "cage meshes," or any other geometry embedding, highlighting the principle of "what you see is what you simulate (WS^2)." Our method demonstrates exceptional versatility across a wide variety of materials--including elastic entities, metals, non-Newtonian fluids, and granular materials--showcasing its strong capabilities in creating diverse visual content with novel viewpoints and movements. Our project page is at: https://xpandora.github.io/PhysGaussian/