PhysGaussian : Intégration de la physique dans les Gaussiennes 3D pour la dynamique générative

PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics

November 20, 2023

papers.authors: Tianyi Xie, Zeshun Zong, Yuxin Qiu, Xuan Li, Yutao Feng, Yin Yang, Chenfanfu Jiang

cs.AI

papers.abstract

Nous présentons PhysGaussian, une nouvelle méthode qui intègre de manière fluide la dynamique newtonienne physiquement fondée dans des Gaussiennes 3D pour réaliser une synthèse de mouvements novateurs de haute qualité. En utilisant une méthode des points matériels (MPM) personnalisée, notre approche enrichit les noyaux gaussiens 3D avec des attributs de déformation cinématique et de contrainte mécanique physiquement significatifs, tous évoluant conformément aux principes de la mécanique des milieux continus. Une caractéristique distinctive de notre méthode est l'intégration fluide entre la simulation physique et le rendu visuel : les deux composantes utilisent les mêmes noyaux gaussiens 3D comme représentations discrètes. Cela élimine la nécessité de maillages triangulaires/tétraédriques, de cubes de marche, de "maillages cages" ou de toute autre forme d'incorporation géométrique, mettant en avant le principe de "ce que vous voyez est ce que vous simulez (WS^2)". Notre méthode démontre une polyvalence exceptionnelle sur une grande variété de matériaux—incluant des entités élastiques, des métaux, des fluides non newtoniens et des matériaux granulaires—montrant ainsi ses fortes capacités à créer des contenus visuels diversifiés avec des points de vue et des mouvements novateurs. Notre page de projet est disponible à l'adresse : https://xpandora.github.io/PhysGaussian/

English

We introduce PhysGaussian, a new method that seamlessly integrates physically grounded Newtonian dynamics within 3D Gaussians to achieve high-quality novel motion synthesis. Employing a custom Material Point Method (MPM), our approach enriches 3D Gaussian kernels with physically meaningful kinematic deformation and mechanical stress attributes, all evolved in line with continuum mechanics principles. A defining characteristic of our method is the seamless integration between physical simulation and visual rendering: both components utilize the same 3D Gaussian kernels as their discrete representations. This negates the necessity for triangle/tetrahedron meshing, marching cubes, "cage meshes," or any other geometry embedding, highlighting the principle of "what you see is what you simulate (WS^2)." Our method demonstrates exceptional versatility across a wide variety of materials--including elastic entities, metals, non-Newtonian fluids, and granular materials--showcasing its strong capabilities in creating diverse visual content with novel viewpoints and movements. Our project page is at: https://xpandora.github.io/PhysGaussian/