PhysGaussian: Fysica-geïntegreerde 3D Gaussians voor Generatieve Dynamica

PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics

November 20, 2023

Auteurs: Tianyi Xie, Zeshun Zong, Yuxin Qiu, Xuan Li, Yutao Feng, Yin Yang, Chenfanfu Jiang

cs.AI

Samenvatting

We introduceren PhysGaussian, een nieuwe methode die fysisch onderbouwde Newtoniaanse dynamica naadloos integreert binnen 3D Gaussians om hoogwaardige synthese van nieuwe bewegingen te bereiken. Door gebruik te maken van een aangepaste Material Point Method (MPM), verrijkt onze aanpak 3D Gaussian kernels met fysisch betekenisvolle kinematische vervormingen en mechanische spanningsattributen, allemaal ontwikkeld in lijn met de principes van continuümmechanica. Een kenmerkend aspect van onze methode is de naadloze integratie tussen fysische simulatie en visuele rendering: beide componenten gebruiken dezelfde 3D Gaussian kernels als hun discrete representaties. Hierdoor is het niet nodig om driehoekige/tetraëdrische meshes, marching cubes, "cage meshes" of andere geometrische inbeddingen te gebruiken, wat het principe van "wat je ziet is wat je simuleert (WS^2)" benadrukt. Onze methode toont uitzonderlijke veelzijdigheid bij een breed scala aan materialen—waaronder elastische entiteiten, metalen, niet-Newtoniaanse vloeistoffen en granulaire materialen—en laat sterke mogelijkheden zien in het creëren van diverse visuele content met nieuwe gezichtspunten en bewegingen. Onze projectpagina is te vinden op: https://xpandora.github.io/PhysGaussian/

English

We introduce PhysGaussian, a new method that seamlessly integrates physically grounded Newtonian dynamics within 3D Gaussians to achieve high-quality novel motion synthesis. Employing a custom Material Point Method (MPM), our approach enriches 3D Gaussian kernels with physically meaningful kinematic deformation and mechanical stress attributes, all evolved in line with continuum mechanics principles. A defining characteristic of our method is the seamless integration between physical simulation and visual rendering: both components utilize the same 3D Gaussian kernels as their discrete representations. This negates the necessity for triangle/tetrahedron meshing, marching cubes, "cage meshes," or any other geometry embedding, highlighting the principle of "what you see is what you simulate (WS^2)." Our method demonstrates exceptional versatility across a wide variety of materials--including elastic entities, metals, non-Newtonian fluids, and granular materials--showcasing its strong capabilities in creating diverse visual content with novel viewpoints and movements. Our project page is at: https://xpandora.github.io/PhysGaussian/