PhysGaussian: Physik-integrierte 3D-Gaußsche für generative Dynamik

PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics

November 20, 2023

Autoren: Tianyi Xie, Zeshun Zong, Yuxin Qiu, Xuan Li, Yutao Feng, Yin Yang, Chenfanfu Jiang

cs.AI

Zusammenfassung

Wir stellen PhysGaussian vor, eine neue Methode, die physikalisch fundierte Newtonsche Dynamik nahtlos in 3D-Gauss-Verteilungen integriert, um hochwertige neuartige Bewegungs-synthesen zu erreichen. Durch den Einsatz einer speziellen Material-Point-Methode (MPM) erweitert unser Ansatz 3D-Gauss-Kerne mit physikalisch bedeutsamen kinematischen Verformungen und mechanischen Spannungsattributen, die alle in Übereinstimmung mit den Prinzipien der Kontinuumsmechanik entwickelt werden. Ein entscheidendes Merkmal unserer Methode ist die nahtlose Integration zwischen physikalischer Simulation und visuellem Rendering: Beide Komponenten verwenden dieselben 3D-Gauss-Kerne als ihre diskreten Repräsentationen. Dadurch entfällt die Notwendigkeit für Dreiecks-/Tetraeder-Netzgenerierung, Marching Cubes, „Cage Meshes“ oder andere geometrische Einbettungen, was das Prinzip „Was du siehst, ist was du simulierst (WS^2)“ hervorhebt. Unsere Methode zeigt außergewöhnliche Vielseitigkeit bei einer Vielzahl von Materialien – einschließlich elastischer Körper, Metalle, nicht-Newtonscher Flüssigkeiten und granulärer Materialien – und demonstriert ihre starken Fähigkeiten bei der Erzeugung vielfältiger visueller Inhalte mit neuen Blickwinkeln und Bewegungen. Unsere Projektseite finden Sie unter: https://xpandora.github.io/PhysGaussian/

English

We introduce PhysGaussian, a new method that seamlessly integrates physically grounded Newtonian dynamics within 3D Gaussians to achieve high-quality novel motion synthesis. Employing a custom Material Point Method (MPM), our approach enriches 3D Gaussian kernels with physically meaningful kinematic deformation and mechanical stress attributes, all evolved in line with continuum mechanics principles. A defining characteristic of our method is the seamless integration between physical simulation and visual rendering: both components utilize the same 3D Gaussian kernels as their discrete representations. This negates the necessity for triangle/tetrahedron meshing, marching cubes, "cage meshes," or any other geometry embedding, highlighting the principle of "what you see is what you simulate (WS^2)." Our method demonstrates exceptional versatility across a wide variety of materials--including elastic entities, metals, non-Newtonian fluids, and granular materials--showcasing its strong capabilities in creating diverse visual content with novel viewpoints and movements. Our project page is at: https://xpandora.github.io/PhysGaussian/