PhysGaussian: Gaussiana 3D Integrada à Física para Dinâmica Generativa

PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics

November 20, 2023

Autores: Tianyi Xie, Zeshun Zong, Yuxin Qiu, Xuan Li, Yutao Feng, Yin Yang, Chenfanfu Jiang

cs.AI

Resumo

Apresentamos o PhysGaussian, um novo método que integra de forma contínua a dinâmica newtoniana fisicamente fundamentada em Gaussianas 3D para alcançar uma síntese de movimento de alta qualidade. Utilizando um Método de Pontos Materiais (MPM) personalizado, nossa abordagem enriquece os núcleos de Gaussianas 3D com atributos de deformação cinemática e tensão mecânica fisicamente significativos, todos evoluídos de acordo com os princípios da mecânica do contínuo. Uma característica definidora do nosso método é a integração contínua entre a simulação física e a renderização visual: ambos os componentes utilizam os mesmos núcleos de Gaussianas 3D como suas representações discretas. Isso elimina a necessidade de malhas de triângulos/tetraedros, cubos de marcha, "malhas de gaiola" ou qualquer outro tipo de incorporação geométrica, destacando o princípio de "o que você vê é o que você simula (WS^2)". Nosso método demonstra uma versatilidade excepcional em uma ampla variedade de materiais—incluindo entidades elásticas, metais, fluidos não newtonianos e materiais granulares—mostrando suas fortes capacidades na criação de conteúdo visual diversificado com novos pontos de vista e movimentos. Nossa página do projeto está em: https://xpandora.github.io/PhysGaussian/

English

We introduce PhysGaussian, a new method that seamlessly integrates physically grounded Newtonian dynamics within 3D Gaussians to achieve high-quality novel motion synthesis. Employing a custom Material Point Method (MPM), our approach enriches 3D Gaussian kernels with physically meaningful kinematic deformation and mechanical stress attributes, all evolved in line with continuum mechanics principles. A defining characteristic of our method is the seamless integration between physical simulation and visual rendering: both components utilize the same 3D Gaussian kernels as their discrete representations. This negates the necessity for triangle/tetrahedron meshing, marching cubes, "cage meshes," or any other geometry embedding, highlighting the principle of "what you see is what you simulate (WS^2)." Our method demonstrates exceptional versatility across a wide variety of materials--including elastic entities, metals, non-Newtonian fluids, and granular materials--showcasing its strong capabilities in creating diverse visual content with novel viewpoints and movements. Our project page is at: https://xpandora.github.io/PhysGaussian/