PhysGaussian: Физически интегрированные 3D-гауссовы распределения для генеративной динамики

PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics

November 20, 2023

Авторы: Tianyi Xie, Zeshun Zong, Yuxin Qiu, Xuan Li, Yutao Feng, Yin Yang, Chenfanfu Jiang

cs.AI

Аннотация

Мы представляем PhysGaussian — новый метод, который органично интегрирует физически обоснованную ньютоновскую динамику в 3D-гауссовы распределения для достижения высококачественного синтеза новых движений. Используя специализированный метод материальных точек (Material Point Method, MPM), наш подход обогащает 3D-гауссовы ядра физически значимыми атрибутами кинематической деформации и механического напряжения, которые развиваются в соответствии с принципами механики сплошных сред. Ключевой особенностью нашего метода является бесшовная интеграция физического моделирования и визуализации: оба компонента используют одни и те же 3D-гауссовы ядра в качестве дискретных представлений. Это устраняет необходимость в триангуляции/тетраэдризации, алгоритме marching cubes, «каркасных сетках» или любых других геометрических вложениях, подчеркивая принцип «что видишь, то и моделируешь (WS^2)». Наш метод демонстрирует исключительную универсальность для широкого спектра материалов, включая упругие тела, металлы, неньютоновские жидкости и гранулированные материалы, что подчеркивает его мощные возможности в создании разнообразного визуального контента с новыми ракурсами и движениями. Страница проекта доступна по адресу: https://xpandora.github.io/PhysGaussian/

English

We introduce PhysGaussian, a new method that seamlessly integrates physically grounded Newtonian dynamics within 3D Gaussians to achieve high-quality novel motion synthesis. Employing a custom Material Point Method (MPM), our approach enriches 3D Gaussian kernels with physically meaningful kinematic deformation and mechanical stress attributes, all evolved in line with continuum mechanics principles. A defining characteristic of our method is the seamless integration between physical simulation and visual rendering: both components utilize the same 3D Gaussian kernels as their discrete representations. This negates the necessity for triangle/tetrahedron meshing, marching cubes, "cage meshes," or any other geometry embedding, highlighting the principle of "what you see is what you simulate (WS^2)." Our method demonstrates exceptional versatility across a wide variety of materials--including elastic entities, metals, non-Newtonian fluids, and granular materials--showcasing its strong capabilities in creating diverse visual content with novel viewpoints and movements. Our project page is at: https://xpandora.github.io/PhysGaussian/