Physics3D: Изучение физических свойств трехмерных гауссианов через видео диффузии

Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion

June 6, 2024

Авторы: Fangfu Liu, Hanyang Wang, Shunyu Yao, Shengjun Zhang, Jie Zhou, Yueqi Duan

cs.AI

Аннотация

В последние годы произошло быстрое развитие моделей генерации 3D, открывающее новые возможности для приложений, таких как моделирование динамических движений 3D объектов и настройка их поведения. Однако текущие 3D генеративные модели обычно сосредотачиваются только на поверхностных особенностях, таких как цвет и форма, игнорируя врожденные физические свойства, определяющие поведение объектов в реальном мире. Для точного моделирования динамики, соответствующей физике, необходимо предсказывать физические свойства материалов и включать их в процесс прогнозирования поведения. Тем не менее предсказание разнообразных материалов объектов реального мира по-прежнему вызывает трудности из-за сложной природы их физических характеристик. В данной статье мы предлагаем Physics3D, новый метод для изучения различных физических свойств 3D объектов с помощью модели видео-диффузии. Наш подход включает разработку высокообобщаемой системы физического моделирования на основе модели вязкоупругого материала, что позволяет нам моделировать широкий спектр материалов с высокой степенью достоверности. Более того, мы извлекаем физические априорные знания из модели видео-диффузии, содержащей более глубокое понимание реалистичных материалов объектов. Обширные эксперименты демонстрируют эффективность нашего метода как с упругими, так и с пластичными материалами. Physics3D показывает большой потенциал для сокращения разрыва между физическим миром и виртуальным пространством нейронов, обеспечивая лучшую интеграцию и применение реалистичных физических принципов в виртуальных средах. Страница проекта: https://liuff19.github.io/Physics3D.

English

In recent years, there has been rapid development in 3D generation models, opening up new possibilities for applications such as simulating the dynamic movements of 3D objects and customizing their behaviors. However, current 3D generative models tend to focus only on surface features such as color and shape, neglecting the inherent physical properties that govern the behavior of objects in the real world. To accurately simulate physics-aligned dynamics, it is essential to predict the physical properties of materials and incorporate them into the behavior prediction process. Nonetheless, predicting the diverse materials of real-world objects is still challenging due to the complex nature of their physical attributes. In this paper, we propose Physics3D, a novel method for learning various physical properties of 3D objects through a video diffusion model. Our approach involves designing a highly generalizable physical simulation system based on a viscoelastic material model, which enables us to simulate a wide range of materials with high-fidelity capabilities. Moreover, we distill the physical priors from a video diffusion model that contains more understanding of realistic object materials. Extensive experiments demonstrate the effectiveness of our method with both elastic and plastic materials. Physics3D shows great potential for bridging the gap between the physical world and virtual neural space, providing a better integration and application of realistic physical principles in virtual environments. Project page: https://liuff19.github.io/Physics3D.