Physics3D: ビデオ拡散を介した3Dガウシアンの物理的特性の学習

Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion

June 6, 2024

著者: Fangfu Liu, Hanyang Wang, Shunyu Yao, Shengjun Zhang, Jie Zhou, Yueqi Duan

cs.AI

要旨

近年、3D生成モデルの急速な発展により、3Dオブジェクトの動的な動きをシミュレートしたり、その挙動をカスタマイズしたりするといった新たな応用の可能性が開かれています。しかし、現在の3D生成モデルは色や形状といった表面の特徴に焦点を当てる傾向があり、現実世界での物体の挙動を支配する物理的特性を無視しがちです。物理法則に沿った動きを正確にシミュレートするためには、材料の物理的特性を予測し、それを挙動予測プロセスに組み込むことが不可欠です。とはいえ、現実世界の物体が持つ多様な材料を予測することは、その物理的属性の複雑さゆえに依然として困難です。本論文では、ビデオ拡散モデルを通じて3Dオブジェクトの様々な物理的特性を学習する新しい手法「Physics3D」を提案します。我々のアプローチは、粘弾性材料モデルに基づいた高い汎用性を持つ物理シミュレーションシステムを設計し、幅広い材料を高忠実度でシミュレートすることを可能にします。さらに、現実的な物体材料に対する理解をより多く含むビデオ拡散モデルから物理的な事前知識を蒸留します。弾性材料と塑性材料の両方を用いた広範な実験により、本手法の有効性が実証されています。Physics3Dは、物理世界と仮想ニューラル空間の間のギャップを埋め、仮想環境における現実的な物理法則の統合と応用をより良くする大きな可能性を示しています。プロジェクトページ: https://liuff19.github.io/Physics3D。

English

In recent years, there has been rapid development in 3D generation models, opening up new possibilities for applications such as simulating the dynamic movements of 3D objects and customizing their behaviors. However, current 3D generative models tend to focus only on surface features such as color and shape, neglecting the inherent physical properties that govern the behavior of objects in the real world. To accurately simulate physics-aligned dynamics, it is essential to predict the physical properties of materials and incorporate them into the behavior prediction process. Nonetheless, predicting the diverse materials of real-world objects is still challenging due to the complex nature of their physical attributes. In this paper, we propose Physics3D, a novel method for learning various physical properties of 3D objects through a video diffusion model. Our approach involves designing a highly generalizable physical simulation system based on a viscoelastic material model, which enables us to simulate a wide range of materials with high-fidelity capabilities. Moreover, we distill the physical priors from a video diffusion model that contains more understanding of realistic object materials. Extensive experiments demonstrate the effectiveness of our method with both elastic and plastic materials. Physics3D shows great potential for bridging the gap between the physical world and virtual neural space, providing a better integration and application of realistic physical principles in virtual environments. Project page: https://liuff19.github.io/Physics3D.