Physics3D: 비디오 확산을 통해 3D 가우시안의 물리적 특성 학습

초록

최근 몇 년간 3D 생성 모델의 급속한 발전으로 인해 3D 객체의 동적 움직임을 시뮬레이션하고 그 행동을 맞춤화하는 등의 새로운 응용 가능성이 열렸다. 그러나 현재의 3D 생성 모델은 색상과 형태와 같은 표면적 특징에만 초점을 맞추는 경향이 있어, 실제 세계에서 객체의 행동을 지배하는 내재된 물리적 속성을 간과하고 있다. 물리학적으로 정렬된 동역학을 정확하게 시뮬레이션하기 위해서는 재료의 물리적 속성을 예측하고 이를 행동 예측 과정에 통합하는 것이 필수적이다. 그럼에도 불구하고, 실제 세계 객체의 다양한 재료를 예측하는 것은 그 물리적 속성의 복잡성으로 인해 여전히 어려운 과제로 남아 있다. 본 논문에서는 비디오 확산 모델을 통해 3D 객체의 다양한 물리적 속성을 학습하는 새로운 방법인 Physics3D를 제안한다. 우리의 접근 방식은 점탄성 재료 모델을 기반으로 한 높은 일반화 가능성을 가진 물리 시뮬레이션 시스템을 설계하는 것으로, 이를 통해 다양한 재료를 고해상도로 시뮬레이션할 수 있다. 또한, 현실적인 객체 재료에 대한 더 깊은 이해를 포함하고 있는 비디오 확산 모델로부터 물리적 사전 지식을 추출한다. 광범위한 실험을 통해 우리의 방법이 탄성 및 소성 재료 모두에서 효과적임을 입증하였다. Physics3D는 물리적 세계와 가상 신경 공간 간의 간극을 줄이는 데 큰 잠재력을 보여주며, 가상 환경에서 현실적인 물리 법칙의 더 나은 통합과 응용을 제공한다. 프로젝트 페이지: https://liuff19.github.io/Physics3D.

English

In recent years, there has been rapid development in 3D generation models, opening up new possibilities for applications such as simulating the dynamic movements of 3D objects and customizing their behaviors. However, current 3D generative models tend to focus only on surface features such as color and shape, neglecting the inherent physical properties that govern the behavior of objects in the real world. To accurately simulate physics-aligned dynamics, it is essential to predict the physical properties of materials and incorporate them into the behavior prediction process. Nonetheless, predicting the diverse materials of real-world objects is still challenging due to the complex nature of their physical attributes. In this paper, we propose Physics3D, a novel method for learning various physical properties of 3D objects through a video diffusion model. Our approach involves designing a highly generalizable physical simulation system based on a viscoelastic material model, which enables us to simulate a wide range of materials with high-fidelity capabilities. Moreover, we distill the physical priors from a video diffusion model that contains more understanding of realistic object materials. Extensive experiments demonstrate the effectiveness of our method with both elastic and plastic materials. Physics3D shows great potential for bridging the gap between the physical world and virtual neural space, providing a better integration and application of realistic physical principles in virtual environments. Project page: https://liuff19.github.io/Physics3D.

Physics3D: 비디오 확산을 통해 3D 가우시안의 물리적 특성 학습

Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion

초록

Support