PhysDreamer: 비디오 생성을 통한 3D 객체와의 물리 기반 상호작용

PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation

April 19, 2024

저자: Tianyuan Zhang, Hong-Xing Yu, Rundi Wu, Brandon Y. Feng, Changxi Zheng, Noah Snavely, Jiajun Wu, William T. Freeman

cs.AI

초록

현실적인 객체 상호작용은 몰입형 가상 경험을 창조하는 데 있어 핵심적이지만, 새로운 상호작용에 대한 사실적인 3D 객체 역학을 합성하는 것은 여전히 큰 과제로 남아 있습니다. 무조건적 또는 텍스트 기반 역학 생성과 달리, 행동 기반 역학은 객체의 물리적 재질 특성을 인지하고 이러한 특성(예: 객체의 강성)에 기반하여 3D 운동을 예측해야 합니다. 그러나 실제 객체의 물리적 재질 특성을 측정하는 것이 매우 어렵기 때문에, 이러한 특성을 추정하는 것은 아직 해결되지 않은 문제입니다. 우리는 비디오 생성 모델이 학습한 객체 역학 사전 지식을 활용하여 정적 3D 객체에 상호작용 역학을 부여하는 물리 기반 접근법인 PhysDreamer를 제안합니다. 이러한 사전 지식을 정제함으로써, PhysDreamer는 외부 힘이나 에이전트 조작과 같은 새로운 상호작용에 대한 사실적인 객체 반응을 합성할 수 있습니다. 우리는 탄성 객체의 다양한 예시를 통해 이 접근법을 시연하고, 사용자 연구를 통해 합성된 상호작용의 현실성을 평가합니다. PhysDreamer는 정적 3D 객체가 물리적으로 타당한 방식으로 상호작용 자극에 동적으로 반응할 수 있게 함으로써 더욱 흥미롭고 현실적인 가상 경험을 위한 한 걸음을 내딛습니다. 자세한 내용은 프로젝트 페이지(https://physdreamer.github.io/)를 참조하십시오.

English

Realistic object interactions are crucial for creating immersive virtual experiences, yet synthesizing realistic 3D object dynamics in response to novel interactions remains a significant challenge. Unlike unconditional or text-conditioned dynamics generation, action-conditioned dynamics requires perceiving the physical material properties of objects and grounding the 3D motion prediction on these properties, such as object stiffness. However, estimating physical material properties is an open problem due to the lack of material ground-truth data, as measuring these properties for real objects is highly difficult. We present PhysDreamer, a physics-based approach that endows static 3D objects with interactive dynamics by leveraging the object dynamics priors learned by video generation models. By distilling these priors, PhysDreamer enables the synthesis of realistic object responses to novel interactions, such as external forces or agent manipulations. We demonstrate our approach on diverse examples of elastic objects and evaluate the realism of the synthesized interactions through a user study. PhysDreamer takes a step towards more engaging and realistic virtual experiences by enabling static 3D objects to dynamically respond to interactive stimuli in a physically plausible manner. See our project page at https://physdreamer.github.io/.