PhysDreamer: ビデオ生成による3Dオブジェクトとの物理ベースインタラクション

PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation

April 19, 2024

著者: Tianyuan Zhang, Hong-Xing Yu, Rundi Wu, Brandon Y. Feng, Changxi Zheng, Noah Snavely, Jiajun Wu, William T. Freeman

cs.AI

要旨

現実的な物体の相互作用は、没入型の仮想体験を創出する上で極めて重要である。しかし、新たな相互作用に対する現実的な3D物体のダイナミクスを合成することは、依然として大きな課題である。無条件またはテキスト条件付きのダイナミクス生成とは異なり、行動条件付きダイナミクスでは、物体の物理的な材質特性を認識し、物体の剛性などの特性に基づいて3Dモーション予測を根拠付ける必要がある。しかし、物理的な材質特性を推定することは、材質の真値データが不足しているため未解決の問題であり、実物体のこれらの特性を測定することは非常に困難である。本論文では、PhysDreamerを提案する。これは、ビデオ生成モデルによって学習された物体ダイナミクスの事前知識を活用して、静的な3D物体にインタラクティブなダイナミクスを付与する物理ベースのアプローチである。これらの事前知識を蒸留することにより、PhysDreamerは、外力やエージェントの操作などの新たな相互作用に対する現実的な物体の応答を合成することが可能となる。我々は、弾性物体の多様な例に対して本アプローチを実証し、ユーザスタディを通じて合成された相互作用の現実性を評価する。PhysDreamerは、静的な3D物体がインタラクティブな刺激に対して物理的に妥当な方法で動的に応答することを可能にすることで、より魅力的で現実的な仮想体験に向けた一歩を踏み出す。プロジェクトページはhttps://physdreamer.github.io/を参照のこと。

English

Realistic object interactions are crucial for creating immersive virtual experiences, yet synthesizing realistic 3D object dynamics in response to novel interactions remains a significant challenge. Unlike unconditional or text-conditioned dynamics generation, action-conditioned dynamics requires perceiving the physical material properties of objects and grounding the 3D motion prediction on these properties, such as object stiffness. However, estimating physical material properties is an open problem due to the lack of material ground-truth data, as measuring these properties for real objects is highly difficult. We present PhysDreamer, a physics-based approach that endows static 3D objects with interactive dynamics by leveraging the object dynamics priors learned by video generation models. By distilling these priors, PhysDreamer enables the synthesis of realistic object responses to novel interactions, such as external forces or agent manipulations. We demonstrate our approach on diverse examples of elastic objects and evaluate the realism of the synthesized interactions through a user study. PhysDreamer takes a step towards more engaging and realistic virtual experiences by enabling static 3D objects to dynamically respond to interactive stimuli in a physically plausible manner. See our project page at https://physdreamer.github.io/.