PhysTwin: ビデオからの変形可能物体の物理情報に基づく再構築とシミュレーション

PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos

March 23, 2025

著者: Hanxiao Jiang, Hao-Yu Hsu, Kaifeng Zhang, Hsin-Ni Yu, Shenlong Wang, Yunzhu Li

cs.AI

要旨

現実世界の物体の物理的デジタルツインを作成することは、ロボティクス、コンテンツ制作、XRにおいて非常に大きな可能性を秘めています。本論文では、PhysTwinという新しいフレームワークを紹介します。これは、相互作用下にある動的物体のスパースなビデオを使用して、写真のようにリアルで物理的に正確な、リアルタイムでインタラクティブな仮想レプリカを生成するものです。私たちのアプローチは、2つの主要なコンポーネントに焦点を当てています：(1) 現実的な物理シミュレーションのためのバネ-質量モデル、形状のための生成的形状モデル、レンダリングのためのガウススプラットを組み合わせた物理情報表現、(2) ビデオから完全な形状を再構築し、密度の高い物理特性を推定し、リアルな外観を再現するための新しい多段階最適化ベースの逆モデリングフレームワークです。私たちの手法は、逆物理フレームワークと視覚的知覚の手がかりを統合し、部分的で遮蔽された限定的な視点からでも高忠実度の再構築を可能にします。PhysTwinは、ロープ、ぬいぐるみ、布、配送パッケージなど、さまざまな変形可能な物体のモデリングをサポートします。実験では、PhysTwinが再構築、レンダリング、未来予測、新たな相互作用下でのシミュレーションにおいて、競合する手法を凌駕することを示しています。さらに、インタラクティブなリアルタイムシミュレーションやモデルベースのロボット動作計画への応用を実証します。

English

Creating a physical digital twin of a real-world object has immense potential in robotics, content creation, and XR. In this paper, we present PhysTwin, a novel framework that uses sparse videos of dynamic objects under interaction to produce a photo- and physically realistic, real-time interactive virtual replica. Our approach centers on two key components: (1) a physics-informed representation that combines spring-mass models for realistic physical simulation, generative shape models for geometry, and Gaussian splats for rendering; and (2) a novel multi-stage, optimization-based inverse modeling framework that reconstructs complete geometry, infers dense physical properties, and replicates realistic appearance from videos. Our method integrates an inverse physics framework with visual perception cues, enabling high-fidelity reconstruction even from partial, occluded, and limited viewpoints. PhysTwin supports modeling various deformable objects, including ropes, stuffed animals, cloth, and delivery packages. Experiments show that PhysTwin outperforms competing methods in reconstruction, rendering, future prediction, and simulation under novel interactions. We further demonstrate its applications in interactive real-time simulation and model-based robotic motion planning.