PhysTwin : Reconstruction et simulation basées sur la physique d'objets déformables à partir de vidéos

PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos

March 23, 2025

Auteurs: Hanxiao Jiang, Hao-Yu Hsu, Kaifeng Zhang, Hsin-Ni Yu, Shenlong Wang, Yunzhu Li

cs.AI

Résumé

La création d'un jumeau numérique physique d'un objet du monde réel présente un immense potentiel dans les domaines de la robotique, de la création de contenu et de la réalité étendue (XR). Dans cet article, nous présentons PhysTwin, un nouveau cadre qui utilise des vidéos éparses d'objets dynamiques en interaction pour produire une réplique virtuelle interactive en temps réel, à la fois photoréaliste et physiquement réaliste. Notre approche repose sur deux composants clés : (1) une représentation informée par la physique qui combine des modèles masse-ressort pour une simulation physique réaliste, des modèles génératifs de forme pour la géométrie, et des splats gaussiens pour le rendu ; et (2) un nouveau cadre de modélisation inverse basé sur l'optimisation en plusieurs étapes qui reconstruit la géométrie complète, infère des propriétés physiques denses et reproduit l'apparence réaliste à partir de vidéos. Notre méthode intègre un cadre de physique inverse avec des indices de perception visuelle, permettant une reconstruction haute fidélité même à partir de points de vue partiels, occlus et limités. PhysTwin prend en charge la modélisation de divers objets déformables, notamment des cordes, des peluches, des tissus et des colis. Les expériences montrent que PhysTwin surpasse les méthodes concurrentes en matière de reconstruction, de rendu, de prédiction future et de simulation sous de nouvelles interactions. Nous démontrons en outre ses applications dans la simulation interactive en temps réel et la planification de mouvements robotiques basée sur des modèles.

English

Creating a physical digital twin of a real-world object has immense potential in robotics, content creation, and XR. In this paper, we present PhysTwin, a novel framework that uses sparse videos of dynamic objects under interaction to produce a photo- and physically realistic, real-time interactive virtual replica. Our approach centers on two key components: (1) a physics-informed representation that combines spring-mass models for realistic physical simulation, generative shape models for geometry, and Gaussian splats for rendering; and (2) a novel multi-stage, optimization-based inverse modeling framework that reconstructs complete geometry, infers dense physical properties, and replicates realistic appearance from videos. Our method integrates an inverse physics framework with visual perception cues, enabling high-fidelity reconstruction even from partial, occluded, and limited viewpoints. PhysTwin supports modeling various deformable objects, including ropes, stuffed animals, cloth, and delivery packages. Experiments show that PhysTwin outperforms competing methods in reconstruction, rendering, future prediction, and simulation under novel interactions. We further demonstrate its applications in interactive real-time simulation and model-based robotic motion planning.