PhysTwin: Fysica-geïnformeerde reconstructie en simulatie van vervormbare objecten uit video's

PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos

March 23, 2025

Auteurs: Hanxiao Jiang, Hao-Yu Hsu, Kaifeng Zhang, Hsin-Ni Yu, Shenlong Wang, Yunzhu Li

cs.AI

Samenvatting

Het creëren van een fysieke digitale tweeling van een object uit de echte wereld heeft enorm potentieel in robotica, contentcreatie en XR. In dit artikel presenteren we PhysTwin, een nieuw framework dat gebruikmaakt van spaarzame video's van dynamische objecten onder interactie om een foto- en fysiek realistische, real-time interactieve virtuele replica te produceren. Onze aanpak draait om twee belangrijke componenten: (1) een fysica-geïnformeerde representatie die veer-massa modellen combineert voor realistische fysieke simulatie, generatieve vormmodellen voor geometrie, en Gaussische splats voor rendering; en (2) een nieuw, op optimalisatie gebaseerd inverse modeling framework in meerdere fasen dat complete geometrie reconstrueert, dichte fysieke eigenschappen afleidt, en een realistische weergave repliceert vanuit video's. Onze methode integreert een inverse fysica framework met visuele perceptie-aanwijzingen, waardoor hoogwaardige reconstructie mogelijk is, zelfs vanuit gedeeltelijke, verborgen en beperkte gezichtspunten. PhysTwin ondersteunt het modelleren van verschillende vervormbare objecten, waaronder touwen, knuffeldieren, stof en bezorgpakketten. Experimenten tonen aan dat PhysTwin concurrerende methoden overtreft in reconstructie, rendering, toekomstvoorspelling en simulatie onder nieuwe interacties. We demonstreren verder de toepassingen ervan in interactieve real-time simulatie en modelgebaseerde robotische bewegingsplanning.

English

Creating a physical digital twin of a real-world object has immense potential in robotics, content creation, and XR. In this paper, we present PhysTwin, a novel framework that uses sparse videos of dynamic objects under interaction to produce a photo- and physically realistic, real-time interactive virtual replica. Our approach centers on two key components: (1) a physics-informed representation that combines spring-mass models for realistic physical simulation, generative shape models for geometry, and Gaussian splats for rendering; and (2) a novel multi-stage, optimization-based inverse modeling framework that reconstructs complete geometry, infers dense physical properties, and replicates realistic appearance from videos. Our method integrates an inverse physics framework with visual perception cues, enabling high-fidelity reconstruction even from partial, occluded, and limited viewpoints. PhysTwin supports modeling various deformable objects, including ropes, stuffed animals, cloth, and delivery packages. Experiments show that PhysTwin outperforms competing methods in reconstruction, rendering, future prediction, and simulation under novel interactions. We further demonstrate its applications in interactive real-time simulation and model-based robotic motion planning.