PhysTwin: Reconstrucción y Simulación Basada en Física de Objetos Deformables a partir de Vídeos

PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos

March 23, 2025

Autores: Hanxiao Jiang, Hao-Yu Hsu, Kaifeng Zhang, Hsin-Ni Yu, Shenlong Wang, Yunzhu Li

cs.AI

Resumen

La creación de un gemelo digital físico de un objeto del mundo real tiene un potencial inmenso en robótica, creación de contenido y realidad extendida (XR). En este artículo, presentamos PhysTwin, un marco novedoso que utiliza videos escasos de objetos dinámicos bajo interacción para producir una réplica virtual interactiva en tiempo real, fotorealista y físicamente realista. Nuestro enfoque se centra en dos componentes clave: (1) una representación informada por la física que combina modelos de masa-resorte para simulación física realista, modelos generativos de formas para la geometría y splats gaussianos para el renderizado; y (2) un marco novedoso de modelado inverso basado en optimización en múltiples etapas que reconstruye la geometría completa, infiere propiedades físicas densas y replica la apariencia realista a partir de videos. Nuestro método integra un marco de física inversa con señales de percepción visual, permitiendo una reconstrucción de alta fidelidad incluso desde perspectivas parciales, ocluidas y limitadas. PhysTwin admite el modelado de diversos objetos deformables, incluyendo cuerdas, peluches, telas y paquetes de entrega. Los experimentos muestran que PhysTwin supera a los métodos competidores en reconstrucción, renderizado, predicción futura y simulación bajo nuevas interacciones. Además, demostramos sus aplicaciones en simulación interactiva en tiempo real y planificación de movimientos robóticos basada en modelos.

English

Creating a physical digital twin of a real-world object has immense potential in robotics, content creation, and XR. In this paper, we present PhysTwin, a novel framework that uses sparse videos of dynamic objects under interaction to produce a photo- and physically realistic, real-time interactive virtual replica. Our approach centers on two key components: (1) a physics-informed representation that combines spring-mass models for realistic physical simulation, generative shape models for geometry, and Gaussian splats for rendering; and (2) a novel multi-stage, optimization-based inverse modeling framework that reconstructs complete geometry, infers dense physical properties, and replicates realistic appearance from videos. Our method integrates an inverse physics framework with visual perception cues, enabling high-fidelity reconstruction even from partial, occluded, and limited viewpoints. PhysTwin supports modeling various deformable objects, including ropes, stuffed animals, cloth, and delivery packages. Experiments show that PhysTwin outperforms competing methods in reconstruction, rendering, future prediction, and simulation under novel interactions. We further demonstrate its applications in interactive real-time simulation and model-based robotic motion planning.