PhysTwin: Reconstrução e Simulação Baseada em Física de Objetos Deformáveis a partir de Vídeos

PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos

March 23, 2025

Autores: Hanxiao Jiang, Hao-Yu Hsu, Kaifeng Zhang, Hsin-Ni Yu, Shenlong Wang, Yunzhu Li

cs.AI

Resumo

Criar um gêmeo digital físico de um objeto do mundo real tem um potencial imenso em robótica, criação de conteúdo e XR. Neste artigo, apresentamos o PhysTwin, uma nova estrutura que utiliza vídeos esparsos de objetos dinâmicos sob interação para produzir uma réplica virtual interativa em tempo real, fotorealista e fisicamente realista. Nossa abordagem centra-se em dois componentes principais: (1) uma representação informada por física que combina modelos de massa-mola para simulação física realista, modelos generativos de forma para geometria e splats gaussianos para renderização; e (2) uma nova estrutura de modelagem inversa baseada em otimização em múltiplos estágios que reconstrói a geometria completa, infere propriedades físicas densas e replica a aparência realista a partir de vídeos. Nosso método integra uma estrutura de física inversa com pistas de percepção visual, permitindo reconstrução de alta fidelidade mesmo a partir de visões parciais, ocluídas e limitadas. O PhysTwin suporta a modelagem de vários objetos deformáveis, incluindo cordas, bichos de pelúcia, tecidos e pacotes de entrega. Experimentos mostram que o PhysTwin supera métodos concorrentes em reconstrução, renderização, previsão futura e simulação sob novas interações. Além disso, demonstramos suas aplicações em simulação interativa em tempo real e planejamento de movimento robótico baseado em modelo.

English

Creating a physical digital twin of a real-world object has immense potential in robotics, content creation, and XR. In this paper, we present PhysTwin, a novel framework that uses sparse videos of dynamic objects under interaction to produce a photo- and physically realistic, real-time interactive virtual replica. Our approach centers on two key components: (1) a physics-informed representation that combines spring-mass models for realistic physical simulation, generative shape models for geometry, and Gaussian splats for rendering; and (2) a novel multi-stage, optimization-based inverse modeling framework that reconstructs complete geometry, infers dense physical properties, and replicates realistic appearance from videos. Our method integrates an inverse physics framework with visual perception cues, enabling high-fidelity reconstruction even from partial, occluded, and limited viewpoints. PhysTwin supports modeling various deformable objects, including ropes, stuffed animals, cloth, and delivery packages. Experiments show that PhysTwin outperforms competing methods in reconstruction, rendering, future prediction, and simulation under novel interactions. We further demonstrate its applications in interactive real-time simulation and model-based robotic motion planning.