PhysTwin: Физически обоснованная реконструкция и симуляция деформируемых объектов на основе видеозаписей

PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos

March 23, 2025

Авторы: Hanxiao Jiang, Hao-Yu Hsu, Kaifeng Zhang, Hsin-Ni Yu, Shenlong Wang, Yunzhu Li

cs.AI

Аннотация

Создание физического цифрового двойника реального объекта обладает огромным потенциалом в робототехнике, создании контента и расширенной реальности (XR). В данной статье мы представляем PhysTwin — новый фреймворк, который использует разреженные видео динамических объектов в процессе взаимодействия для создания фотореалистичной и физически точной интерактивной виртуальной копии в реальном времени. Наш подход основывается на двух ключевых компонентах: (1) физически информированное представление, объединяющее модели пружинно-массовых систем для реалистичного физического моделирования, генеративные модели формы для геометрии и гауссовы сплайны для рендеринга; и (2) новая многоэтапная оптимизационная структура обратного моделирования, которая восстанавливает полную геометрию, определяет плотные физические свойства и воспроизводит реалистичный внешний вид на основе видео. Наш метод интегрирует фреймворк обратной физики с визуальными подсказками восприятия, что позволяет достичь высокоточной реконструкции даже при частичных, заслонённых и ограниченных углах обзора. PhysTwin поддерживает моделирование различных деформируемых объектов, включая верёвки, мягкие игрушки, ткань и посылки. Эксперименты показывают, что PhysTwin превосходит конкурирующие методы в реконструкции, рендеринге, прогнозировании будущего состояния и моделировании при новых взаимодействиях. Мы также демонстрируем его применение в интерактивном моделировании в реальном времени и планировании движений роботов на основе моделей.

English

Creating a physical digital twin of a real-world object has immense potential in robotics, content creation, and XR. In this paper, we present PhysTwin, a novel framework that uses sparse videos of dynamic objects under interaction to produce a photo- and physically realistic, real-time interactive virtual replica. Our approach centers on two key components: (1) a physics-informed representation that combines spring-mass models for realistic physical simulation, generative shape models for geometry, and Gaussian splats for rendering; and (2) a novel multi-stage, optimization-based inverse modeling framework that reconstructs complete geometry, infers dense physical properties, and replicates realistic appearance from videos. Our method integrates an inverse physics framework with visual perception cues, enabling high-fidelity reconstruction even from partial, occluded, and limited viewpoints. PhysTwin supports modeling various deformable objects, including ropes, stuffed animals, cloth, and delivery packages. Experiments show that PhysTwin outperforms competing methods in reconstruction, rendering, future prediction, and simulation under novel interactions. We further demonstrate its applications in interactive real-time simulation and model-based robotic motion planning.