PhysTwin: 비디오 기반 변형 가능 물체의 물리 정보 기반 재구성 및 시뮬레이션

PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos

March 23, 2025

저자: Hanxiao Jiang, Hao-Yu Hsu, Kaifeng Zhang, Hsin-Ni Yu, Shenlong Wang, Yunzhu Li

cs.AI

초록

실세계 객체의 물리적 디지털 트윈을 생성하는 것은 로보틱스, 콘텐츠 제작, XR 분야에서 엄청난 잠재력을 가지고 있습니다. 본 논문에서는 상호작용 중인 동적 객체의 희소한(sparse) 비디오를 사용하여 사진처럼 사실적이고 물리적으로 현실적인 실시간 상호작용 가상 복제본을 생성하는 새로운 프레임워크인 PhysTwin을 소개합니다. 우리의 접근 방식은 두 가지 핵심 구성 요소를 중심으로 합니다: (1) 현실적인 물리 시뮬레이션을 위한 스프링-질량 모델, 기하학적 구조를 위한 생성적 형태 모델, 그리고 렌더링을 위한 가우시안 스플랫을 결합한 물리 기반 표현; (2) 비디오로부터 완전한 기하학적 구조를 복원하고, 밀집된 물리적 속성을 추론하며, 현실적인 외관을 재현하는 새로운 다단계 최적화 기반 역모델링 프레임워크. 우리의 방법은 역물리학 프레임워크와 시각적 인지 단서를 통합하여 부분적, 가려짐, 제한된 시점에서도 고품질의 복원을 가능하게 합니다. PhysTwin은 로프, 봉제 인형, 천, 배송용 패키지 등 다양한 변형 가능한 객체의 모델링을 지원합니다. 실험 결과, PhysTwin은 복원, 렌더링, 미래 예측, 새로운 상호작용 하의 시뮬레이션에서 경쟁 방법들을 능가하는 성능을 보여줍니다. 또한, 우리는 상호작용 가능한 실시간 시뮬레이션과 모델 기반 로봇 모션 계획에서의 응용 사례를 추가로 시연합니다.

English

Creating a physical digital twin of a real-world object has immense potential in robotics, content creation, and XR. In this paper, we present PhysTwin, a novel framework that uses sparse videos of dynamic objects under interaction to produce a photo- and physically realistic, real-time interactive virtual replica. Our approach centers on two key components: (1) a physics-informed representation that combines spring-mass models for realistic physical simulation, generative shape models for geometry, and Gaussian splats for rendering; and (2) a novel multi-stage, optimization-based inverse modeling framework that reconstructs complete geometry, infers dense physical properties, and replicates realistic appearance from videos. Our method integrates an inverse physics framework with visual perception cues, enabling high-fidelity reconstruction even from partial, occluded, and limited viewpoints. PhysTwin supports modeling various deformable objects, including ropes, stuffed animals, cloth, and delivery packages. Experiments show that PhysTwin outperforms competing methods in reconstruction, rendering, future prediction, and simulation under novel interactions. We further demonstrate its applications in interactive real-time simulation and model-based robotic motion planning.