ReconPhys: 단일 비디오에서 외형 및 물리적 속성 복원

초록

물리적 타당성을 갖춘 비강체 객체 재구성은 여전히 중요한 과제로 남아 있습니다. 기존 방법들은 미분 가능 렌더링을 활용한 장면별 최적화를 통해 기하학적 구조와 역학을 복원하지만, 높은 수준의 튜닝이나 수동 주석이 필요하여 실용성과 일반화가 제한됩니다. 이를 해결하기 위해 우리는 단일 단안 비디오에서 물리적 속성 추정과 3D 가우시안 스플래팅 재구성을 함께 학습하는 최초의 순전파 프레임워크인 ReconPhys를 제안합니다. 우리의 방법은 실제 물리 레이블 없이 자가 지도 학습 전략으로 훈련된 이중 분기 구조를 채택합니다. 비디오 시퀀스가 주어지면 ReconPhys는 기하학, 외관 및 물리적 속성을 동시에 추론합니다. 대규모 합성 데이터셋에서의 실험 결과, 우리 방법이 미래 예측에서 최첨단 최적화 기준 방법의 13.27 PSNR에 비해 21.64 PSNR을 달성했으며, Chamfer Distance를 0.349에서 0.004로 크게 감소시키는 우수한 성능을 입증했습니다. 무엇보다도 ReconPhys는 기존 방법이 수 시간 소요되는 것과 비교해 빠른 추론(1초 미만)이 가능하여 로보틱스 및 그래픽스 분야에서 시뮬레이션 준비 자산의 신속한 생성을 가능하게 합니다.

English

Reconstructing non-rigid objects with physical plausibility remains a significant challenge. Existing approaches leverage differentiable rendering for per-scene optimization, recovering geometry and dynamics but requiring expensive tuning or manual annotation, which limits practicality and generalizability. To address this, we propose ReconPhys, the first feedforward framework that jointly learns physical attribute estimation and 3D Gaussian Splatting reconstruction from a single monocular video. Our method employs a dual-branch architecture trained via a self-supervised strategy, eliminating the need for ground-truth physics labels. Given a video sequence, ReconPhys simultaneously infers geometry, appearance, and physical attributes. Experiments on a large-scale synthetic dataset demonstrate superior performance: our method achieves 21.64 PSNR in future prediction compared to 13.27 by state-of-the-art optimization baselines, while reducing Chamfer Distance from 0.349 to 0.004. Crucially, ReconPhys enables fast inference (<1 second) versus hours required by existing methods, facilitating rapid generation of simulation-ready assets for robotics and graphics.

ReconPhys: 단일 비디오에서 외형 및 물리적 속성 복원

ReconPhys: Reconstruct Appearance and Physical Attributes from Single Video

초록

Support