CRISP: 평면 장면 기본 요소를 활용한 단안 영상의 접촉 유도 실시간-시뮬레이션 변환
CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives
December 16, 2025
저자: Zihan Wang, Jiashun Wang, Jeff Tan, Yiwen Zhao, Jessica Hodgins, Shubham Tulsiani, Deva Ramanan
cs.AI
초록
단일 영상에서 시뮬레이션 가능한 인간 동작과 장면 기하구조를 복원하는 CRISP 방법을 소개한다. 인간-장면 통합 복원에 관한 기존 연구는 데이터 기반 사전 지식에 의존하거나 물리 법칙을 고려하지 않은 연동 최적화를 수행하며, 결함이 있는 노이즈가 많은 기하구조를 복원하여 장면 상호작용을 포함한 동작 추적 정책이 실패하게 만든다. 이와 대조적으로, 우리의 핵심 통찰은 깊이, 법선, 광류 정보에 대한 간단한 클러스터링 파이프라인을 통해 장면의 포인트 클라우드 복원에 평면 프리미티브를 피팅함으로써 볼록하고 깨끗하며 시뮬레이션에 바로 사용 가능한 기하구조를 복원하는 것이다. 상호작용 중 가려질 수 있는 장면 기하구조를 복원하기 위해 인간-장면 접촉 모델링(예: 인간 자세를 활용하여 가려진 의자 좌석 복원)을 활용한다. 마지막으로, 복원된 인간과 장면 정보를 강화학습을 통한 휴머노이드 컨트롤러 구동에 사용하여 물리적으로 타당한 결과를 보장한다. 우리의 접근법은 인간 중심 영상 벤치마크(EMDB, PROX)에서 동작 추적 실패율을 55.2%에서 6.9%로 줄이는 동시에 RL 시뮬레이션 처리량을 43% 향상시킨다. 일상적으로 촬영된 영상, 인터넷 영상, Sora 생성 영상을 포함한 실제 환경 영상에서 추가 검증을 수행하여 CRISP가 대규모로 물리적으로 유효한 인간 동작과 상호작용 환경을 생성할 수 있음을 입증함으로써 로보틱스와 AR/VR을 위한 실제-시뮬레이션 응용 분야를 크게 발전시킨다.
English
We introduce CRISP, a method that recovers simulatable human motion and scene geometry from monocular video. Prior work on joint human-scene reconstruction relies on data-driven priors and joint optimization with no physics in the loop, or recovers noisy geometry with artifacts that cause motion tracking policies with scene interactions to fail. In contrast, our key insight is to recover convex, clean, and simulation-ready geometry by fitting planar primitives to a point cloud reconstruction of the scene, via a simple clustering pipeline over depth, normals, and flow. To reconstruct scene geometry that might be occluded during interactions, we make use of human-scene contact modeling (e.g., we use human posture to reconstruct the occluded seat of a chair). Finally, we ensure that human and scene reconstructions are physically-plausible by using them to drive a humanoid controller via reinforcement learning. Our approach reduces motion tracking failure rates from 55.2\% to 6.9\% on human-centric video benchmarks (EMDB, PROX), while delivering a 43\% faster RL simulation throughput. We further validate it on in-the-wild videos including casually-captured videos, Internet videos, and even Sora-generated videos. This demonstrates CRISP's ability to generate physically-valid human motion and interaction environments at scale, greatly advancing real-to-sim applications for robotics and AR/VR.