HSImul3R: 시뮬레이션 준비 인간-장면 상호작용의 물리 법칙 연동 재현

초록

본 논문에서는 희소 시점 이미지 및 단안 비디오와 같은 캐주얼 캡처로부터 인간-장면 상호작용(HSI)의 시뮬레이션 준비가 된 3D 재구성을 위한 통합 프레임워크인 HSImul3R을 제안합니다. 기존 방법은 지각-시뮬레이션 간극 문제를 겪고 있습니다. 즉, 시각적으로 그럴듯한 재구성 결과물이 종종 물리적 제약을 위반하여 물리 엔진에서 불안정성을 초래하고 구체화된 AI 응용 프로그램에서 실패를 야기합니다. 이러한 간극을 해소하기 위해, 우리는 물리 시뮬레이터를 인간 역학과 장면 기하학을 공동으로 정제하는 능동적 감독자로 취급하는 물리 기반 양방향 최적화 파이프라인을 도입합니다. 순방향에서는 운동 충실도와 접촉 안정성의 이중 감독 하에 인간 동작을 최적화하기 위해 장면 대상 강화 학습을 활용합니다. 역방향에서는 중력 안정성과 상호작용 성공률에 대한 시뮬레이션 피드백을 활용하여 장면 기하학을 정제하는 직접 시뮬레이션 보상 최적화를 제안합니다. 또한 다양한 객체와 상호작용 시나리오를 포함하는 새로운 벤치마크인 HSIBench를 제시합니다. 다양한 실험을 통해 HSImul3R이 최초로 안정적이며 시뮬레이션 준비가 된 HSI 재구성 결과를 생성하고 실제 휴머노이드 로봇에 직접 적용될 수 있음을 입증합니다.

English

We present HSImul3R, a unified framework for simulation-ready 3D reconstruction of human-scene interactions (HSI) from casual captures, including sparse-view images and monocular videos. Existing methods suffer from a perception-simulation gap: visually plausible reconstructions often violate physical constraints, leading to instability in physics engines and failure in embodied AI applications. To bridge this gap, we introduce a physically-grounded bi-directional optimization pipeline that treats the physics simulator as an active supervisor to jointly refine human dynamics and scene geometry. In the forward direction, we employ Scene-targeted Reinforcement Learning to optimize human motion under dual supervision of motion fidelity and contact stability. In the reverse direction, we propose Direct Simulation Reward Optimization, which leverages simulation feedback on gravitational stability and interaction success to refine scene geometry. We further present HSIBench, a new benchmark with diverse objects and interaction scenarios. Extensive experiments demonstrate that HSImul3R produces the first stable, simulation-ready HSI reconstructions and can be directly deployed to real-world humanoid robots.

HSImul3R: 시뮬레이션 준비 인간-장면 상호작용의 물리 법칙 연동 재현

HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human-Scene Interactions

초록

Support