HSImul3R: 物理ループ内再構成によるシミュレーション対応の人間-シーン相互作用

要旨

我々はHSImul3Rを提案する。これは、まばらな視点画像や単眼動画といったカジュアルな撮影データから、人間と環境の相互作用（HSI）のシミュレーション対応3D再構成を統一的に行うフレームワークである。既存手法は知覚とシミュレーションの乖離に悩まされてきた。視覚的に妥当な再構成結果が物理的制約に違反し、物理エンジンにおける不安定性や具身AIアプリケーションの失敗を招くのである。この乖離を埋めるため、我々は物理シミュレータを能動的監督役として人間の動力学とシーン幾何学を共同で精緻化する、物理に根ざした双方向最適化パイプラインを導入する。順方向では、動作の忠実性と接触安定性の二重監督下で人間の動作を最適化するため、シーン対象強化学習を採用する。逆方向では、重力安定性と相互作用の成功度に関するシミュレーションからのフィードバックを活用してシーン幾何学を改善する、直接シミュレーション報酬最適化を提案する。さらに、多様な物体と相互作用シナリオを備えた新しいベンチマークHSIBenchを提示する。大規模な実験により、HSImul3Rが初めて安定したシミュレーション対応のHSI再構成を実現し、実世界のヒューマノイドロボットに直接適用可能であることを実証する。

English

We present HSImul3R, a unified framework for simulation-ready 3D reconstruction of human-scene interactions (HSI) from casual captures, including sparse-view images and monocular videos. Existing methods suffer from a perception-simulation gap: visually plausible reconstructions often violate physical constraints, leading to instability in physics engines and failure in embodied AI applications. To bridge this gap, we introduce a physically-grounded bi-directional optimization pipeline that treats the physics simulator as an active supervisor to jointly refine human dynamics and scene geometry. In the forward direction, we employ Scene-targeted Reinforcement Learning to optimize human motion under dual supervision of motion fidelity and contact stability. In the reverse direction, we propose Direct Simulation Reward Optimization, which leverages simulation feedback on gravitational stability and interaction success to refine scene geometry. We further present HSIBench, a new benchmark with diverse objects and interaction scenarios. Extensive experiments demonstrate that HSImul3R produces the first stable, simulation-ready HSI reconstructions and can be directly deployed to real-world humanoid robots.

HSImul3R: 物理ループ内再構成によるシミュレーション対応の人間-シーン相互作用

HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human-Scene Interactions

要旨

Support