HSImul3R : Reconstruction par intégration de la physique d'interactions personne-scène prêtes à la simulation

HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human-Scene Interactions

March 16, 2026

Auteurs: Yukang Cao, Haozhe Xie, Fangzhou Hong, Long Zhuo, Zhaoxi Chen, Liang Pan, Ziwei Liu

cs.AI

Résumé

Nous présentons HSImul3R, un cadre unifié pour la reconstruction 3D prête pour la simulation d'interactions personne-scène (IPS) à partir de captures occasionnelles, incluant des images multivues éparses et des vidéos monoculaires. Les méthodes existantes souffrent d'un fossé perception-simulation : les reconstructions visuellement plausibles violent souvent les contraintes physiques, entraînant une instabilité dans les moteurs physiques et des échecs dans les applications d'IA incarnée. Pour combler ce fossé, nous introduisons un pipeline d'optimisation bidirectionnelle physiquement fondé qui utilise le simulateur physique comme superviseur actif pour affiner conjointement la dynamique humaine et la géométrie de la scène. Dans le sens avant, nous utilisons l'Apprentissage par Renforcement Ciblé sur la Scène pour optimiser le mouvement humain sous une double supervision de la fidélité du mouvement et de la stabilité des contacts. Dans le sens inverse, nous proposons l'Optimisation Directe par Récompense de Simulation, qui exploite les retours du simulateur sur la stabilité gravitationnelle et le succès de l'interaction pour affiner la géométrie de la scène. Nous présentons également HSIBench, un nouveau benchmark avec des objets et des scénarios d'interaction variés. Des expériences approfondies démontrent que HSImul3R produit les premières reconstructions IPS stables et prêtes pour la simulation, et peut être déployé directement sur des robots humanoïdes réels.

English

We present HSImul3R, a unified framework for simulation-ready 3D reconstruction of human-scene interactions (HSI) from casual captures, including sparse-view images and monocular videos. Existing methods suffer from a perception-simulation gap: visually plausible reconstructions often violate physical constraints, leading to instability in physics engines and failure in embodied AI applications. To bridge this gap, we introduce a physically-grounded bi-directional optimization pipeline that treats the physics simulator as an active supervisor to jointly refine human dynamics and scene geometry. In the forward direction, we employ Scene-targeted Reinforcement Learning to optimize human motion under dual supervision of motion fidelity and contact stability. In the reverse direction, we propose Direct Simulation Reward Optimization, which leverages simulation feedback on gravitational stability and interaction success to refine scene geometry. We further present HSIBench, a new benchmark with diverse objects and interaction scenarios. Extensive experiments demonstrate that HSImul3R produces the first stable, simulation-ready HSI reconstructions and can be directly deployed to real-world humanoid robots.