HSImul3R: Fysica-in-de-lus-reconstructie van simulatieklare mens-scène-interacties

HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human-Scene Interactions

March 16, 2026

Auteurs: Yukang Cao, Haozhe Xie, Fangzhou Hong, Long Zhuo, Zhaoxi Chen, Liang Pan, Ziwei Liu

cs.AI

Samenvatting

Wij presenteren HSImul3R, een uniform raamwerk voor simulatie-klare 3D-reconstructie van mens-scène-interacties (HSI) vanuit informele opnames, zoals beelden met weinig gezichtspunten en monovideo's. Bestaande methoden kampen met een perceptie-simulatiekloof: visueel plausibele reconstructies overtreden vaak fysieke beperkingen, wat leidt tot instabiliteit in physics engines en falen in embodied AI-toepassingen. Om deze kloof te overbruggen, introduceren we een fysiek onderbouwde bidirectionele optimalisatiepijplijn die de physics simulator als actieve supervisor gebruikt om menselijke dynamica en scènegeometrie gezamenlijk te verfijnen. In de voorwaartse richting gebruiken we Scene-targeted Reinforcement Learning om menselijke beweging te optimaliseren onder dubbele supervisie van bewegingsnauwkeurigheid en contactstabiliteit. In de omgekeerde richting stellen we Direct Simulation Reward Optimization voor, dat simulatiefeedback over gravitationele stabiliteit en interactiesucces benut om de scènegeometrie te verfijnen. Verder presenteren we HSIBench, een nieuwe benchmark met diverse objecten en interactiescenario's. Uitgebreide experimenten tonen aan dat HSImul3R de eerste stabiele, simulatie-klare HSI-reconstructies produceert en direct kan worden ingezet voor humanoïde robots in de echte wereld.

English

We present HSImul3R, a unified framework for simulation-ready 3D reconstruction of human-scene interactions (HSI) from casual captures, including sparse-view images and monocular videos. Existing methods suffer from a perception-simulation gap: visually plausible reconstructions often violate physical constraints, leading to instability in physics engines and failure in embodied AI applications. To bridge this gap, we introduce a physically-grounded bi-directional optimization pipeline that treats the physics simulator as an active supervisor to jointly refine human dynamics and scene geometry. In the forward direction, we employ Scene-targeted Reinforcement Learning to optimize human motion under dual supervision of motion fidelity and contact stability. In the reverse direction, we propose Direct Simulation Reward Optimization, which leverages simulation feedback on gravitational stability and interaction success to refine scene geometry. We further present HSIBench, a new benchmark with diverse objects and interaction scenarios. Extensive experiments demonstrate that HSImul3R produces the first stable, simulation-ready HSI reconstructions and can be directly deployed to real-world humanoid robots.