HSImul3R: Physik-in-the-Loop-Rekonstruktion simulationsfähiger Mensch-Szenen-Interaktionen
HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human-Scene Interactions
March 16, 2026
Autoren: Yukang Cao, Haozhe Xie, Fangzhou Hong, Long Zhuo, Zhaoxi Chen, Liang Pan, Ziwei Liu
cs.AI
Zusammenfassung
Wir stellen HSImul3R vor, einen einheitlichen Rahmen für die simulationsfertige 3D-Rekonstruktion von Mensch-Szene-Interaktionen (HSI) aus beiläufigen Aufnahmen, einschließlich Sparse-View-Bildern und monokularen Videos. Bestehende Methoden leiden unter einer Wahrnehmungs-Simulations-Lücke: visuell plausible Rekonstruktionen verletzen oft physikalische Constraints, was zu Instabilität in Physik-Engines und zum Scheitern in embodied KI-Anwendungen führt. Um diese Lücke zu schließen, führen wir eine physikalisch fundierte bidirektionale Optimierungspipeline ein, die den Physiksimulator als aktiven Supervisor behandelt, um menschliche Dynamik und Szenengeometrie gemeinsam zu verfeinern. In Vorwärtsrichtung setzen wir zielgerichtetes Reinforcement Learning für die Szene ein, um die menschliche Bewegung unter dualer Aufsicht von Bewegungsgenauigkeit und Kontaktstabilität zu optimieren. In Rückwärtsrichtung schlagen wir die direkte Simulationsbelohnungsoptimierung vor, die Simulationsfeedback zu Gravitationsstabilität und Interaktionserfolg nutzt, um die Szenengeometrie zu verbessern. Wir stellen außerdem HSIBench vor, einen neuen Benchmark mit diversen Objekten und Interaktionsszenarien. Umfangreiche Experimente zeigen, dass HSImul3R die ersten stabilen, simulationsfertigen HSI-Rekonstruktionen erzeugt und direkt auf humanoide Roboter in der realen Welt eingesetzt werden kann.
English
We present HSImul3R, a unified framework for simulation-ready 3D reconstruction of human-scene interactions (HSI) from casual captures, including sparse-view images and monocular videos. Existing methods suffer from a perception-simulation gap: visually plausible reconstructions often violate physical constraints, leading to instability in physics engines and failure in embodied AI applications. To bridge this gap, we introduce a physically-grounded bi-directional optimization pipeline that treats the physics simulator as an active supervisor to jointly refine human dynamics and scene geometry. In the forward direction, we employ Scene-targeted Reinforcement Learning to optimize human motion under dual supervision of motion fidelity and contact stability. In the reverse direction, we propose Direct Simulation Reward Optimization, which leverages simulation feedback on gravitational stability and interaction success to refine scene geometry. We further present HSIBench, a new benchmark with diverse objects and interaction scenarios. Extensive experiments demonstrate that HSImul3R produces the first stable, simulation-ready HSI reconstructions and can be directly deployed to real-world humanoid robots.