HSImul3R: Reconstrucción con Física en el Bucle de Interacciones Persona-Escena Listas para Simulación

HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human-Scene Interactions

March 16, 2026

Autores: Yukang Cao, Haozhe Xie, Fangzhou Hong, Long Zhuo, Zhaoxi Chen, Liang Pan, Ziwei Liu

cs.AI

Resumen

Presentamos HSImul3R, un marco unificado para la reconstrucción 3D lista para simulación de interacciones persona-escena (HSI) a partir de capturas casuales, incluyendo imágenes de vistas escasas y vídeos monoculares. Los métodos existentes adolecen de una brecha percepción-simulación: las reconstrucciones visualmente plausibles a menudo violan restricciones físicas, lo que conduce a inestabilidad en los motores de física y al fracaso en aplicaciones de IA encarnada. Para salvar esta brecha, introducimos una canalización de optimización bidimensional basada en la física que trata al simulador físico como un supervisor activo para refinar conjuntamente la dinámica humana y la geometría de la escena. En la dirección directa, empleamos el Aprendizaje por Refuerzo Dirigido a la Escena para optimizar el movimiento humano bajo una doble supervisión de fidelidad de movimiento y estabilidad de contacto. En la dirección inversa, proponemos la Optimización de Recompensa por Simulación Directa, que aprovecha la retroalimentación de la simulación sobre la estabilidad gravitatoria y el éxito de la interacción para refinar la geometría de la escena. Además, presentamos HSIBench, un nuevo benchmark con diversos objetos y escenarios de interacción. Experimentos exhaustivos demuestran que HSImul3R produce las primeras reconstrucciones HSI estables y listas para simulación, y puede desplegarse directamente en robots humanoides del mundo real.

English

We present HSImul3R, a unified framework for simulation-ready 3D reconstruction of human-scene interactions (HSI) from casual captures, including sparse-view images and monocular videos. Existing methods suffer from a perception-simulation gap: visually plausible reconstructions often violate physical constraints, leading to instability in physics engines and failure in embodied AI applications. To bridge this gap, we introduce a physically-grounded bi-directional optimization pipeline that treats the physics simulator as an active supervisor to jointly refine human dynamics and scene geometry. In the forward direction, we employ Scene-targeted Reinforcement Learning to optimize human motion under dual supervision of motion fidelity and contact stability. In the reverse direction, we propose Direct Simulation Reward Optimization, which leverages simulation feedback on gravitational stability and interaction success to refine scene geometry. We further present HSIBench, a new benchmark with diverse objects and interaction scenarios. Extensive experiments demonstrate that HSImul3R produces the first stable, simulation-ready HSI reconstructions and can be directly deployed to real-world humanoid robots.