HSImul3R: Reconstrução com Física em Loop de Interações Pessoa-Cena Prontas para Simulação
HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human-Scene Interactions
March 16, 2026
Autores: Yukang Cao, Haozhe Xie, Fangzhou Hong, Long Zhuo, Zhaoxi Chen, Liang Pan, Ziwei Liu
cs.AI
Resumo
Apresentamos o HSImul3R, uma estrutura unificada para reconstrução 3D pronta para simulação de interações humano-cenário (IHC) a partir de capturas casuais, incluindo imagens de visão esparsa e vídeos monoculares. Os métodos existentes sofrem com uma lacuna percepção-simulação: reconstruções visualmente plausíveis frequentemente violam restrições físicas, levando à instabilidade em motores de física e ao fracasso em aplicações de IA incorporada. Para preencher essa lacuna, introduzimos um pipeline de otimização bidimensional fundamentado na física que trata o simulador físico como um supervisor ativo para refinar conjuntamente a dinâmica humana e a geometria da cena. Na direção direta, empregamos Aprendizado por Reforço Direcionado à Cena para otimizar o movimento humano sob dupla supervisão de fidelidade do movimento e estabilidade de contato. Na direção reversa, propomos Otimização de Recompensa por Simulação Direta, que aproveita o *feedback* da simulação sobre estabilidade gravitacional e sucesso da interação para refinar a geometria da cena. Apresentamos ainda o HSIBench, um novo *benchmark* com diversos objetos e cenários de interação. Experimentos extensivos demonstram que o HSImul3R produz as primeiras reconstruções IHC estáveis e prontas para simulação, podendo ser implantado diretamente em robôs humanoides do mundo real.
English
We present HSImul3R, a unified framework for simulation-ready 3D reconstruction of human-scene interactions (HSI) from casual captures, including sparse-view images and monocular videos. Existing methods suffer from a perception-simulation gap: visually plausible reconstructions often violate physical constraints, leading to instability in physics engines and failure in embodied AI applications. To bridge this gap, we introduce a physically-grounded bi-directional optimization pipeline that treats the physics simulator as an active supervisor to jointly refine human dynamics and scene geometry. In the forward direction, we employ Scene-targeted Reinforcement Learning to optimize human motion under dual supervision of motion fidelity and contact stability. In the reverse direction, we propose Direct Simulation Reward Optimization, which leverages simulation feedback on gravitational stability and interaction success to refine scene geometry. We further present HSIBench, a new benchmark with diverse objects and interaction scenarios. Extensive experiments demonstrate that HSImul3R produces the first stable, simulation-ready HSI reconstructions and can be directly deployed to real-world humanoid robots.