SimRecon: Reconstrucción Escénica Composicional SimReady a partir de Vídeos Reales
SimRecon: SimReady Compositional Scene Reconstruction from Real Videos
March 2, 2026
Autores: Chong Xia, Kai Zhu, Zizhuo Wang, Fangfu Liu, Zhizheng Zhang, Yueqi Duan
cs.AI
Resumen
La reconstrucción composicional de escenas busca crear representaciones centradas en objetos en lugar de escenas holísticas a partir de vídeos del mundo real, lo que es nativamente aplicable para simulación e interacción. Los enfoques convencionales de reconstrucción composicional se centran principalmente en la apariencia visual y muestran una capacidad de generalización limitada para escenarios del mundo real. En este artículo, proponemos SimRecon, un marco que materializa una canalización de "Percepción-Generación-Simulación" para la reconstrucción de escenarios complejos, que primero realiza una reconstrucción semántica a nivel de escena a partir de la entrada de vídeo, luego lleva a cabo la generación de objetos individuales y finalmente ensambla estos activos en el simulador. Sin embargo, combinar estas tres etapas de forma ingenua conduce a una infidelidad visual de los activos generados y a una falta de plausibilidad física de la escena final, un problema particularmente grave para escenas complejas. Por ello, proponemos además dos módulos de conexión entre las tres etapas para abordar este problema. Específicamente, para la transición de Percepción a Generación, crucial para la fidelidad visual, introducimos la Optimización Activa del Punto de Vista, que busca activamente en el espacio 3D para adquirir imágenes proyectadas óptimas como condiciones para el completado de objetos individuales. Además, para la transición de Generación a Simulación, esencial para la plausibilidad física, proponemos un Sintetizador de Grafos de Escena, que guía la construcción desde cero en simuladores 3D, reflejando el principio nativo y constructivo del mundo real. Experimentos exhaustivos en el conjunto de datos ScanNet validan el rendimiento superior de nuestro método frente a los enfoques previos más avanzados.
English
Compositional scene reconstruction seeks to create object-centric representations rather than holistic scenes from real-world videos, which is natively applicable for simulation and interaction. Conventional compositional reconstruction approaches primarily emphasize on visual appearance and show limited generalization ability to real-world scenarios. In this paper, we propose SimRecon, a framework that realizes a "Perception-Generation-Simulation" pipeline towards cluttered scene reconstruction, which first conducts scene-level semantic reconstruction from video input, then performs single-object generation, and finally assembles these assets in the simulator. However, naively combining these three stages leads to visual infidelity of generated assets and physical implausibility of the final scene, a problem particularly severe for complex scenes. Thus, we further propose two bridging modules between the three stages to address this problem. To be specific, for the transition from Perception to Generation, critical for visual fidelity, we introduce Active Viewpoint Optimization, which actively searches in 3D space to acquire optimal projected images as conditions for single-object completion. Moreover, for the transition from Generation to Simulation, essential for physical plausibility, we propose a Scene Graph Synthesizer, which guides the construction from scratch in 3D simulators, mirroring the native, constructive principle of the real world. Extensive experiments on the ScanNet dataset validate our method's superior performance over previous state-of-the-art approaches.