SimRecon: Ricostruzione Composizionale di Scene SimReady da Video Reali
SimRecon: SimReady Compositional Scene Reconstruction from Real Videos
March 2, 2026
Autori: Chong Xia, Kai Zhu, Zizhuo Wang, Fangfu Liu, Zhizheng Zhang, Yueqi Duan
cs.AI
Abstract
La ricostruzione composizionale di scene mira a creare rappresentazioni incentrate sugli oggetti, piuttosto che scene olistiche, a partire da video del mondo reale, risultando nativamente applicabile per la simulazione e l'interazione. Gli approcci convenzionali di ricostruzione composizionale si concentrano principalmente sull'aspetto visivo e mostrano una capacità di generalizzazione limitata agli scenari reali. In questo articolo, proponiamo SimRecon, un framework che realizza una pipeline "Percezione-Generazione-Simulazione" per la ricostruzione di scene affollate, che prima esegue una ricostruzione semantica a livello di scena dall'input video, poi genera singoli oggetti e infine assembla questi asset nel simulatore. Tuttavia, combinare in modo ingenuo queste tre fasi porta a un'infedeltà visiva degli asset generati e a un'improbabilità fisica della scena finale, un problema particolarmente grave per le scene complesse. Pertanto, proponiamo ulteriormente due moduli di collegamento tra le tre fasi per affrontare questo problema. Nello specifico, per la transizione dalla Percezione alla Generazione, cruciale per la fedeltà visiva, introduciamo l'Ottimizzazione Attiva del Punto di Vista, che ricerca attivamente nello spazio 3D per acquisire immagini proiettate ottimali come condizioni per il completamento del singolo oggetto. Inoltre, per la transizione dalla Generazione alla Simulazione, essenziale per la plausibilità fisica, proponiamo un Sintetizzatore di Grafo di Scena, che guida la costruzione da zero nei simulatori 3D, rispecchiando il principio costruttivo nativo del mondo reale. Esperimenti estensivi sul dataset ScanNet convalidano le prestazioni superiori del nostro metodo rispetto ai precedenti approcci all'avanguardia.
English
Compositional scene reconstruction seeks to create object-centric representations rather than holistic scenes from real-world videos, which is natively applicable for simulation and interaction. Conventional compositional reconstruction approaches primarily emphasize on visual appearance and show limited generalization ability to real-world scenarios. In this paper, we propose SimRecon, a framework that realizes a "Perception-Generation-Simulation" pipeline towards cluttered scene reconstruction, which first conducts scene-level semantic reconstruction from video input, then performs single-object generation, and finally assembles these assets in the simulator. However, naively combining these three stages leads to visual infidelity of generated assets and physical implausibility of the final scene, a problem particularly severe for complex scenes. Thus, we further propose two bridging modules between the three stages to address this problem. To be specific, for the transition from Perception to Generation, critical for visual fidelity, we introduce Active Viewpoint Optimization, which actively searches in 3D space to acquire optimal projected images as conditions for single-object completion. Moreover, for the transition from Generation to Simulation, essential for physical plausibility, we propose a Scene Graph Synthesizer, which guides the construction from scratch in 3D simulators, mirroring the native, constructive principle of the real world. Extensive experiments on the ScanNet dataset validate our method's superior performance over previous state-of-the-art approaches.