SimRecon: SimReady Compositionale Scène-reconstructie uit Echte Video's
SimRecon: SimReady Compositional Scene Reconstruction from Real Videos
March 2, 2026
Auteurs: Chong Xia, Kai Zhu, Zizhuo Wang, Fangfu Liu, Zhizheng Zhang, Yueqi Duan
cs.AI
Samenvatting
Compositionele scène-reconstructie streeft naar objectgecentreerde representaties in plaats van holistische scènes vanuit real-world video's, wat inherent toepasbaar is voor simulatie en interactie. Conventionele compositionele reconstructiebenaderingen leggen vooral de nadruk op visueel uiterlijk en vertonen beperkte generalisatiecapaciteit naar real-world scenario's. In dit artikel stellen we SimRecon voor, een raamwerk dat een "Perceptie-Generatie-Simulatie"-pijplijn realiseert voor de reconstructie van rommelige scènes, waarbij eerst semantische reconstructie op scèneniveau wordt uitgevoerd vanuit videobeelden, vervolgens generatie van individuele objecten plaatsvindt, en tenslotte deze elementen in de simulator worden samengevoegd. Echter, een naïeve combinatie van deze drie fasen leidt tot visuele onnauwkeurigheid van gegenereerde elementen en fysieke ongeloofwaardigheid van de uiteindelijke scène, een probleem dat bijzonder ernstig is voor complexe scènes. Daarom stellen we verder twee verbindingsmodules voor tussen de drie fasen om dit probleem aan te pakken. Specifiek introduceren we voor de overgang van Perceptie naar Generatie, cruciaal voor visuele nauwkeurigheid, Actieve Viewpoint-optimalisatie, die actief zoekt in de 3D-ruimte om optimale geprojecteerde beelden te verkrijgen als condities voor het completeren van individuele objecten. Bovendien stellen we voor de overgang van Generatie naar Simulatie, essentieel voor fysieke geloofwaardigheid, een Scènegrafieksynthesizer voor, die de constructie vanaf nul in 3D-simulators aanstuurt en zo het natuurlijke, opbouwende principe van de echte wereld weerspiegelt. Uitgebreide experimenten op de ScanNet-dataset valideren de superieure prestaties van onze methode ten opzichte van eerdere state-of-the-art benaderingen.
English
Compositional scene reconstruction seeks to create object-centric representations rather than holistic scenes from real-world videos, which is natively applicable for simulation and interaction. Conventional compositional reconstruction approaches primarily emphasize on visual appearance and show limited generalization ability to real-world scenarios. In this paper, we propose SimRecon, a framework that realizes a "Perception-Generation-Simulation" pipeline towards cluttered scene reconstruction, which first conducts scene-level semantic reconstruction from video input, then performs single-object generation, and finally assembles these assets in the simulator. However, naively combining these three stages leads to visual infidelity of generated assets and physical implausibility of the final scene, a problem particularly severe for complex scenes. Thus, we further propose two bridging modules between the three stages to address this problem. To be specific, for the transition from Perception to Generation, critical for visual fidelity, we introduce Active Viewpoint Optimization, which actively searches in 3D space to acquire optimal projected images as conditions for single-object completion. Moreover, for the transition from Generation to Simulation, essential for physical plausibility, we propose a Scene Graph Synthesizer, which guides the construction from scratch in 3D simulators, mirroring the native, constructive principle of the real world. Extensive experiments on the ScanNet dataset validate our method's superior performance over previous state-of-the-art approaches.