SimRecon: SimReady kompositionelle Szenenrekonstruktion aus realen Videos
SimRecon: SimReady Compositional Scene Reconstruction from Real Videos
March 2, 2026
Autoren: Chong Xia, Kai Zhu, Zizhuo Wang, Fangfu Liu, Zhizheng Zhang, Yueqi Duan
cs.AI
Zusammenfassung
Die kompositionelle Szenenrekonstruktion zielt darauf ab, objektzentrierte Darstellungen anstelle ganzheitlicher Szenen aus realen Videos zu erzeugen, was sich natürlicherweise für Simulation und Interaktion eignet. Herkömmliche kompositionelle Rekonstruktionsansätze konzentrieren sich primär auf visuelle Erscheinung und zeigen begrenzte Generalisierungsfähigkeit in realen Szenarien. In diesem Artikel stellen wir SimRecon vor, ein Framework, das eine "Wahrnehmungs-Generierungs-Simulations"-Pipeline zur Rekonstruktion unübersichtlicher Szenen realisiert. Diese führt zunächst eine szenenbasierte semantische Rekonstruktion aus Videoeingaben durch, führt dann Einzelobjektgenerierung durch und fügt diese Assets schließlich im Simulator zusammen. Eine naive Kombination dieser drei Stufen führt jedoch zu visueller Ungenauigkeit der generierten Assets und physikalischer Unplausibilität der finalen Szene – ein Problem, das besonders bei komplexen Szenen schwerwiegend ist. Daher schlagen wir zwei Brückenmodule zwischen den drei Stufen vor, um dieses Problem zu adressieren. Konkret führen wir für den Übergang von Wahrnehmung zu Generierung, der kritisch für visuelle Treue ist, eine aktive Blickpunktoptimierung ein, die aktiv im 3D-Raum nach optimalen projizierten Bildern als Bedingungen für die Einzelobjektvervollständigung sucht. Zusätzlich schlagen wir für den Übergang von Generierung zu Simulation, der essentiell für physikalische Plausibilität ist, einen Szenengraphen-Synthetisierer vor, der die Konstruktion von Grund auf in 3D-Simulatoren anleitet und dabei dem natürlichen, konstruktiven Prinzip der realen Welt folgt. Umfangreiche Experimente mit dem ScanNet-Datensatz validieren die überlegene Leistung unserer Methode gegenüber bisherigen state-of-the-art-Ansätzen.
English
Compositional scene reconstruction seeks to create object-centric representations rather than holistic scenes from real-world videos, which is natively applicable for simulation and interaction. Conventional compositional reconstruction approaches primarily emphasize on visual appearance and show limited generalization ability to real-world scenarios. In this paper, we propose SimRecon, a framework that realizes a "Perception-Generation-Simulation" pipeline towards cluttered scene reconstruction, which first conducts scene-level semantic reconstruction from video input, then performs single-object generation, and finally assembles these assets in the simulator. However, naively combining these three stages leads to visual infidelity of generated assets and physical implausibility of the final scene, a problem particularly severe for complex scenes. Thus, we further propose two bridging modules between the three stages to address this problem. To be specific, for the transition from Perception to Generation, critical for visual fidelity, we introduce Active Viewpoint Optimization, which actively searches in 3D space to acquire optimal projected images as conditions for single-object completion. Moreover, for the transition from Generation to Simulation, essential for physical plausibility, we propose a Scene Graph Synthesizer, which guides the construction from scratch in 3D simulators, mirroring the native, constructive principle of the real world. Extensive experiments on the ScanNet dataset validate our method's superior performance over previous state-of-the-art approaches.