SimRecon: 実写動画からのSimReady合成シーン再構成

SimRecon: SimReady Compositional Scene Reconstruction from Real Videos

March 2, 2026

著者: Chong Xia, Kai Zhu, Zizhuo Wang, Fangfu Liu, Zhizheng Zhang, Yueqi Duan

cs.AI

要旨

合成的シーン再構成は、実世界のビデオから全体的なシーンではなく、オブジェクト中心の表現を作成することを目指しており、シミュレーションやインタラクションに自然に適用可能である。従来の合成的再構成手法は主に視覚的外観を重視しており、実世界シナリオへの汎化能力が限られていた。本論文では、複雑なシーン再構成に向けた「知覚-生成-シミュレーション」パイプラインを実現するフレームワークSimReconを提案する。本手法はまずビデオ入力からシーンレベルの意味的再構成を行い、次に単一オブジェクトの生成を実行し、最後にこれらのアセットをシミュレータ内で組み立てる。しかし、これら3つの段階を単純に結合すると、生成アセットの視覚的信頼性や最終シーンの物理的妥当性に問題が生じ、複雑なシーンでは特に深刻となる。そこで我々は、この問題を解決するため、3段階間を橋渡しする2つのモジュールをさらに提案する。具体的には、視覚的信頼性に重要な「知覚から生成への遷移」に対して、能動的視点最適化を導入する。これは3D空間内で能動的に探索し、単一オブジェクト補完の条件として最適な投影画像を取得する手法である。さらに、物理的妥当性に必須の「生成からシミュレーションへの遷移」に対しては、シーングラフ合成器を提案する。これは実世界の本来的な構成的原理を反映し、3Dシミュレータ内でのゼロからの構築を導く。ScanNetデータセットを用いた大規模実験により、本手法が従来の最先端手法を上回る優れた性能を発揮することを検証した。

English

Compositional scene reconstruction seeks to create object-centric representations rather than holistic scenes from real-world videos, which is natively applicable for simulation and interaction. Conventional compositional reconstruction approaches primarily emphasize on visual appearance and show limited generalization ability to real-world scenarios. In this paper, we propose SimRecon, a framework that realizes a "Perception-Generation-Simulation" pipeline towards cluttered scene reconstruction, which first conducts scene-level semantic reconstruction from video input, then performs single-object generation, and finally assembles these assets in the simulator. However, naively combining these three stages leads to visual infidelity of generated assets and physical implausibility of the final scene, a problem particularly severe for complex scenes. Thus, we further propose two bridging modules between the three stages to address this problem. To be specific, for the transition from Perception to Generation, critical for visual fidelity, we introduce Active Viewpoint Optimization, which actively searches in 3D space to acquire optimal projected images as conditions for single-object completion. Moreover, for the transition from Generation to Simulation, essential for physical plausibility, we propose a Scene Graph Synthesizer, which guides the construction from scratch in 3D simulators, mirroring the native, constructive principle of the real world. Extensive experiments on the ScanNet dataset validate our method's superior performance over previous state-of-the-art approaches.