SimRecon: Сценарная реконструкция композиционных сцен из реальных видео в формате SimReady

SimRecon: SimReady Compositional Scene Reconstruction from Real Videos

March 2, 2026

Авторы: Chong Xia, Kai Zhu, Zizhuo Wang, Fangfu Liu, Zhizheng Zhang, Yueqi Duan

cs.AI

Аннотация

Композиционная реконструкция сцены направлена на создание объектно-ориентированных представлений, а не целостных сцен, из видеозаписей реального мира, что изначально применимо для симуляции и взаимодействия. Традиционные подходы к композиционной реконструкции в основном сосредоточены на визуальном виде и демонстрируют ограниченную способность к обобщению в реальных сценариях. В данной статье мы предлагаем SimRecon — фреймворк, реализующий конвейер «Восприятие-Генерация-Симуляция» для реконструкции загроможденных сцен, который сначала выполняет семантическую реконструкцию сцены на уровне видео, затем генерирует отдельные объекты и, наконец, собирает эти ресурсы в симуляторе. Однако простое комбинирование этих трех этапов приводит к визуальной недостоверности генерируемых ресурсов и физической неправдоподобности итоговой сцены, что особенно остро проявляется в сложных сценах. Поэтому мы дополнительно предлагаем два связующих модуля между тремя этапами для решения этой проблемы. В частности, для перехода от Восприятия к Генерации, критически важного для визуальной достоверности, мы вводим Активную оптимизацию точки обзора, которая активно исследует 3D-пространство для получения оптимальных спроецированных изображений в качестве условий для достраивания отдельных объектов. Кроме того, для перехода от Генерации к Симуляции, ключевого для физической правдоподобности, мы предлагаем Синтезатор графа сцены, который направляет построение с нуля в 3D-симуляторах, отражая изначальный конструктивный принцип реального мира. Многочисленные эксперименты на наборе данных ScanNet подтверждают превосходную производительность нашего метода по сравнению с предыдущими передовыми подходами.

English

Compositional scene reconstruction seeks to create object-centric representations rather than holistic scenes from real-world videos, which is natively applicable for simulation and interaction. Conventional compositional reconstruction approaches primarily emphasize on visual appearance and show limited generalization ability to real-world scenarios. In this paper, we propose SimRecon, a framework that realizes a "Perception-Generation-Simulation" pipeline towards cluttered scene reconstruction, which first conducts scene-level semantic reconstruction from video input, then performs single-object generation, and finally assembles these assets in the simulator. However, naively combining these three stages leads to visual infidelity of generated assets and physical implausibility of the final scene, a problem particularly severe for complex scenes. Thus, we further propose two bridging modules between the three stages to address this problem. To be specific, for the transition from Perception to Generation, critical for visual fidelity, we introduce Active Viewpoint Optimization, which actively searches in 3D space to acquire optimal projected images as conditions for single-object completion. Moreover, for the transition from Generation to Simulation, essential for physical plausibility, we propose a Scene Graph Synthesizer, which guides the construction from scratch in 3D simulators, mirroring the native, constructive principle of the real world. Extensive experiments on the ScanNet dataset validate our method's superior performance over previous state-of-the-art approaches.