SimRecon: Reconstrução Composicional de Cenas SimReady a Partir de Vídeos Reais
SimRecon: SimReady Compositional Scene Reconstruction from Real Videos
March 2, 2026
Autores: Chong Xia, Kai Zhu, Zizhuo Wang, Fangfu Liu, Zhizheng Zhang, Yueqi Duan
cs.AI
Resumo
A reconstrução composicional de cenas busca criar representações centradas em objetos, em vez de cenas holísticas, a partir de vídeos do mundo real, sendo naturalmente aplicável para simulação e interação. As abordagens convencionais de reconstrução composicional enfatizam principalmente a aparência visual e demonstram capacidade limitada de generalização para cenários do mundo real. Neste artigo, propomos o SimRecon, uma estrutura que realiza um pipeline "Percepção-Geração-Simulação" para a reconstrução de cenas desordenadas, que primeiro realiza a reconstrução semântica em nível de cena a partir da entrada de vídeo, depois executa a geração de objetos individuais e, finalmente, monta esses ativos no simulador. No entanto, combinar ingenuamente essas três etapas leva à infidelidade visual dos ativos gerados e à implausibilidade física da cena final, um problema particularmente grave para cenas complexas. Assim, propomos ainda dois módulos de ligação entre as três etapas para resolver esse problema. Especificamente, para a transição da Percepção para a Geração, crítica para a fidelidade visual, introduzimos a Optimização Ativa do Ponto de Vista, que procura ativamente no espaço 3D para adquirir imagens projetadas ótimas como condições para a conclusão de objetos individuais. Além disso, para a transição da Geração para a Simulação, essencial para a plausibilidade física, propomos um Sintetizador de Grafo de Cena, que orienta a construção do zero em simuladores 3D, espelhando o princípio construtivo nativo do mundo real. Experimentos extensivos no conjunto de dados ScanNet validam o desempenho superior do nosso método em relação às abordagens state-of-the-art anteriores.
English
Compositional scene reconstruction seeks to create object-centric representations rather than holistic scenes from real-world videos, which is natively applicable for simulation and interaction. Conventional compositional reconstruction approaches primarily emphasize on visual appearance and show limited generalization ability to real-world scenarios. In this paper, we propose SimRecon, a framework that realizes a "Perception-Generation-Simulation" pipeline towards cluttered scene reconstruction, which first conducts scene-level semantic reconstruction from video input, then performs single-object generation, and finally assembles these assets in the simulator. However, naively combining these three stages leads to visual infidelity of generated assets and physical implausibility of the final scene, a problem particularly severe for complex scenes. Thus, we further propose two bridging modules between the three stages to address this problem. To be specific, for the transition from Perception to Generation, critical for visual fidelity, we introduce Active Viewpoint Optimization, which actively searches in 3D space to acquire optimal projected images as conditions for single-object completion. Moreover, for the transition from Generation to Simulation, essential for physical plausibility, we propose a Scene Graph Synthesizer, which guides the construction from scratch in 3D simulators, mirroring the native, constructive principle of the real world. Extensive experiments on the ScanNet dataset validate our method's superior performance over previous state-of-the-art approaches.