ScenePainter: Geração Perpétua de Cenas 3D Semanticamente Consistentes com Alinhamento de Relações de Conceitos

ScenePainter: Semantically Consistent Perpetual 3D Scene Generation with Concept Relation Alignment

July 25, 2025

Autores: Chong Xia, Shengjun Zhang, Fangfu Liu, Chang Liu, Khodchaphun Hirunyaratsameewong, Yueqi Duan

cs.AI

Resumo

A geração perpétua de cenas 3D visa produzir sequências de visões 3D de longo alcance e coesas, sendo aplicável para a síntese de vídeos de longo prazo e a reconstrução de cenas 3D. Os métodos existentes seguem uma abordagem de "navegar-e-imaginar" e dependem de técnicas de outpainting para a expansão sucessiva das visões. No entanto, as sequências de visões geradas sofrem com o problema de deriva semântica, decorrente do desvio acumulado do módulo de outpainting. Para enfrentar esse desafio, propomos o ScenePainter, um novo framework para a geração de cenas 3D semanticamente consistentes, que alinha o conhecimento prévio específico da cena do outpainter com a compreensão da cena atual. Especificamente, introduzimos uma estrutura hierárquica em grafo chamada SceneConceptGraph para construir relações entre conceitos de cena em múltiplos níveis, que orienta o outpainter para a criação de visões novas consistentes e pode ser refinada dinamicamente para aumentar a diversidade. Experimentos extensivos demonstram que nosso framework supera o problema de deriva semântica e gera sequências de visões 3D mais consistentes e imersivas. Página do Projeto: https://xiac20.github.io/ScenePainter/.

English

Perpetual 3D scene generation aims to produce long-range and coherent 3D view sequences, which is applicable for long-term video synthesis and 3D scene reconstruction. Existing methods follow a "navigate-and-imagine" fashion and rely on outpainting for successive view expansion. However, the generated view sequences suffer from semantic drift issue derived from the accumulated deviation of the outpainting module. To tackle this challenge, we propose ScenePainter, a new framework for semantically consistent 3D scene generation, which aligns the outpainter's scene-specific prior with the comprehension of the current scene. To be specific, we introduce a hierarchical graph structure dubbed SceneConceptGraph to construct relations among multi-level scene concepts, which directs the outpainter for consistent novel views and can be dynamically refined to enhance diversity. Extensive experiments demonstrate that our framework overcomes the semantic drift issue and generates more consistent and immersive 3D view sequences. Project Page: https://xiac20.github.io/ScenePainter/.