ScenePainter: Generación Perpetua de Escenas 3D Semánticamente Consistentes con Alineación de Relaciones Conceptuales

ScenePainter: Semantically Consistent Perpetual 3D Scene Generation with Concept Relation Alignment

July 25, 2025

Autores: Chong Xia, Shengjun Zhang, Fangfu Liu, Chang Liu, Khodchaphun Hirunyaratsameewong, Yueqi Duan

cs.AI

Resumen

La generación perpetua de escenas 3D tiene como objetivo producir secuencias de vistas 3D de largo alcance y coherentes, lo cual es aplicable para la síntesis de videos a largo plazo y la reconstrucción de escenas 3D. Los métodos existentes siguen un enfoque de "navegar e imaginar" y dependen de la extrapolación para la expansión sucesiva de vistas. Sin embargo, las secuencias de vistas generadas sufren de un problema de deriva semántica derivado de la desviación acumulada del módulo de extrapolación. Para abordar este desafío, proponemos ScenePainter, un nuevo marco para la generación de escenas 3D semánticamente consistentes, que alinea el conocimiento previo específico de la escena del extrapolador con la comprensión de la escena actual. Específicamente, introducimos una estructura jerárquica de grafos denominada SceneConceptGraph para construir relaciones entre conceptos de escena de múltiples niveles, lo cual guía al extrapolador para generar vistas novedosas consistentes y puede refinarse dinámicamente para mejorar la diversidad. Experimentos extensivos demuestran que nuestro marco supera el problema de deriva semántica y genera secuencias de vistas 3D más consistentes e inmersivas. Página del proyecto: https://xiac20.github.io/ScenePainter/.

English

Perpetual 3D scene generation aims to produce long-range and coherent 3D view sequences, which is applicable for long-term video synthesis and 3D scene reconstruction. Existing methods follow a "navigate-and-imagine" fashion and rely on outpainting for successive view expansion. However, the generated view sequences suffer from semantic drift issue derived from the accumulated deviation of the outpainting module. To tackle this challenge, we propose ScenePainter, a new framework for semantically consistent 3D scene generation, which aligns the outpainter's scene-specific prior with the comprehension of the current scene. To be specific, we introduce a hierarchical graph structure dubbed SceneConceptGraph to construct relations among multi-level scene concepts, which directs the outpainter for consistent novel views and can be dynamically refined to enhance diversity. Extensive experiments demonstrate that our framework overcomes the semantic drift issue and generates more consistent and immersive 3D view sequences. Project Page: https://xiac20.github.io/ScenePainter/.