ScenePainter: Generazione Perpetua di Scene 3D Semanticamente Consistenti con Allineamento delle Relazioni Concettuali
ScenePainter: Semantically Consistent Perpetual 3D Scene Generation with Concept Relation Alignment
July 25, 2025
Autori: Chong Xia, Shengjun Zhang, Fangfu Liu, Chang Liu, Khodchaphun Hirunyaratsameewong, Yueqi Duan
cs.AI
Abstract
La generazione perpetua di scene 3D mira a produrre sequenze di visualizzazioni 3D a lungo raggio e coerenti, applicabili per la sintesi di video a lungo termine e la ricostruzione di scene 3D. I metodi esistenti seguono un approccio "naviga-e-immagina" e si basano sull'outpainting per l'espansione successiva delle visualizzazioni. Tuttavia, le sequenze di visualizzazioni generate soffrono del problema della deriva semantica, derivato dall'accumulo di deviazioni del modulo di outpainting. Per affrontare questa sfida, proponiamo ScenePainter, un nuovo framework per la generazione di scene 3D semanticamente consistenti, che allinea il prior specifico della scena dell'outpainter con la comprensione della scena corrente. Nello specifico, introduciamo una struttura gerarchica a grafo denominata SceneConceptGraph per costruire relazioni tra concetti di scena multi-livello, che guida l'outpainter verso visualizzazioni nuove e consistenti e può essere raffinata dinamicamente per migliorare la diversità. Esperimenti estensivi dimostrano che il nostro framework supera il problema della deriva semantica e genera sequenze di visualizzazioni 3D più consistenti e immersive. Pagina del progetto: https://xiac20.github.io/ScenePainter/.
English
Perpetual 3D scene generation aims to produce long-range and coherent 3D view
sequences, which is applicable for long-term video synthesis and 3D scene
reconstruction. Existing methods follow a "navigate-and-imagine" fashion and
rely on outpainting for successive view expansion. However, the generated view
sequences suffer from semantic drift issue derived from the accumulated
deviation of the outpainting module. To tackle this challenge, we propose
ScenePainter, a new framework for semantically consistent 3D scene generation,
which aligns the outpainter's scene-specific prior with the comprehension of
the current scene. To be specific, we introduce a hierarchical graph structure
dubbed SceneConceptGraph to construct relations among multi-level scene
concepts, which directs the outpainter for consistent novel views and can be
dynamically refined to enhance diversity. Extensive experiments demonstrate
that our framework overcomes the semantic drift issue and generates more
consistent and immersive 3D view sequences. Project Page:
https://xiac20.github.io/ScenePainter/.