ScenePainter: Semantisch Consistente Continue 3D-scènegeneratie met Conceptrelatie-uitlijning

ScenePainter: Semantically Consistent Perpetual 3D Scene Generation with Concept Relation Alignment

July 25, 2025

Auteurs: Chong Xia, Shengjun Zhang, Fangfu Liu, Chang Liu, Khodchaphun Hirunyaratsameewong, Yueqi Duan

cs.AI

Samenvatting

Perpetuele 3D-scènegeneratie heeft als doel om lange en coherente 3D-beeldsequenties te produceren, wat toepasbaar is voor langdurige videosynthese en 3D-scènereconstructie. Bestaande methoden volgen een "navigeer-en-verbeeld"-aanpak en vertrouwen op uitbreiding via outpainten voor opeenvolgende beelduitbreiding. Echter, de gegenereerde beeldsequenties lijden onder het probleem van semantische drift, veroorzaakt door de opgestapelde afwijking van het outpainten-module. Om deze uitdaging aan te pakken, stellen we ScenePainter voor, een nieuw framework voor semantisch consistente 3D-scènegeneratie, dat de scènespecifieke prior van de outpainter afstemt op het begrip van de huidige scène. Specifiek introduceren we een hiërarchische grafiekstructuur genaamd SceneConceptGraph om relaties tussen meerdere niveaus van scèneconcepten te construeren, wat de outpainter leidt naar consistente nieuwe beelden en dynamisch kan worden verfijnd om diversiteit te vergroten. Uitgebreide experimenten tonen aan dat ons framework het probleem van semantische drift overwint en meer consistente en meeslepende 3D-beeldsequenties genereert. Projectpagina: https://xiac20.github.io/ScenePainter/.

English

Perpetual 3D scene generation aims to produce long-range and coherent 3D view sequences, which is applicable for long-term video synthesis and 3D scene reconstruction. Existing methods follow a "navigate-and-imagine" fashion and rely on outpainting for successive view expansion. However, the generated view sequences suffer from semantic drift issue derived from the accumulated deviation of the outpainting module. To tackle this challenge, we propose ScenePainter, a new framework for semantically consistent 3D scene generation, which aligns the outpainter's scene-specific prior with the comprehension of the current scene. To be specific, we introduce a hierarchical graph structure dubbed SceneConceptGraph to construct relations among multi-level scene concepts, which directs the outpainter for consistent novel views and can be dynamically refined to enhance diversity. Extensive experiments demonstrate that our framework overcomes the semantic drift issue and generates more consistent and immersive 3D view sequences. Project Page: https://xiac20.github.io/ScenePainter/.