ScenePainter : Génération perpétuelle de scènes 3D sémantiquement cohérentes avec alignement des relations conceptuelles

ScenePainter: Semantically Consistent Perpetual 3D Scene Generation with Concept Relation Alignment

July 25, 2025

papers.authors: Chong Xia, Shengjun Zhang, Fangfu Liu, Chang Liu, Khodchaphun Hirunyaratsameewong, Yueqi Duan

cs.AI

papers.abstract

La génération perpétuelle de scènes 3D vise à produire des séquences de vues 3D cohérentes et à longue portée, applicables à la synthèse vidéo à long terme et à la reconstruction de scènes 3D. Les méthodes existantes suivent une approche de "navigation et imagination" et s'appuient sur l'extrapolation pour l'expansion successive des vues. Cependant, les séquences de vues générées souffrent d'un problème de dérive sémantique dû à l'accumulation des écarts du module d'extrapolation. Pour relever ce défi, nous proposons ScenePainter, un nouveau cadre pour la génération de scènes 3D sémantiquement cohérentes, qui aligne l'a priori spécifique à la scène de l'extrapolateur avec la compréhension de la scène actuelle. Plus précisément, nous introduisons une structure graphique hiérarchique appelée SceneConceptGraph pour construire des relations entre les concepts de scène à plusieurs niveaux, qui guide l'extrapolateur pour des vues nouvelles et cohérentes et peut être dynamiquement affinée pour améliorer la diversité. Des expériences approfondies démontrent que notre cadre surmonte le problème de dérive sémantique et génère des séquences de vues 3D plus cohérentes et immersives. Page du projet : https://xiac20.github.io/ScenePainter/.

English

Perpetual 3D scene generation aims to produce long-range and coherent 3D view sequences, which is applicable for long-term video synthesis and 3D scene reconstruction. Existing methods follow a "navigate-and-imagine" fashion and rely on outpainting for successive view expansion. However, the generated view sequences suffer from semantic drift issue derived from the accumulated deviation of the outpainting module. To tackle this challenge, we propose ScenePainter, a new framework for semantically consistent 3D scene generation, which aligns the outpainter's scene-specific prior with the comprehension of the current scene. To be specific, we introduce a hierarchical graph structure dubbed SceneConceptGraph to construct relations among multi-level scene concepts, which directs the outpainter for consistent novel views and can be dynamically refined to enhance diversity. Extensive experiments demonstrate that our framework overcomes the semantic drift issue and generates more consistent and immersive 3D view sequences. Project Page: https://xiac20.github.io/ScenePainter/.