ScenePainter: Semantisch konsistente, fortlaufende 3D-Szenengenerierung mit Konzeptrelationen-Ausrichtung

ScenePainter: Semantically Consistent Perpetual 3D Scene Generation with Concept Relation Alignment

July 25, 2025

papers.authors: Chong Xia, Shengjun Zhang, Fangfu Liu, Chang Liu, Khodchaphun Hirunyaratsameewong, Yueqi Duan

cs.AI

papers.abstract

Die Erzeugung von perpetuierten 3D-Szenen zielt darauf ab, langstreckige und kohärente 3D-Ansichtssequenzen zu erzeugen, die für die langfristige Videosynthese und die 3D-Szenenrekonstruktion geeignet sind. Bisherige Methoden folgen einem "Navigieren-und-Imaginieren"-Ansatz und stützen sich auf Outpainting für die sukzessive Erweiterung der Ansichten. Allerdings leiden die generierten Ansichtssequenzen unter dem Problem der semantischen Drift, das sich aus der akkumulierten Abweichung des Outpainting-Moduls ergibt. Um diese Herausforderung zu bewältigen, schlagen wir ScenePainter vor, ein neues Framework für die semantisch konsistente Erzeugung von 3D-Szenen, das die szenenspezifische Priorität des Outpainters mit dem Verständnis der aktuellen Szene in Einklang bringt. Konkret führen wir eine hierarchische Graphstruktur namens SceneConceptGraph ein, um Beziehungen zwischen mehrstufigen Szenenkonzepten zu konstruieren, die den Outpainter für konsistente neue Ansichten leitet und dynamisch verfeinert werden kann, um die Vielfalt zu erhöhen. Umfangreiche Experimente zeigen, dass unser Framework das Problem der semantischen Drift überwindet und konsistentere und immersivere 3D-Ansichtssequenzen erzeugt. Projektseite: https://xiac20.github.io/ScenePainter/.

English

Perpetual 3D scene generation aims to produce long-range and coherent 3D view sequences, which is applicable for long-term video synthesis and 3D scene reconstruction. Existing methods follow a "navigate-and-imagine" fashion and rely on outpainting for successive view expansion. However, the generated view sequences suffer from semantic drift issue derived from the accumulated deviation of the outpainting module. To tackle this challenge, we propose ScenePainter, a new framework for semantically consistent 3D scene generation, which aligns the outpainter's scene-specific prior with the comprehension of the current scene. To be specific, we introduce a hierarchical graph structure dubbed SceneConceptGraph to construct relations among multi-level scene concepts, which directs the outpainter for consistent novel views and can be dynamically refined to enhance diversity. Extensive experiments demonstrate that our framework overcomes the semantic drift issue and generates more consistent and immersive 3D view sequences. Project Page: https://xiac20.github.io/ScenePainter/.