ScenePainter: 概念関係整合性を備えた意味的一貫性のある永続的3Dシーン生成

ScenePainter: Semantically Consistent Perpetual 3D Scene Generation with Concept Relation Alignment

July 25, 2025

著者: Chong Xia, Shengjun Zhang, Fangfu Liu, Chang Liu, Khodchaphun Hirunyaratsameewong, Yueqi Duan

cs.AI

要旨

永続的な3Dシーン生成は、長距離かつ一貫性のある3Dビューシーケンスを生成することを目的としており、長期ビデオ合成や3Dシーン再構築に適用可能です。既存の手法は「ナビゲート・アンド・イマジン」方式に従い、連続的なビュー拡張のためにアウトペインティングに依存しています。しかし、生成されたビューシーケンスは、アウトペインティングモジュールの累積的な偏差に起因する意味的ドリフトの問題に悩まされています。この課題に対処するため、我々はScenePainterを提案します。これは、意味的に一貫した3Dシーン生成のための新しいフレームワークであり、アウトペインターのシーン固有の事前知識を現在のシーンの理解と整合させます。具体的には、SceneConceptGraphと呼ばれる階層的グラフ構造を導入し、マルチレベルシーン概念間の関係を構築します。これにより、アウトペインターが一貫した新規ビューを生成するための指針となり、多様性を高めるために動的に洗練されることができます。大規模な実験により、我々のフレームワークが意味的ドリフトの問題を克服し、より一貫性があり没入感のある3Dビューシーケンスを生成することが実証されました。プロジェクトページ: https://xiac20.github.io/ScenePainter/。

English

Perpetual 3D scene generation aims to produce long-range and coherent 3D view sequences, which is applicable for long-term video synthesis and 3D scene reconstruction. Existing methods follow a "navigate-and-imagine" fashion and rely on outpainting for successive view expansion. However, the generated view sequences suffer from semantic drift issue derived from the accumulated deviation of the outpainting module. To tackle this challenge, we propose ScenePainter, a new framework for semantically consistent 3D scene generation, which aligns the outpainter's scene-specific prior with the comprehension of the current scene. To be specific, we introduce a hierarchical graph structure dubbed SceneConceptGraph to construct relations among multi-level scene concepts, which directs the outpainter for consistent novel views and can be dynamically refined to enhance diversity. Extensive experiments demonstrate that our framework overcomes the semantic drift issue and generates more consistent and immersive 3D view sequences. Project Page: https://xiac20.github.io/ScenePainter/.