LayerPano3D: ハイパー没入シーン生成のための層状3Dパノラマ

LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation

August 23, 2024

著者: Shuai Yang, Jing Tan, Mengchen Zhang, Tong Wu, Yixuan Li, Gordon Wetzstein, Ziwei Liu, Dahua Lin

cs.AI

要旨

コンピュータビジョンとグラフィックスにおける3D没入型シーン生成は、困難でありながら重要な課題です。望ましい仮想3Dシーンは、1) 全方位ビューの一貫性を示し、2) 複雑なシーン階層での自由な探索を可能にする必要があります。既存の手法は、シーンの拡張を通じて連続的にシーンを展開するか、大きな視野角のシーン環境を表現するためにパノラマ表現を使用します。しかし、生成されたシーンは拡張中に意味のずれが生じ、シーン階層間の遮蔽を処理できません。これらの課題に対処するために、我々はLayerPano3Dという、単一のテキストプロンプトからのフルビュー、探索可能なパノラマ3Dシーン生成のための革新的なフレームワークを紹介します。我々の主要な洞察は、参照2Dパノラマを異なる深度レベルで複数のレイヤーに分解することで、各レイヤーが拡散事前確率を介して参照ビューから見えない空間を示す点にあります。LayerPano3Dには複数の専用設計が含まれています: 1) 高品質で一貫性のあるパノラマ生成のための革新的なテキストガイドアンカービュー合成パイプラインを導入します。2) 複雑なシーン階層を管理するための基礎表現としてLayered 3D Panoramaを先駆的に導入し、それを3Dガウス分布に持ち上げて、制約のない視野パスで360度全方位の詳細なシーンをスプラットします。幅広い実験により、当フレームワークが最先端の3Dパノラマシーンを生成し、フルビューの一貫性と没入型の探索体験の両方を実証しています。LayerPano3Dは、多くの応用を持つ3Dパノラマシーン作成の進歩を約束すると考えています。

English

3D immersive scene generation is a challenging yet critical task in computer vision and graphics. A desired virtual 3D scene should 1) exhibit omnidirectional view consistency, and 2) allow for free exploration in complex scene hierarchies. Existing methods either rely on successive scene expansion via inpainting or employ panorama representation to represent large FOV scene environments. However, the generated scene suffers from semantic drift during expansion and is unable to handle occlusion among scene hierarchies. To tackle these challenges, we introduce LayerPano3D, a novel framework for full-view, explorable panoramic 3D scene generation from a single text prompt. Our key insight is to decompose a reference 2D panorama into multiple layers at different depth levels, where each layer reveals the unseen space from the reference views via diffusion prior. LayerPano3D comprises multiple dedicated designs: 1) we introduce a novel text-guided anchor view synthesis pipeline for high-quality, consistent panorama generation. 2) We pioneer the Layered 3D Panorama as underlying representation to manage complex scene hierarchies and lift it into 3D Gaussians to splat detailed 360-degree omnidirectional scenes with unconstrained viewing paths. Extensive experiments demonstrate that our framework generates state-of-the-art 3D panoramic scene in both full view consistency and immersive exploratory experience. We believe that LayerPano3D holds promise for advancing 3D panoramic scene creation with numerous applications.