DreamScene360: パノラマガウススプラッティングによる制約のないテキストから3Dシーン生成
DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting
April 10, 2024
著者: Shijie Zhou, Zhiwen Fan, Dejia Xu, Haoran Chang, Pradyumna Chari, Tejas Bharadwaj, Suya You, Zhangyang Wang, Achuta Kadambi
cs.AI
要旨
バーチャルリアリティアプリケーションの需要が高まる中、没入感のある3Dアセットの作成が重要な課題となっています。本論文では、テキストから360度シーンを生成するパイプラインを提案します。このパイプラインにより、野外環境における包括的な360度シーンをわずか数分で作成することが可能です。私たちのアプローチでは、2D拡散モデルの生成能力とプロンプト自己改良を活用して、高品質で全体的に一貫性のあるパノラマ画像を生成します。この画像は、初期の「フラット」（2D）シーン表現として機能します。その後、スプラッティング技術を用いて3Dガウシアンに変換し、リアルタイム探索を可能にします。一貫性のある3Dジオメトリを生成するために、私たちのパイプラインは、2D単眼深度を全体的に最適化された点群に整列させることで、空間的に一貫した構造を構築します。この点群は、3Dガウシアンの重心の初期状態として機能します。単一視点入力に内在する不可視領域の問題に対処するため、合成されたビューと入力カメラビューの両方にセマンティックおよびジオメトリック制約を正則化として課します。これらはガウシアンの最適化を導き、未観測領域の再構築を支援します。要約すると、私たちの手法は、360度視野における全体的に一貫性のある3Dシーンを提供し、既存の技術よりも優れた没入体験を実現します。プロジェクトウェブサイトはこちら：http://dreamscene360.github.io/
English
The increasing demand for virtual reality applications has highlighted the
significance of crafting immersive 3D assets. We present a text-to-3D
360^{circ} scene generation pipeline that facilitates the creation of
comprehensive 360^{circ} scenes for in-the-wild environments in a matter of
minutes. Our approach utilizes the generative power of a 2D diffusion model and
prompt self-refinement to create a high-quality and globally coherent panoramic
image. This image acts as a preliminary "flat" (2D) scene representation.
Subsequently, it is lifted into 3D Gaussians, employing splatting techniques to
enable real-time exploration. To produce consistent 3D geometry, our pipeline
constructs a spatially coherent structure by aligning the 2D monocular depth
into a globally optimized point cloud. This point cloud serves as the initial
state for the centroids of 3D Gaussians. In order to address invisible issues
inherent in single-view inputs, we impose semantic and geometric constraints on
both synthesized and input camera views as regularizations. These guide the
optimization of Gaussians, aiding in the reconstruction of unseen regions. In
summary, our method offers a globally consistent 3D scene within a
360^{circ} perspective, providing an enhanced immersive experience over
existing techniques. Project website at: http://dreamscene360.github.io/