DreamScene360: Geração de Cenas 3D a partir de Texto sem Restrições com Splatting Gaussiano Panorâmico
DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting
April 10, 2024
Autores: Shijie Zhou, Zhiwen Fan, Dejia Xu, Haoran Chang, Pradyumna Chari, Tejas Bharadwaj, Suya You, Zhangyang Wang, Achuta Kadambi
cs.AI
Resumo
A crescente demanda por aplicações de realidade virtual destacou a importância da criação de ativos 3D imersivos. Apresentamos um pipeline de geração de cenas 360° a partir de texto que facilita a criação de cenas 360° abrangentes para ambientes externos em questão de minutos. Nossa abordagem utiliza o poder generativo de um modelo de difusão 2D e o refinamento automático de prompts para criar uma imagem panorâmica de alta qualidade e coerência global. Essa imagem atua como uma representação preliminar "plana" (2D) da cena. Posteriormente, ela é elevada para Gaussianas 3D, empregando técnicas de splatting para permitir exploração em tempo real. Para produzir geometria 3D consistente, nosso pipeline constrói uma estrutura espacialmente coerente alinhando a profundidade monocromática 2D em uma nuvem de pontos globalmente otimizada. Essa nuvem de pontos serve como estado inicial para os centróides das Gaussianas 3D. Para abordar problemas de invisibilidade inerentes a entradas de visão única, impomos restrições semânticas e geométricas tanto nas visualizações sintetizadas quanto nas entradas da câmera como regularizações. Essas restrições guiam a otimização das Gaussianas, auxiliando na reconstrução de regiões não vistas. Em resumo, nosso método oferece uma cena 3D globalmente consistente dentro de uma perspectiva 360°, proporcionando uma experiência imersiva aprimorada em relação às técnicas existentes. Site do projeto: http://dreamscene360.github.io/
English
The increasing demand for virtual reality applications has highlighted the
significance of crafting immersive 3D assets. We present a text-to-3D
360^{circ} scene generation pipeline that facilitates the creation of
comprehensive 360^{circ} scenes for in-the-wild environments in a matter of
minutes. Our approach utilizes the generative power of a 2D diffusion model and
prompt self-refinement to create a high-quality and globally coherent panoramic
image. This image acts as a preliminary "flat" (2D) scene representation.
Subsequently, it is lifted into 3D Gaussians, employing splatting techniques to
enable real-time exploration. To produce consistent 3D geometry, our pipeline
constructs a spatially coherent structure by aligning the 2D monocular depth
into a globally optimized point cloud. This point cloud serves as the initial
state for the centroids of 3D Gaussians. In order to address invisible issues
inherent in single-view inputs, we impose semantic and geometric constraints on
both synthesized and input camera views as regularizations. These guide the
optimization of Gaussians, aiding in the reconstruction of unseen regions. In
summary, our method offers a globally consistent 3D scene within a
360^{circ} perspective, providing an enhanced immersive experience over
existing techniques. Project website at: http://dreamscene360.github.io/