DreamScene360: Generazione non vincolata di scene 3D da testo con splatting gaussiano panoramico
DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting
April 10, 2024
Autori: Shijie Zhou, Zhiwen Fan, Dejia Xu, Haoran Chang, Pradyumna Chari, Tejas Bharadwaj, Suya You, Zhangyang Wang, Achuta Kadambi
cs.AI
Abstract
La crescente domanda di applicazioni di realtà virtuale ha evidenziato l'importanza di creare asset 3D immersivi. Presentiamo una pipeline di generazione di scene 360^{circ} da testo a 3D che facilita la creazione di scene 360^{circ} complete per ambienti reali in pochi minuti. Il nostro approccio sfrutta la potenza generativa di un modello di diffusione 2D e l'autoraffinamento delle prompt per creare un'immagine panoramica di alta qualità e coerenza globale. Questa immagine funge da rappresentazione preliminare "piatta" (2D) della scena. Successivamente, viene trasformata in Gaussiane 3D, utilizzando tecniche di splatting per consentire un'esplorazione in tempo reale. Per produrre una geometria 3D coerente, la nostra pipeline costruisce una struttura spazialmente coerente allineando la profondità monoculare 2D in una nuvola di punti ottimizzata globalmente. Questa nuvola di punti serve come stato iniziale per i centroidi delle Gaussiane 3D. Per affrontare i problemi di visibilità intrinseci agli input a vista singola, imponiamo vincoli semantici e geometrici sia sulle viste sintetizzate che su quelle della telecamera di input come regolarizzazioni. Questi guidano l'ottimizzazione delle Gaussiane, aiutando nella ricostruzione delle regioni non visibili. In sintesi, il nostro metodo offre una scena 3D globalmente coerente in una prospettiva 360^{circ}, fornendo un'esperienza immersiva migliorata rispetto alle tecniche esistenti. Sito web del progetto: http://dreamscene360.github.io/
English
The increasing demand for virtual reality applications has highlighted the
significance of crafting immersive 3D assets. We present a text-to-3D
360^{circ} scene generation pipeline that facilitates the creation of
comprehensive 360^{circ} scenes for in-the-wild environments in a matter of
minutes. Our approach utilizes the generative power of a 2D diffusion model and
prompt self-refinement to create a high-quality and globally coherent panoramic
image. This image acts as a preliminary "flat" (2D) scene representation.
Subsequently, it is lifted into 3D Gaussians, employing splatting techniques to
enable real-time exploration. To produce consistent 3D geometry, our pipeline
constructs a spatially coherent structure by aligning the 2D monocular depth
into a globally optimized point cloud. This point cloud serves as the initial
state for the centroids of 3D Gaussians. In order to address invisible issues
inherent in single-view inputs, we impose semantic and geometric constraints on
both synthesized and input camera views as regularizations. These guide the
optimization of Gaussians, aiding in the reconstruction of unseen regions. In
summary, our method offers a globally consistent 3D scene within a
360^{circ} perspective, providing an enhanced immersive experience over
existing techniques. Project website at: http://dreamscene360.github.io/