Text-to-3D utilizzando il Gaussian Splatting

Text-to-3D using Gaussian Splatting

September 28, 2023

Autori: Zilong Chen, Feng Wang, Huaping Liu

cs.AI

Abstract

In questo articolo, presentiamo GSGEN (Gaussian Splatting based text-to-3D generation), un approccio innovativo per la generazione di oggetti 3D di alta qualità. I metodi precedenti soffrono di geometria imprecisa e fedeltà limitata a causa della mancanza di un priore 3D e di una rappresentazione adeguata. Sfruttiamo il Gaussian Splatting 3D, una rappresentazione all'avanguardia recente, per affrontare le carenze esistenti sfruttando la natura esplicita che consente l'incorporazione di un priore 3D. Nello specifico, il nostro metodo adotta una strategia di ottimizzazione progressiva, che include una fase di ottimizzazione della geometria e una fase di raffinamento dell'aspetto. Nell'ottimizzazione della geometria, viene stabilita una rappresentazione approssimativa sotto un priore di geometria 3D insieme alla normale perdita SDS 2D, garantendo una forma grezza sensata e coerente in 3D. Successivamente, i Gaussian ottenuti subiscono un raffinamento iterativo per arricchire i dettagli. In questa fase, aumentiamo il numero di Gaussian attraverso una densificazione basata sulla compattezza per migliorare la continuità e aumentare la fedeltà. Con questi accorgimenti, il nostro approccio è in grado di generare contenuti 3D con dettagli delicati e una geometria più accurata. Valutazioni estensive dimostrano l'efficacia del nostro metodo, in particolare per la cattura di componenti ad alta frequenza. I risultati video sono disponibili all'indirizzo https://gsgen3d.github.io. Il nostro codice è disponibile all'indirizzo https://github.com/gsgen3d/gsgen.

English

In this paper, we present Gaussian Splatting based text-to-3D generation (GSGEN), a novel approach for generating high-quality 3D objects. Previous methods suffer from inaccurate geometry and limited fidelity due to the absence of 3D prior and proper representation. We leverage 3D Gaussian Splatting, a recent state-of-the-art representation, to address existing shortcomings by exploiting the explicit nature that enables the incorporation of 3D prior. Specifically, our method adopts a progressive optimization strategy, which includes a geometry optimization stage and an appearance refinement stage. In geometry optimization, a coarse representation is established under a 3D geometry prior along with the ordinary 2D SDS loss, ensuring a sensible and 3D-consistent rough shape. Subsequently, the obtained Gaussians undergo an iterative refinement to enrich details. In this stage, we increase the number of Gaussians by compactness-based densification to enhance continuity and improve fidelity. With these designs, our approach can generate 3D content with delicate details and more accurate geometry. Extensive evaluations demonstrate the effectiveness of our method, especially for capturing high-frequency components. Video results are provided at https://gsgen3d.github.io. Our code is available at https://github.com/gsgen3d/gsgen