Texto a 3D utilizando Splatting Gaussiano

Text-to-3D using Gaussian Splatting

September 28, 2023

Autores: Zilong Chen, Feng Wang, Huaping Liu

cs.AI

Resumen

En este artículo, presentamos GSGEN (Generación de Texto a 3D basada en Gaussian Splatting), un enfoque novedoso para generar objetos 3D de alta calidad. Los métodos anteriores sufren de geometría imprecisa y fidelidad limitada debido a la ausencia de un previo 3D y una representación adecuada. Aprovechamos Gaussian Splatting 3D, una representación reciente de vanguardia, para abordar las deficiencias existentes al explotar su naturaleza explícita que permite la incorporación de un previo 3D. Específicamente, nuestro método adopta una estrategia de optimización progresiva, que incluye una etapa de optimización de geometría y una etapa de refinamiento de apariencia. En la optimización de geometría, se establece una representación aproximada bajo un previo de geometría 3D junto con la pérdida SDS 2D convencional, asegurando una forma general coherente y sensible en 3D. Posteriormente, los Gaussianos obtenidos se someten a un refinamiento iterativo para enriquecer los detalles. En esta etapa, aumentamos el número de Gaussianos mediante una densificación basada en compacidad para mejorar la continuidad y la fidelidad. Con estos diseños, nuestro enfoque puede generar contenido 3D con detalles delicados y una geometría más precisa. Evaluaciones exhaustivas demuestran la efectividad de nuestro método, especialmente para capturar componentes de alta frecuencia. Los resultados en video se proporcionan en https://gsgen3d.github.io. Nuestro código está disponible en https://github.com/gsgen3d/gsgen.

English

In this paper, we present Gaussian Splatting based text-to-3D generation (GSGEN), a novel approach for generating high-quality 3D objects. Previous methods suffer from inaccurate geometry and limited fidelity due to the absence of 3D prior and proper representation. We leverage 3D Gaussian Splatting, a recent state-of-the-art representation, to address existing shortcomings by exploiting the explicit nature that enables the incorporation of 3D prior. Specifically, our method adopts a progressive optimization strategy, which includes a geometry optimization stage and an appearance refinement stage. In geometry optimization, a coarse representation is established under a 3D geometry prior along with the ordinary 2D SDS loss, ensuring a sensible and 3D-consistent rough shape. Subsequently, the obtained Gaussians undergo an iterative refinement to enrich details. In this stage, we increase the number of Gaussians by compactness-based densification to enhance continuity and improve fidelity. With these designs, our approach can generate 3D content with delicate details and more accurate geometry. Extensive evaluations demonstrate the effectiveness of our method, especially for capturing high-frequency components. Video results are provided at https://gsgen3d.github.io. Our code is available at https://github.com/gsgen3d/gsgen