Texto-para-3D usando Espalhamento Gaussiano

Text-to-3D using Gaussian Splatting

September 28, 2023

Autores: Zilong Chen, Feng Wang, Huaping Liu

cs.AI

Resumo

Neste artigo, apresentamos a geração de texto para 3D baseada em Gaussian Splatting (GSGEN), uma abordagem inovadora para a criação de objetos 3D de alta qualidade. Métodos anteriores sofrem com geometria imprecisa e fidelidade limitada devido à ausência de um prévio 3D e de uma representação adequada. Aproveitamos o Gaussian Splatting 3D, uma representação recente e de ponta, para abordar as deficiências existentes, explorando sua natureza explícita que permite a incorporação de um prévio 3D. Especificamente, nosso método adota uma estratégia de otimização progressiva, que inclui uma etapa de otimização de geometria e uma etapa de refinamento de aparência. Na otimização de geometria, uma representação grosseira é estabelecida sob um prévio de geometria 3D, juntamente com a perda SDS 2D convencional, garantindo uma forma aproximada sensível e consistente em 3D. Posteriormente, os Gaussianos obtidos passam por um refinamento iterativo para enriquecer os detalhes. Nesta etapa, aumentamos o número de Gaussianos por meio de densificação baseada em compacidade para melhorar a continuidade e aprimorar a fidelidade. Com esses projetos, nossa abordagem é capaz de gerar conteúdo 3D com detalhes delicados e geometria mais precisa. Avaliações extensivas demonstram a eficácia do nosso método, especialmente na captura de componentes de alta frequência. Resultados em vídeo são fornecidos em https://gsgen3d.github.io. Nosso código está disponível em https://github.com/gsgen3d/gsgen.

English

In this paper, we present Gaussian Splatting based text-to-3D generation (GSGEN), a novel approach for generating high-quality 3D objects. Previous methods suffer from inaccurate geometry and limited fidelity due to the absence of 3D prior and proper representation. We leverage 3D Gaussian Splatting, a recent state-of-the-art representation, to address existing shortcomings by exploiting the explicit nature that enables the incorporation of 3D prior. Specifically, our method adopts a progressive optimization strategy, which includes a geometry optimization stage and an appearance refinement stage. In geometry optimization, a coarse representation is established under a 3D geometry prior along with the ordinary 2D SDS loss, ensuring a sensible and 3D-consistent rough shape. Subsequently, the obtained Gaussians undergo an iterative refinement to enrich details. In this stage, we increase the number of Gaussians by compactness-based densification to enhance continuity and improve fidelity. With these designs, our approach can generate 3D content with delicate details and more accurate geometry. Extensive evaluations demonstrate the effectiveness of our method, especially for capturing high-frequency components. Video results are provided at https://gsgen3d.github.io. Our code is available at https://github.com/gsgen3d/gsgen