DreamGaussian: Geração Gaussiana por Splatting para Criação Eficiente de Conteúdo 3D

DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation

September 28, 2023

Autores: Jiaxiang Tang, Jiawei Ren, Hang Zhou, Ziwei Liu, Gang Zeng

cs.AI

Resumo

Os avanços recentes na criação de conteúdo 3D têm se baseado principalmente na geração 3D baseada em otimização por meio de amostragem por destilação de pontuação (SDS). Embora resultados promissores tenham sido demonstrados, esses métodos frequentemente sofrem com a otimização lenta por amostra, limitando seu uso prático. Neste artigo, propomos o DreamGaussian, um novo framework de geração de conteúdo 3D que alcança simultaneamente eficiência e qualidade. Nossa principal ideia é projetar um modelo generativo de Splatting Gaussiano 3D com extração de malha acompanhada e refinamento de textura no espaço UV. Em contraste com a poda de ocupação usada em Campos de Radiança Neural, demonstramos que a densificação progressiva de Gaussianos 3D converge significativamente mais rápido para tarefas generativas 3D. Para aprimorar ainda mais a qualidade da textura e facilitar aplicações subsequentes, introduzimos um algoritmo eficiente para converter Gaussianos 3D em malhas texturizadas e aplicamos uma etapa de ajuste fino para refinar os detalhes. Experimentos extensivos demonstram a eficiência superior e a qualidade competitiva de geração da nossa abordagem proposta. Notavelmente, o DreamGaussian produz malhas texturizadas de alta qualidade em apenas 2 minutos a partir de uma imagem de visão única, alcançando uma aceleração de aproximadamente 10 vezes em comparação com métodos existentes.

English

Recent advances in 3D content creation mostly leverage optimization-based 3D generation via score distillation sampling (SDS). Though promising results have been exhibited, these methods often suffer from slow per-sample optimization, limiting their practical usage. In this paper, we propose DreamGaussian, a novel 3D content generation framework that achieves both efficiency and quality simultaneously. Our key insight is to design a generative 3D Gaussian Splatting model with companioned mesh extraction and texture refinement in UV space. In contrast to the occupancy pruning used in Neural Radiance Fields, we demonstrate that the progressive densification of 3D Gaussians converges significantly faster for 3D generative tasks. To further enhance the texture quality and facilitate downstream applications, we introduce an efficient algorithm to convert 3D Gaussians into textured meshes and apply a fine-tuning stage to refine the details. Extensive experiments demonstrate the superior efficiency and competitive generation quality of our proposed approach. Notably, DreamGaussian produces high-quality textured meshes in just 2 minutes from a single-view image, achieving approximately 10 times acceleration compared to existing methods.