DreamGaussian: Generación de Splatting Gaussiano para la Creación Eficiente de Contenido 3D

DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation

September 28, 2023

Autores: Jiaxiang Tang, Jiawei Ren, Hang Zhou, Ziwei Liu, Gang Zeng

cs.AI

Resumen

Los avances recientes en la creación de contenido 3D se basan principalmente en la generación 3D optimizada mediante muestreo por destilación de puntuación (SDS). Aunque se han obtenido resultados prometedores, estos métodos suelen sufrir de una optimización lenta por muestra, lo que limita su uso práctico. En este artículo, proponemos DreamGaussian, un novedoso marco de generación de contenido 3D que logra simultáneamente eficiencia y calidad. Nuestra idea clave es diseñar un modelo generativo de dispersión de Gaussianas 3D acompañado de extracción de mallas y refinamiento de texturas en el espacio UV. En contraste con la poda de ocupación utilizada en los campos de radiancia neural, demostramos que la densificación progresiva de Gaussianas 3D converge significativamente más rápido para tareas generativas 3D. Para mejorar aún más la calidad de las texturas y facilitar aplicaciones posteriores, introducimos un algoritmo eficiente para convertir Gaussianas 3D en mallas texturizadas y aplicamos una etapa de ajuste fino para refinar los detalles. Experimentos exhaustivos demuestran la eficiencia superior y la calidad competitiva de nuestro enfoque propuesto. Notablemente, DreamGaussian produce mallas texturizadas de alta calidad en solo 2 minutos a partir de una imagen de vista única, logrando una aceleración aproximadamente 10 veces mayor en comparación con los métodos existentes.

English

Recent advances in 3D content creation mostly leverage optimization-based 3D generation via score distillation sampling (SDS). Though promising results have been exhibited, these methods often suffer from slow per-sample optimization, limiting their practical usage. In this paper, we propose DreamGaussian, a novel 3D content generation framework that achieves both efficiency and quality simultaneously. Our key insight is to design a generative 3D Gaussian Splatting model with companioned mesh extraction and texture refinement in UV space. In contrast to the occupancy pruning used in Neural Radiance Fields, we demonstrate that the progressive densification of 3D Gaussians converges significantly faster for 3D generative tasks. To further enhance the texture quality and facilitate downstream applications, we introduce an efficient algorithm to convert 3D Gaussians into textured meshes and apply a fine-tuning stage to refine the details. Extensive experiments demonstrate the superior efficiency and competitive generation quality of our proposed approach. Notably, DreamGaussian produces high-quality textured meshes in just 2 minutes from a single-view image, achieving approximately 10 times acceleration compared to existing methods.