DreamGaussian : Génération par projection gaussienne pour une création efficace de contenu 3D

DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation

September 28, 2023

Auteurs: Jiaxiang Tang, Jiawei Ren, Hang Zhou, Ziwei Liu, Gang Zeng

cs.AI

Résumé

Les récents progrès dans la création de contenu 3D reposent principalement sur la génération 3D basée sur l'optimisation via l'échantillonnage par distillation de score (SDS). Bien que des résultats prometteurs aient été obtenus, ces méthodes souffrent souvent d'une optimisation lente par échantillon, limitant leur utilisation pratique. Dans cet article, nous proposons DreamGaussian, un nouveau cadre de génération de contenu 3D qui allie à la fois efficacité et qualité. Notre idée clé est de concevoir un modèle génératif de splatting de Gaussiennes 3D accompagné d'une extraction de maillage et d'un raffinement de texture dans l'espace UV. Contrairement à l'élagage d'occupation utilisé dans les champs de radiance neuronaux, nous démontrons que la densification progressive des Gaussiennes 3D converge significativement plus rapidement pour les tâches de génération 3D. Pour améliorer davantage la qualité de la texture et faciliter les applications en aval, nous introduisons un algorithme efficace pour convertir les Gaussiennes 3D en maillages texturés et appliquons une étape de réglage fin pour affiner les détails. Des expériences approfondies démontrent la supériorité en termes d'efficacité et la qualité de génération compétitive de notre approche proposée. Notamment, DreamGaussian produit des maillages texturés de haute qualité en seulement 2 minutes à partir d'une image à vue unique, atteignant une accélération d'environ 10 fois par rapport aux méthodes existantes.

English

Recent advances in 3D content creation mostly leverage optimization-based 3D generation via score distillation sampling (SDS). Though promising results have been exhibited, these methods often suffer from slow per-sample optimization, limiting their practical usage. In this paper, we propose DreamGaussian, a novel 3D content generation framework that achieves both efficiency and quality simultaneously. Our key insight is to design a generative 3D Gaussian Splatting model with companioned mesh extraction and texture refinement in UV space. In contrast to the occupancy pruning used in Neural Radiance Fields, we demonstrate that the progressive densification of 3D Gaussians converges significantly faster for 3D generative tasks. To further enhance the texture quality and facilitate downstream applications, we introduce an efficient algorithm to convert 3D Gaussians into textured meshes and apply a fine-tuning stage to refine the details. Extensive experiments demonstrate the superior efficiency and competitive generation quality of our proposed approach. Notably, DreamGaussian produces high-quality textured meshes in just 2 minutes from a single-view image, achieving approximately 10 times acceleration compared to existing methods.