GaussianDreamer : Génération rapide de texte vers un splatting 3D gaussien avec des a priori de nuages de points

GaussianDreamer: Fast Generation from Text to 3D Gaussian Splatting with Point Cloud Priors

October 12, 2023

Auteurs: Taoran Yi, Jiemin Fang, Guanjun Wu, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Qi Tian, Xinggang Wang

cs.AI

Résumé

Ces dernières années, la génération d'actifs 3D à partir de prompts textuels a donné des résultats impressionnants. Les modèles de diffusion 2D et 3D sont capables de générer des objets 3D de qualité acceptable à partir de ces prompts. Les modèles de diffusion 3D offrent une bonne cohérence tridimensionnelle, mais leur qualité et leur généralisation sont limitées en raison du coût élevé et de la difficulté d'obtention des données 3D exploitables. Les modèles de diffusion 2D bénéficient d'une forte capacité de généralisation et de génération fine, mais il est difficile de garantir leur cohérence 3D. Cet article tente de combiner les forces de ces deux types de modèles de diffusion grâce à la récente représentation explicite et efficace par splatting de Gaussiennes 3D. Un cadre de génération 3D rapide, nommé \name, est proposé, où le modèle de diffusion 3D fournit des a priori de nuages de points pour l'initialisation et le modèle de diffusion 2D enrichit la géométrie et l'apparence. Des opérations de croissance de points bruités et de perturbation de couleur sont introduites pour améliorer les Gaussiennes initialisées. Notre \name peut générer une instance 3D de haute qualité en moins de 25 minutes sur un seul GPU, ce qui est beaucoup plus rapide que les méthodes précédentes, tout en permettant un rendu en temps réel des instances générées. Les démonstrations et le code sont disponibles à l'adresse https://taoranyi.com/gaussiandreamer/.

English

In recent times, the generation of 3D assets from text prompts has shown impressive results. Both 2D and 3D diffusion models can generate decent 3D objects based on prompts. 3D diffusion models have good 3D consistency, but their quality and generalization are limited as trainable 3D data is expensive and hard to obtain. 2D diffusion models enjoy strong abilities of generalization and fine generation, but the 3D consistency is hard to guarantee. This paper attempts to bridge the power from the two types of diffusion models via the recent explicit and efficient 3D Gaussian splatting representation. A fast 3D generation framework, named as \name, is proposed, where the 3D diffusion model provides point cloud priors for initialization and the 2D diffusion model enriches the geometry and appearance. Operations of noisy point growing and color perturbation are introduced to enhance the initialized Gaussians. Our \name can generate a high-quality 3D instance within 25 minutes on one GPU, much faster than previous methods, while the generated instances can be directly rendered in real time. Demos and code are available at https://taoranyi.com/gaussiandreamer/.