GaussianDreamer: Snelle Generatie van Tekst naar 3D Gaussian Splatting met Point Cloud Priors
GaussianDreamer: Fast Generation from Text to 3D Gaussian Splatting with Point Cloud Priors
October 12, 2023
Auteurs: Taoran Yi, Jiemin Fang, Guanjun Wu, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Qi Tian, Xinggang Wang
cs.AI
Samenvatting
De laatste tijd heeft het genereren van 3D-assets op basis van tekstprompts indrukwekkende resultaten laten zien. Zowel 2D- als 3D-diffusiemodellen kunnen redelijke 3D-objecten genereren op basis van prompts. 3D-diffusiemodellen hebben een goede 3D-consistentie, maar hun kwaliteit en generalisatie zijn beperkt omdat trainbare 3D-gegevens duur en moeilijk te verkrijgen zijn. 2D-diffusiemodellen beschikken over sterke generalisatie- en fijne generatiecapaciteiten, maar het is moeilijk om 3D-consistentie te garanderen. Dit artikel probeert de kracht van deze twee soorten diffusiemodellen te combineren via de recente expliciete en efficiënte 3D Gaussian splatting-representatie. Een snel 3D-generatieframework, genaamd \name, wordt voorgesteld, waarbij het 3D-diffusiemodel puntenwolkprioriteiten biedt voor initialisatie en het 2D-diffusiemodel de geometrie en het uiterlijk verrijkt. Operaties van ruisachtige puntgroei en kleurverstoring worden geïntroduceerd om de geïnitialiseerde Gaussians te verbeteren. Onze \name kan een hoogwaardige 3D-instantie genereren binnen 25 minuten op één GPU, veel sneller dan eerdere methoden, terwijl de gegenereerde instanties direct in realtime kunnen worden gerenderd. Demo's en code zijn beschikbaar op https://taoranyi.com/gaussiandreamer/.
English
In recent times, the generation of 3D assets from text prompts has shown
impressive results. Both 2D and 3D diffusion models can generate decent 3D
objects based on prompts. 3D diffusion models have good 3D consistency, but
their quality and generalization are limited as trainable 3D data is expensive
and hard to obtain. 2D diffusion models enjoy strong abilities of
generalization and fine generation, but the 3D consistency is hard to
guarantee. This paper attempts to bridge the power from the two types of
diffusion models via the recent explicit and efficient 3D Gaussian splatting
representation. A fast 3D generation framework, named as \name, is proposed,
where the 3D diffusion model provides point cloud priors for initialization and
the 2D diffusion model enriches the geometry and appearance. Operations of
noisy point growing and color perturbation are introduced to enhance the
initialized Gaussians. Our \name can generate a high-quality 3D instance within
25 minutes on one GPU, much faster than previous methods, while the generated
instances can be directly rendered in real time. Demos and code are available
at https://taoranyi.com/gaussiandreamer/.