GaussianDreamer: Быстрая генерация из текста в 3D Gaussian Splatting с использованием априорных данных о точечных облаках

GaussianDreamer: Fast Generation from Text to 3D Gaussian Splatting with Point Cloud Priors

October 12, 2023

Авторы: Taoran Yi, Jiemin Fang, Guanjun Wu, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Qi Tian, Xinggang Wang

cs.AI

Аннотация

В последнее время генерация 3D-объектов на основе текстовых запросов демонстрирует впечатляющие результаты. Как 2D, так и 3D диффузионные модели способны создавать качественные 3D-объекты на основе запросов. 3D диффузионные модели обладают хорошей 3D-согласованностью, но их качество и обобщающая способность ограничены из-за дороговизны и сложности получения обучаемых 3D-данных. 2D диффузионные модели, напротив, обладают сильной обобщающей способностью и точностью генерации, однако обеспечение 3D-согласованности остается сложной задачей. В данной статье предпринимается попытка объединить преимущества двух типов диффузионных моделей с использованием недавно предложенного явного и эффективного представления 3D-гауссовых сплатов. Предлагается быстрый фреймворк для генерации 3D-объектов, названный \name, в котором 3D диффузионная модель предоставляет априорные данные в виде облака точек для инициализации, а 2D диффузионная модель обогащает геометрию и внешний вид. Вводятся операции наращивания зашумленных точек и цветовых возмущений для улучшения инициализированных гауссовых распределений. Наш \name способен генерировать высококачественный 3D-объект менее чем за 25 минут на одном GPU, что значительно быстрее предыдущих методов, при этом сгенерированные объекты могут быть непосредственно визуализированы в реальном времени. Демонстрации и код доступны по адресу https://taoranyi.com/gaussiandreamer/.

English

In recent times, the generation of 3D assets from text prompts has shown impressive results. Both 2D and 3D diffusion models can generate decent 3D objects based on prompts. 3D diffusion models have good 3D consistency, but their quality and generalization are limited as trainable 3D data is expensive and hard to obtain. 2D diffusion models enjoy strong abilities of generalization and fine generation, but the 3D consistency is hard to guarantee. This paper attempts to bridge the power from the two types of diffusion models via the recent explicit and efficient 3D Gaussian splatting representation. A fast 3D generation framework, named as \name, is proposed, where the 3D diffusion model provides point cloud priors for initialization and the 2D diffusion model enriches the geometry and appearance. Operations of noisy point growing and color perturbation are introduced to enhance the initialized Gaussians. Our \name can generate a high-quality 3D instance within 25 minutes on one GPU, much faster than previous methods, while the generated instances can be directly rendered in real time. Demos and code are available at https://taoranyi.com/gaussiandreamer/.