GaussianDreamer: 포인트 클라우드 사전 정보를 활용한 텍스트에서 3D 가우시안 스플래팅으로의 고속 생성

GaussianDreamer: Fast Generation from Text to 3D Gaussian Splatting with Point Cloud Priors

October 12, 2023

저자: Taoran Yi, Jiemin Fang, Guanjun Wu, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Qi Tian, Xinggang Wang

cs.AI

초록

최근 텍스트 프롬프트로부터 3D 자산을 생성하는 기술이 인상적인 결과를 보여주고 있습니다. 2D와 3D 디퓨전 모델 모두 프롬프트를 기반으로 괜찮은 3D 객체를 생성할 수 있습니다. 3D 디퓨전 모델은 3D 일관성이 뛰어나지만, 학습 가능한 3D 데이터가 비싸고 구하기 어렵기 때문에 품질과 일반화 능력이 제한적입니다. 반면, 2D 디퓨전 모델은 강력한 일반화 능력과 세밀한 생성 능력을 갖추고 있지만, 3D 일관성을 보장하기가 어렵습니다. 본 논문은 최근의 명시적이고 효율적인 3D 가우시안 스플래팅 표현을 통해 두 유형의 디퓨전 모델의 장점을 결합하려고 시도합니다. 빠른 3D 생성 프레임워크인 \name을 제안하며, 여기서 3D 디퓨전 모델은 초기화를 위한 포인트 클라우드 사전 정보를 제공하고, 2D 디퓨전 모델은 형상과 외관을 풍부하게 만듭니다. 초기화된 가우시안을 강화하기 위해 노이즈 포인트 성장과 색상 섭동 작업이 도입되었습니다. 우리의 \name은 단일 GPU에서 25분 이내에 고품질의 3D 인스턴스를 생성할 수 있으며, 이는 이전 방법들보다 훨씬 빠른 속도입니다. 또한 생성된 인스턴스는 실시간으로 직접 렌더링될 수 있습니다. 데모와 코드는 https://taoranyi.com/gaussiandreamer/에서 확인할 수 있습니다.

English

In recent times, the generation of 3D assets from text prompts has shown impressive results. Both 2D and 3D diffusion models can generate decent 3D objects based on prompts. 3D diffusion models have good 3D consistency, but their quality and generalization are limited as trainable 3D data is expensive and hard to obtain. 2D diffusion models enjoy strong abilities of generalization and fine generation, but the 3D consistency is hard to guarantee. This paper attempts to bridge the power from the two types of diffusion models via the recent explicit and efficient 3D Gaussian splatting representation. A fast 3D generation framework, named as \name, is proposed, where the 3D diffusion model provides point cloud priors for initialization and the 2D diffusion model enriches the geometry and appearance. Operations of noisy point growing and color perturbation are introduced to enhance the initialized Gaussians. Our \name can generate a high-quality 3D instance within 25 minutes on one GPU, much faster than previous methods, while the generated instances can be directly rendered in real time. Demos and code are available at https://taoranyi.com/gaussiandreamer/.