GaussianDreamer: 点群事前分布を活用したテキストから3Dガウススプラッティングへの高速生成

GaussianDreamer: Fast Generation from Text to 3D Gaussian Splatting with Point Cloud Priors

October 12, 2023

著者: Taoran Yi, Jiemin Fang, Guanjun Wu, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Qi Tian, Xinggang Wang

cs.AI

要旨

近年、テキストプロンプトからの3Dアセット生成は目覚ましい成果を上げています。2Dおよび3Dの拡散モデルは、プロンプトに基づいて良好な3Dオブジェクトを生成することができます。3D拡散モデルは優れた3D一貫性を持っていますが、学習可能な3Dデータが高価で入手困難であるため、その品質と汎用性は限られています。一方、2D拡散モデルは強力な汎用性と細かい生成能力を有していますが、3D一貫性を保証するのは困難です。本論文では、最近の明示的で効率的な3Dガウススプラッティング表現を介して、これら2種類の拡散モデルの力を統合しようと試みています。高速な3D生成フレームワーク「\name」を提案し、3D拡散モデルが初期化のための点群事前分布を提供し、2D拡散モデルが形状と外観を豊かにします。初期化されたガウシアンを強化するために、ノイズのある点の成長と色の摂動の操作を導入しています。私たちの\nameは、1つのGPU上で25分以内に高品質な3Dインスタンスを生成することができ、従来の方法よりもはるかに高速でありながら、生成されたインスタンスはリアルタイムで直接レンダリング可能です。デモとコードはhttps://taoranyi.com/gaussiandreamer/で公開されています。

English

In recent times, the generation of 3D assets from text prompts has shown impressive results. Both 2D and 3D diffusion models can generate decent 3D objects based on prompts. 3D diffusion models have good 3D consistency, but their quality and generalization are limited as trainable 3D data is expensive and hard to obtain. 2D diffusion models enjoy strong abilities of generalization and fine generation, but the 3D consistency is hard to guarantee. This paper attempts to bridge the power from the two types of diffusion models via the recent explicit and efficient 3D Gaussian splatting representation. A fast 3D generation framework, named as \name, is proposed, where the 3D diffusion model provides point cloud priors for initialization and the 2D diffusion model enriches the geometry and appearance. Operations of noisy point growing and color perturbation are introduced to enhance the initialized Gaussians. Our \name can generate a high-quality 3D instance within 25 minutes on one GPU, much faster than previous methods, while the generated instances can be directly rendered in real time. Demos and code are available at https://taoranyi.com/gaussiandreamer/.