GVGEN: ボリュメトリック表現を用いたテキストから3D生成

GVGEN: Text-to-3D Generation with Volumetric Representation

March 19, 2024

著者: Xianglong He, Junyi Chen, Sida Peng, Di Huang, Yangguang Li, Xiaoshui Huang, Chun Yuan, Wanli Ouyang, Tong He

cs.AI

要旨

近年、3Dガウシアンスプラッティングは、高速かつ高品質なレンダリング能力で知られる3D再構成および生成の強力な技術として登場しました。これらの課題に対処するため、本論文では、テキスト入力から効率的に3Dガウシアン表現を生成する新しい拡散ベースのフレームワーク、GVGENを提案します。私たちは2つの革新的な技術を提案します：(1) 構造化された体積表現。まず、無秩序な3Dガウシアンポイントを構造化された形式のGaussianVolumeとして配置します。この変換により、固定数のガウシアンで構成される体積内の複雑なテクスチャ詳細を捉えることが可能になります。これらの詳細表現を最適化するため、Candidate Pool Strategyと呼ばれる独自の剪定および密度化手法を提案し、選択的最適化を通じて詳細の忠実度を向上させます。(2) 粗から細への生成パイプライン。GaussianVolumeの生成を簡素化し、詳細な3Dジオメトリを持つインスタンスを生成する能力をモデルに与えるため、粗から細へのパイプラインを提案します。これは最初に基本的な幾何構造を構築し、その後完全なガウシアン属性を予測します。私たちのフレームワーク、GVGENは、既存の3D生成手法と比較して定性的および定量的な評価において優れた性能を示します。同時に、高速な生成速度（約7秒）を維持し、品質と効率のバランスを効果的に実現しています。

English

In recent years, 3D Gaussian splatting has emerged as a powerful technique for 3D reconstruction and generation, known for its fast and high-quality rendering capabilities. To address these shortcomings, this paper introduces a novel diffusion-based framework, GVGEN, designed to efficiently generate 3D Gaussian representations from text input. We propose two innovative techniques:(1) Structured Volumetric Representation. We first arrange disorganized 3D Gaussian points as a structured form GaussianVolume. This transformation allows the capture of intricate texture details within a volume composed of a fixed number of Gaussians. To better optimize the representation of these details, we propose a unique pruning and densifying method named the Candidate Pool Strategy, enhancing detail fidelity through selective optimization. (2) Coarse-to-fine Generation Pipeline. To simplify the generation of GaussianVolume and empower the model to generate instances with detailed 3D geometry, we propose a coarse-to-fine pipeline. It initially constructs a basic geometric structure, followed by the prediction of complete Gaussian attributes. Our framework, GVGEN, demonstrates superior performance in qualitative and quantitative assessments compared to existing 3D generation methods. Simultaneously, it maintains a fast generation speed (sim7 seconds), effectively striking a balance between quality and efficiency.