ガウススプラッティングを用いたテキストから3D生成

要旨

本論文では、ガウススプラッティングに基づくテキストから3D生成（GSGEN）を提案する。これは高品質な3Dオブジェクトを生成するための新しいアプローチである。従来の手法では、3D事前情報と適切な表現の欠如により、不正確な幾何学と限られた忠実度が課題となっていた。我々は、最新の最先端表現である3Dガウススプラッティングを活用し、3D事前情報の組み込みを可能にする明示的な性質を利用して既存の欠点を解決する。具体的には、本手法は幾何学最適化段階と外観精緻化段階を含む漸進的最適化戦略を採用する。幾何学最適化では、通常の2D SDS損失とともに3D幾何学事前情報の下で粗い表現を確立し、合理的で3D整合性のある大まかな形状を保証する。その後、得られたガウシアンに対して反復的な精緻化を行い、詳細を充実させる。この段階では、コンパクトネスに基づく高密度化によりガウシアンの数を増やし、連続性を向上させ忠実度を高める。これらの設計により、本アプローチは繊細な詳細とより正確な幾何学を備えた3Dコンテンツを生成できる。広範な評価により、特に高周波成分の捕捉において本手法の有効性が実証された。ビデオ結果はhttps://gsgen3d.github.ioで提供されている。コードはhttps://github.com/gsgen3d/gsgenで公開されている。

English

In this paper, we present Gaussian Splatting based text-to-3D generation (GSGEN), a novel approach for generating high-quality 3D objects. Previous methods suffer from inaccurate geometry and limited fidelity due to the absence of 3D prior and proper representation. We leverage 3D Gaussian Splatting, a recent state-of-the-art representation, to address existing shortcomings by exploiting the explicit nature that enables the incorporation of 3D prior. Specifically, our method adopts a progressive optimization strategy, which includes a geometry optimization stage and an appearance refinement stage. In geometry optimization, a coarse representation is established under a 3D geometry prior along with the ordinary 2D SDS loss, ensuring a sensible and 3D-consistent rough shape. Subsequently, the obtained Gaussians undergo an iterative refinement to enrich details. In this stage, we increase the number of Gaussians by compactness-based densification to enhance continuity and improve fidelity. With these designs, our approach can generate 3D content with delicate details and more accurate geometry. Extensive evaluations demonstrate the effectiveness of our method, especially for capturing high-frequency components. Video results are provided at https://gsgen3d.github.io. Our code is available at https://github.com/gsgen3d/gsgen

ガウススプラッティングを用いたテキストから3D生成

Text-to-3D using Gaussian Splatting

要旨

Support