DreamGaussian: 効率的な3Dコンテンツ生成のための生成的ガウススプラッティング

要旨

近年の3Dコンテンツ作成の進展は、主にスコア蒸留サンプリング（SDS）を介した最適化ベースの3D生成に依存しています。有望な結果が示されているものの、これらの手法はサンプルごとの最適化が遅く、実用的な使用が制限されることが多いです。本論文では、効率性と品質を同時に実現する新しい3Dコンテンツ生成フレームワークであるDreamGaussianを提案します。私たちの重要な洞察は、生成的な3Dガウシアンスプラッティングモデルを設計し、それに伴うメッシュ抽出とUV空間でのテクスチャリファインメントを組み合わせることです。Neural Radiance Fieldsで使用される占有プルーニングとは対照的に、3Dガウシアンの段階的な密度化が3D生成タスクにおいて大幅に速く収束することを実証します。テクスチャ品質をさらに向上させ、下流のアプリケーションを容易にするために、3Dガウシアンをテクスチャ付きメッシュに変換する効率的なアルゴリズムを導入し、詳細をリファインするための微調整ステージを適用します。広範な実験により、提案手法の優れた効率性と競争力のある生成品質が実証されています。特に、DreamGaussianは単一視点画像からわずか2分で高品質なテクスチャ付きメッシュを生成し、既存の手法と比較して約10倍の高速化を達成します。

English

Recent advances in 3D content creation mostly leverage optimization-based 3D generation via score distillation sampling (SDS). Though promising results have been exhibited, these methods often suffer from slow per-sample optimization, limiting their practical usage. In this paper, we propose DreamGaussian, a novel 3D content generation framework that achieves both efficiency and quality simultaneously. Our key insight is to design a generative 3D Gaussian Splatting model with companioned mesh extraction and texture refinement in UV space. In contrast to the occupancy pruning used in Neural Radiance Fields, we demonstrate that the progressive densification of 3D Gaussians converges significantly faster for 3D generative tasks. To further enhance the texture quality and facilitate downstream applications, we introduce an efficient algorithm to convert 3D Gaussians into textured meshes and apply a fine-tuning stage to refine the details. Extensive experiments demonstrate the superior efficiency and competitive generation quality of our proposed approach. Notably, DreamGaussian produces high-quality textured meshes in just 2 minutes from a single-view image, achieving approximately 10 times acceleration compared to existing methods.

DreamGaussian: 効率的な3Dコンテンツ生成のための生成的ガウススプラッティング

DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation

要旨

Summary

Support