AGG: 単一画像から3Dへのアモタイズド生成型3Dガウシアン
AGG: Amortized Generative 3D Gaussians for Single Image to 3D
January 8, 2024
著者: Dejia Xu, Ye Yuan, Morteza Mardani, Sifei Liu, Jiaming Song, Zhangyang Wang, Arash Vahdat
cs.AI
要旨
自動3Dコンテンツ作成パイプラインの需要が高まる中、単一画像から3Dオブジェクトを生成するための様々な3D表現が研究されてきました。その中でも、3Dガウシアンスプラッティングベースのモデルは、その優れたレンダリング効率により、最近3D再構築と生成の両方で優れた成果を上げています。画像から3Dを生成するための3Dガウシアンスプラッティングアプローチは、多くの場合最適化ベースであり、計算コストの高いスコア蒸留ステップを多数必要とします。これらの課題を克服するため、我々は単一画像から即座に3Dガウシアンを生成するAmortized Generative 3D Gaussianフレームワーク（AGG）を提案します。これにより、インスタンスごとの最適化が不要となります。中間的なハイブリッド表現を利用し、AGGは3Dガウシアンの位置とその他の外観属性の生成を分解して共同最適化を行います。さらに、まず3Dデータの粗い表現を生成し、その後3Dガウシアン超解像モジュールでアップサンプリングするカスケードパイプラインを提案します。我々の手法は、既存の最適化ベースの3Dガウシアンフレームワークや他の3D表現を利用したサンプリングベースのパイプラインと比較評価され、AGGは質的・量的に競争力のある生成能力を示しつつ、数桁高速であることが確認されました。プロジェクトページ: https://ir1d.github.io/AGG/
English
Given the growing need for automatic 3D content creation pipelines, various
3D representations have been studied to generate 3D objects from a single
image. Due to its superior rendering efficiency, 3D Gaussian splatting-based
models have recently excelled in both 3D reconstruction and generation. 3D
Gaussian splatting approaches for image to 3D generation are often
optimization-based, requiring many computationally expensive score-distillation
steps. To overcome these challenges, we introduce an Amortized Generative 3D
Gaussian framework (AGG) that instantly produces 3D Gaussians from a single
image, eliminating the need for per-instance optimization. Utilizing an
intermediate hybrid representation, AGG decomposes the generation of 3D
Gaussian locations and other appearance attributes for joint optimization.
Moreover, we propose a cascaded pipeline that first generates a coarse
representation of the 3D data and later upsamples it with a 3D Gaussian
super-resolution module. Our method is evaluated against existing
optimization-based 3D Gaussian frameworks and sampling-based pipelines
utilizing other 3D representations, where AGG showcases competitive generation
abilities both qualitatively and quantitatively while being several orders of
magnitude faster. Project page: https://ir1d.github.io/AGG/