Compress3D: 単一画像からの3D生成のための圧縮潜在空間

Compress3D: a Compressed Latent Space for 3D Generation from a Single Image

March 20, 2024

著者: Bowen Zhang, Tianyu Yang, Yu Li, Lei Zhang, Xi Zhao

cs.AI

要旨

3D生成技術は大きな進歩を遂げてきたものの、単一画像から高品質な3Dアセットを効率的に生成することは依然として課題となっている。本論文では、3Dモデルをコンパクトなトライプレーン潜在空間にエンコードすることで、3Dジオメトリとテクスチャ情報の両方を効果的に圧縮するトライプレーンオートエンコーダを提案する。オートエンコーダのフレームワーク内では、3D-awareなクロスアテンションメカニズムを導入し、低解像度の潜在表現を用いて高解像度の3D特徴ボリュームから特徴をクエリすることで、潜在空間の表現能力を向上させる。その後、この洗練された潜在空間上で拡散モデルを学習する。画像埋め込みのみに依存する3D生成とは異なり、提案手法では画像埋め込みと形状埋め込みの両方を条件として同時に利用することを提唱する。具体的には、形状埋め込みは画像埋め込みを条件とした拡散事前モデルによって推定される。包括的な実験を通じて、提案手法が最先端のアルゴリズムを上回り、より少ない学習データと時間で優れた性能を達成することを示す。本アプローチにより、単一のA100 GPU上でわずか7秒で高品質な3Dアセットを生成することが可能となる。

English

3D generation has witnessed significant advancements, yet efficiently producing high-quality 3D assets from a single image remains challenging. In this paper, we present a triplane autoencoder, which encodes 3D models into a compact triplane latent space to effectively compress both the 3D geometry and texture information. Within the autoencoder framework, we introduce a 3D-aware cross-attention mechanism, which utilizes low-resolution latent representations to query features from a high-resolution 3D feature volume, thereby enhancing the representation capacity of the latent space. Subsequently, we train a diffusion model on this refined latent space. In contrast to solely relying on image embedding for 3D generation, our proposed method advocates for the simultaneous utilization of both image embedding and shape embedding as conditions. Specifically, the shape embedding is estimated via a diffusion prior model conditioned on the image embedding. Through comprehensive experiments, we demonstrate that our method outperforms state-of-the-art algorithms, achieving superior performance while requiring less training data and time. Our approach enables the generation of high-quality 3D assets in merely 7 seconds on a single A100 GPU.