Gamba: 単一視点3D再構成のためのガウススプラッティングとMambaの融合

Gamba: Marry Gaussian Splatting with Mamba for single view 3D reconstruction

March 27, 2024

著者: Qiuhong Shen, Xuanyu Yi, Zike Wu, Pan Zhou, Hanwang Zhang, Shuicheng Yan, Xinchao Wang

cs.AI

要旨

自動化された3Dコンテンツ作成パイプラインの需要が高まる中、単一画像からの効率的な3Dアセット再構築の課題に取り組みます。従来の手法は主にScore Distillation Sampling（SDS）とNeural Radiance Fields（NeRF）に依存していました。これらの手法は大きな成功を収めていますが、長時間の最適化と膨大なメモリ使用量により、実用的な制限に直面しています。本報告では、単一視点画像からのエンドツーエンドの償却型3D再構築モデルであるGambaを紹介し、以下の2つの主要な洞察を強調します：（1）3D表現：効率的な3Dガウシアンスプラッティングプロセスのために多数の3Dガウシアンを活用すること；（2）バックボーン設計：コンテキスト依存の推論とシーケンス（トークン）長に対する線形スケーラビリティを可能にするMambaベースのシーケンシャルネットワークを導入し、多数のガウシアンを収容すること。Gambaは、データ前処理、正則化設計、およびトレーニング方法論において重要な進歩を取り入れています。実世界でスキャンされたOmniObject3Dデータセットを使用して、Gambaを既存の最適化ベースおよびフィードフォワード型の3D生成アプローチと比較評価しました。その結果、Gambaは質的および量的に競争力のある生成能力を示し、単一のNVIDIA A100 GPU上で約0.6秒という驚異的な速度を達成しました。

English

We tackle the challenge of efficiently reconstructing a 3D asset from a single image with growing demands for automated 3D content creation pipelines. Previous methods primarily rely on Score Distillation Sampling (SDS) and Neural Radiance Fields (NeRF). Despite their significant success, these approaches encounter practical limitations due to lengthy optimization and considerable memory usage. In this report, we introduce Gamba, an end-to-end amortized 3D reconstruction model from single-view images, emphasizing two main insights: (1) 3D representation: leveraging a large number of 3D Gaussians for an efficient 3D Gaussian splatting process; (2) Backbone design: introducing a Mamba-based sequential network that facilitates context-dependent reasoning and linear scalability with the sequence (token) length, accommodating a substantial number of Gaussians. Gamba incorporates significant advancements in data preprocessing, regularization design, and training methodologies. We assessed Gamba against existing optimization-based and feed-forward 3D generation approaches using the real-world scanned OmniObject3D dataset. Here, Gamba demonstrates competitive generation capabilities, both qualitatively and quantitatively, while achieving remarkable speed, approximately 0.6 second on a single NVIDIA A100 GPU.