GS-LRM: 3Dガウススプラッティングのための大規模再構成モデル

GS-LRM: Large Reconstruction Model for 3D Gaussian Splatting

April 30, 2024

著者: Kai Zhang, Sai Bi, Hao Tan, Yuanbo Xiangli, Nanxuan Zhao, Kalyan Sunkavalli, Zexiang Xu

cs.AI

要旨

我々はGS-LRMを提案する。これは、単一のA100 GPU上で2-4枚のポーズ付きスパース画像から高品質な3Dガウシアンプリミティブを0.23秒で予測可能なスケーラブルな大規模再構成モデルである。本モデルは非常にシンプルなトランスフォーマーベースのアーキテクチャを特徴としており、入力されたポーズ付き画像をパッチ化し、連結されたマルチビュー画像トークンを一連のトランスフォーマーブロックに通し、これらのトークンから直接最終的なピクセルごとのガウシアンパラメータをデコードして微分可能レンダリングを行う。従来のLRMがオブジェクトのみを再構成できたのに対し、ピクセルごとのガウシアンを予測することで、GS-LRMはスケールや複雑さに大きなばらつきのあるシーンを自然に扱える。本モデルがObjaverseとRealEstate10Kでそれぞれトレーニングされることで、オブジェクトとシーンの両方のキャプチャに対応可能であることを示す。どちらのシナリオにおいても、本モデルは最先端のベースラインを大きく上回る性能を発揮する。また、下流の3D生成タスクにおける本モデルの応用例も示す。プロジェクトのウェブページは以下で公開されている：https://sai-bi.github.io/project/gs-lrm/

English

We propose GS-LRM, a scalable large reconstruction model that can predict high-quality 3D Gaussian primitives from 2-4 posed sparse images in 0.23 seconds on single A100 GPU. Our model features a very simple transformer-based architecture; we patchify input posed images, pass the concatenated multi-view image tokens through a sequence of transformer blocks, and decode final per-pixel Gaussian parameters directly from these tokens for differentiable rendering. In contrast to previous LRMs that can only reconstruct objects, by predicting per-pixel Gaussians, GS-LRM naturally handles scenes with large variations in scale and complexity. We show that our model can work on both object and scene captures by training it on Objaverse and RealEstate10K respectively. In both scenarios, the models outperform state-of-the-art baselines by a wide margin. We also demonstrate applications of our model in downstream 3D generation tasks. Our project webpage is available at: https://sai-bi.github.io/project/gs-lrm/ .