GRM: 効率的な3D再構成と生成のための大規模ガウス再構成モデル

GRM: Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation

March 21, 2024

著者: Yinghao Xu, Zifan Shi, Wang Yifan, Hansheng Chen, Ceyuan Yang, Sida Peng, Yujun Shen, Gordon Wetzstein

cs.AI

要旨

我々は、スパースビュー画像から約0.1秒で3Dアセットを復元可能な大規模再構成器GRMを紹介する。GRMはフィードフォワード型のトランスフォーマーベースモデルであり、マルチビュー情報を効率的に取り込んで入力ピクセルをピクセルアラインドガウシアンに変換する。これらはアンプロジェクションされ、シーンを表す密に分布した3Dガウシアンの集合を生成する。我々のトランスフォーマーアーキテクチャと3Dガウシアンの使用により、スケーラブルで効率的な再構成フレームワークが実現される。広範な実験結果は、再構成品質と効率の両面において、本手法が他の手法を凌駕することを示している。また、既存のマルチビューディフュージョンモデルと統合することで、テキストから3D、画像から3Dといった生成タスクにおけるGRMの可能性も示す。プロジェクトウェブサイトは以下: https://justimyhxu.github.io/projects/grm/

English

We introduce GRM, a large-scale reconstructor capable of recovering a 3D asset from sparse-view images in around 0.1s. GRM is a feed-forward transformer-based model that efficiently incorporates multi-view information to translate the input pixels into pixel-aligned Gaussians, which are unprojected to create a set of densely distributed 3D Gaussians representing a scene. Together, our transformer architecture and the use of 3D Gaussians unlock a scalable and efficient reconstruction framework. Extensive experimental results demonstrate the superiority of our method over alternatives regarding both reconstruction quality and efficiency. We also showcase the potential of GRM in generative tasks, i.e., text-to-3D and image-to-3D, by integrating it with existing multi-view diffusion models. Our project website is at: https://justimyhxu.github.io/projects/grm/.