GS-LRM: 3D 가우시안 스플래팅을 위한 대규모 재구성 모델

GS-LRM: Large Reconstruction Model for 3D Gaussian Splatting

April 30, 2024

저자: Kai Zhang, Sai Bi, Hao Tan, Yuanbo Xiangli, Nanxuan Zhao, Kalyan Sunkavalli, Zexiang Xu

cs.AI

초록

우리는 단일 A100 GPU에서 0.23초 만에 2-4개의 포즈가 지정된 희소 이미지로부터 고품질의 3D 가우시안 프리미티브를 예측할 수 있는 확장 가능한 대규모 재구성 모델인 GS-LRM을 제안합니다. 우리의 모델은 매우 간단한 트랜스포머 기반 아키텍처를 특징으로 합니다; 입력된 포즈 이미지를 패치화하고, 다중 뷰 이미지 토큰을 연결하여 일련의 트랜스포머 블록을 통과시킨 후, 이러한 토큰에서 최종 픽셀별 가우시안 파라미터를 직접 디코딩하여 미분 가능한 렌더링을 수행합니다. 이전의 LRM들이 오직 객체만 재구성할 수 있었던 것과 달리, 픽셀별 가우시안을 예측함으로써 GS-LRM은 규모와 복잡성에서 큰 변동이 있는 장면을 자연스럽게 처리할 수 있습니다. 우리는 이 모델이 Objaverse와 RealEstate10K에서 각각 학습됨으로써 객체와 장면 캡처 모두에서 작동할 수 있음을 보여줍니다. 두 시나리오 모두에서, 이 모델은 최신 베이스라인을 큰 차이로 능가합니다. 또한, 우리는 이 모델의 하위 3D 생성 작업에서의 응용 사례를 보여줍니다. 우리의 프로젝트 웹페이지는 https://sai-bi.github.io/project/gs-lrm/ 에서 확인할 수 있습니다.

English

We propose GS-LRM, a scalable large reconstruction model that can predict high-quality 3D Gaussian primitives from 2-4 posed sparse images in 0.23 seconds on single A100 GPU. Our model features a very simple transformer-based architecture; we patchify input posed images, pass the concatenated multi-view image tokens through a sequence of transformer blocks, and decode final per-pixel Gaussian parameters directly from these tokens for differentiable rendering. In contrast to previous LRMs that can only reconstruct objects, by predicting per-pixel Gaussians, GS-LRM naturally handles scenes with large variations in scale and complexity. We show that our model can work on both object and scene captures by training it on Objaverse and RealEstate10K respectively. In both scenarios, the models outperform state-of-the-art baselines by a wide margin. We also demonstrate applications of our model in downstream 3D generation tasks. Our project webpage is available at: https://sai-bi.github.io/project/gs-lrm/ .