GS-LRM: Groot Reconstructiemodel voor 3D Gaussische Splatting

GS-LRM: Large Reconstruction Model for 3D Gaussian Splatting

April 30, 2024

Auteurs: Kai Zhang, Sai Bi, Hao Tan, Yuanbo Xiangli, Nanxuan Zhao, Kalyan Sunkavalli, Zexiang Xu

cs.AI

Samenvatting

Wij stellen GS-LRM voor, een schaalbaar groot reconstructiemodel dat hoogwaardige 3D Gauss-primitieven kan voorspellen uit 2-4 gepositioneerde sparse afbeeldingen in 0,23 seconden op een enkele A100 GPU. Ons model kenmerkt zich door een zeer eenvoudige transformer-gebaseerde architectuur; we verdelen de invoer-gepositioneerde afbeeldingen in patches, geven de samengevoegde multi-view beeldtokens door aan een reeks transformerblokken, en decoderen de uiteindelijke per-pixel Gauss-parameters direct uit deze tokens voor differentieerbaar renderen. In tegenstelling tot eerdere LRM's die alleen objecten kunnen reconstrueren, kan GS-LRM door het voorspellen van per-pixel Gauss-primitieven natuurlijk omgaan met scènes met grote variaties in schaal en complexiteit. We laten zien dat ons model zowel op object- als scènecaptures kan werken door het te trainen op respectievelijk Objaverse en RealEstate10K. In beide scenario's overtreffen de modellen de state-of-the-art baselines met een ruime marge. We demonstreren ook toepassingen van ons model in downstream 3D-generatietaken. Onze projectwebpagina is beschikbaar op: https://sai-bi.github.io/project/gs-lrm/.

English

We propose GS-LRM, a scalable large reconstruction model that can predict high-quality 3D Gaussian primitives from 2-4 posed sparse images in 0.23 seconds on single A100 GPU. Our model features a very simple transformer-based architecture; we patchify input posed images, pass the concatenated multi-view image tokens through a sequence of transformer blocks, and decode final per-pixel Gaussian parameters directly from these tokens for differentiable rendering. In contrast to previous LRMs that can only reconstruct objects, by predicting per-pixel Gaussians, GS-LRM naturally handles scenes with large variations in scale and complexity. We show that our model can work on both object and scene captures by training it on Objaverse and RealEstate10K respectively. In both scenarios, the models outperform state-of-the-art baselines by a wide margin. We also demonstrate applications of our model in downstream 3D generation tasks. Our project webpage is available at: https://sai-bi.github.io/project/gs-lrm/ .