GS-LRM : Modèle de Reconstruction à Grande Échelle pour le Splatting Gaussien 3D

GS-LRM: Large Reconstruction Model for 3D Gaussian Splatting

April 30, 2024

Auteurs: Kai Zhang, Sai Bi, Hao Tan, Yuanbo Xiangli, Nanxuan Zhao, Kalyan Sunkavalli, Zexiang Xu

cs.AI

Résumé

Nous proposons GS-LRM, un modèle de reconstruction à grande échelle capable de prédire des primitives 3D Gaussiennes de haute qualité à partir de 2 à 4 images éparses posées en 0,23 seconde sur une seule GPU A100. Notre modèle se distingue par une architecture très simple basée sur des transformateurs : nous découpons les images d'entrée posées en patches, faisons passer les tokens d'images multi-vues concaténés à travers une séquence de blocs de transformateurs, et décodons directement les paramètres Gaussians par pixel à partir de ces tokens pour un rendu différenciable. Contrairement aux modèles LRM précédents qui ne peuvent reconstruire que des objets, en prédisant des Gaussians par pixel, GS-LRM gère naturellement des scènes présentant de grandes variations d'échelle et de complexité. Nous montrons que notre modèle peut fonctionner à la fois sur des captures d'objets et de scènes en l'entraînant respectivement sur Objaverse et RealEstate10K. Dans les deux cas, les modèles surpassent largement les références de l'état de l'art. Nous démontrons également des applications de notre modèle dans des tâches de génération 3D en aval. La page web de notre projet est disponible à l'adresse : https://sai-bi.github.io/project/gs-lrm/.

English

We propose GS-LRM, a scalable large reconstruction model that can predict high-quality 3D Gaussian primitives from 2-4 posed sparse images in 0.23 seconds on single A100 GPU. Our model features a very simple transformer-based architecture; we patchify input posed images, pass the concatenated multi-view image tokens through a sequence of transformer blocks, and decode final per-pixel Gaussian parameters directly from these tokens for differentiable rendering. In contrast to previous LRMs that can only reconstruct objects, by predicting per-pixel Gaussians, GS-LRM naturally handles scenes with large variations in scale and complexity. We show that our model can work on both object and scene captures by training it on Objaverse and RealEstate10K respectively. In both scenarios, the models outperform state-of-the-art baselines by a wide margin. We also demonstrate applications of our model in downstream 3D generation tasks. Our project webpage is available at: https://sai-bi.github.io/project/gs-lrm/ .