GS-LRM: Großes Rekonstruktionsmodell für 3D-Gauß-Splatting.

GS-LRM: Large Reconstruction Model for 3D Gaussian Splatting

April 30, 2024

Autoren: Kai Zhang, Sai Bi, Hao Tan, Yuanbo Xiangli, Nanxuan Zhao, Kalyan Sunkavalli, Zexiang Xu

cs.AI

Zusammenfassung

Wir schlagen GS-LRM vor, ein skalierbares großes Rekonstruktionsmodell, das hochwertige 3D-Gaußsche Primitive aus 2-4 aufgenommenen spärlichen Bildern in 0,23 Sekunden auf einer einzelnen A100 GPU vorhersagen kann. Unser Modell zeichnet sich durch eine sehr einfache auf Transformer basierende Architektur aus; wir unterteilen die Eingabe der aufgenommenen Bilder in Patches, leiten die konkatenierten Mehransichtsbild-Token durch eine Sequenz von Transformer-Blöcken und decodieren abschließend die pro Pixel Gaußschen Parameter direkt aus diesen Tokens für differenzierbares Rendern. Im Gegensatz zu früheren LRM-Modellen, die nur Objekte rekonstruieren können, handhabt GS-LRM durch die Vorhersage von pro Pixel Gaußschen Parametern natürlicherweise Szenen mit großen Variationen in Skala und Komplexität. Wir zeigen, dass unser Modell sowohl bei der Erfassung von Objekten als auch von Szenen funktioniert, indem wir es jeweils auf Objaverse und RealEstate10K trainieren. In beiden Szenarien übertrifft das Modell die State-of-the-Art-Baselines bei weitem. Wir zeigen auch Anwendungen unseres Modells in nachgelagerten 3D-Generierungsaufgaben. Unsere Projektwebseite ist verfügbar unter: https://sai-bi.github.io/project/gs-lrm/ .

English

We propose GS-LRM, a scalable large reconstruction model that can predict high-quality 3D Gaussian primitives from 2-4 posed sparse images in 0.23 seconds on single A100 GPU. Our model features a very simple transformer-based architecture; we patchify input posed images, pass the concatenated multi-view image tokens through a sequence of transformer blocks, and decode final per-pixel Gaussian parameters directly from these tokens for differentiable rendering. In contrast to previous LRMs that can only reconstruct objects, by predicting per-pixel Gaussians, GS-LRM naturally handles scenes with large variations in scale and complexity. We show that our model can work on both object and scene captures by training it on Objaverse and RealEstate10K respectively. In both scenarios, the models outperform state-of-the-art baselines by a wide margin. We also demonstrate applications of our model in downstream 3D generation tasks. Our project webpage is available at: https://sai-bi.github.io/project/gs-lrm/ .