GS-LRM: Большая модель восстановления для трехмерного гауссова сплетения.

GS-LRM: Large Reconstruction Model for 3D Gaussian Splatting

April 30, 2024

Авторы: Kai Zhang, Sai Bi, Hao Tan, Yuanbo Xiangli, Nanxuan Zhao, Kalyan Sunkavalli, Zexiang Xu

cs.AI

Аннотация

Мы предлагаем GS-LRM, масштабируемую модель большой реконструкции, способную предсказывать высококачественные трехмерные гауссовы примитивы по 2-4 представленным разреженным изображениям за 0,23 секунды на одном графическом процессоре A100. Наша модель имеет очень простую архитектуру на основе трансформера; мы разбиваем входные представленные изображения на патчи, передаем объединенные токены многопредставлений изображения через последовательность блоков трансформера и декодируем конечные параметры гауссова распределения на пиксель напрямую из этих токенов для дифференцируемого рендеринга. В отличие от предыдущих моделей большой реконструкции, которые могут только восстанавливать объекты, предсказывая гауссовы распределения на пиксель, GS-LRM естественным образом обрабатывает сцены с большими изменениями в масштабе и сложности. Мы показываем, что наша модель может работать как с захватом объектов, так и с захватом сцен, обучая ее соответственно на Objaverse и RealEstate10K. В обоих сценариях модели значительно превосходят современные базовые модели. Мы также демонстрируем применение нашей модели в последующих задачах генерации трехмерных объектов. Наш веб-сайт проекта доступен по адресу: https://sai-bi.github.io/project/gs-lrm/ .

English

We propose GS-LRM, a scalable large reconstruction model that can predict high-quality 3D Gaussian primitives from 2-4 posed sparse images in 0.23 seconds on single A100 GPU. Our model features a very simple transformer-based architecture; we patchify input posed images, pass the concatenated multi-view image tokens through a sequence of transformer blocks, and decode final per-pixel Gaussian parameters directly from these tokens for differentiable rendering. In contrast to previous LRMs that can only reconstruct objects, by predicting per-pixel Gaussians, GS-LRM naturally handles scenes with large variations in scale and complexity. We show that our model can work on both object and scene captures by training it on Objaverse and RealEstate10K respectively. In both scenarios, the models outperform state-of-the-art baselines by a wide margin. We also demonstrate applications of our model in downstream 3D generation tasks. Our project webpage is available at: https://sai-bi.github.io/project/gs-lrm/ .