GRM: Большая гауссовская модель восстановления для эффективной трехмерной реконструкции и генерации

GRM: Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation

March 21, 2024

Авторы: Yinghao Xu, Zifan Shi, Wang Yifan, Hansheng Chen, Ceyuan Yang, Sida Peng, Yujun Shen, Gordon Wetzstein

cs.AI

Аннотация

Мы представляем GRM, крупномасштабный реконструктор, способный восстанавливать 3D-объект из разреженных изображений за около 0.1 секунды. GRM - это модель на основе трансформера прямого распространения, которая эффективно интегрирует информацию с нескольких видов для преобразования входных пикселей в пиксель-выровненные гауссианы, которые затем проецируются для создания набора плотно распределенных 3D-гауссиан, представляющих сцену. Наша архитектура трансформера и использование 3D-гауссиан вместе открывают масштабируемую и эффективную среду реконструкции. Обширные экспериментальные результаты демонстрируют превосходство нашего метода над альтернативами как по качеству реконструкции, так и по эффективности. Мы также демонстрируем потенциал GRM в генеративных задачах, таких как текст-в-3D и изображение-в-3D, интегрируя его с существующими моделями диффузии с несколькими видами. Наш веб-сайт проекта находится по адресу: https://justimyhxu.github.io/projects/grm/.

English

We introduce GRM, a large-scale reconstructor capable of recovering a 3D asset from sparse-view images in around 0.1s. GRM is a feed-forward transformer-based model that efficiently incorporates multi-view information to translate the input pixels into pixel-aligned Gaussians, which are unprojected to create a set of densely distributed 3D Gaussians representing a scene. Together, our transformer architecture and the use of 3D Gaussians unlock a scalable and efficient reconstruction framework. Extensive experimental results demonstrate the superiority of our method over alternatives regarding both reconstruction quality and efficiency. We also showcase the potential of GRM in generative tasks, i.e., text-to-3D and image-to-3D, by integrating it with existing multi-view diffusion models. Our project website is at: https://justimyhxu.github.io/projects/grm/.