GRM: Modelo de Reconstrucción Gaussiana a Gran Escala para la Reconstrucción y Generación Eficiente en 3D

GRM: Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation

March 21, 2024

Autores: Yinghao Xu, Zifan Shi, Wang Yifan, Hansheng Chen, Ceyuan Yang, Sida Peng, Yujun Shen, Gordon Wetzstein

cs.AI

Resumen

Presentamos GRM, un reconstructor a gran escala capaz de recuperar un activo 3D a partir de imágenes de vistas escasas en aproximadamente 0.1s. GRM es un modelo basado en transformadores de avance directo que incorpora eficientemente información multivista para traducir los píxeles de entrada en Gaussianas alineadas con píxeles, las cuales se desproyectan para crear un conjunto de Gaussianas 3D densamente distribuidas que representan una escena. Juntos, nuestra arquitectura de transformadores y el uso de Gaussianas 3D desbloquean un marco de reconstrucción escalable y eficiente. Los resultados experimentales extensivos demuestran la superioridad de nuestro método frente a alternativas tanto en calidad de reconstrucción como en eficiencia. También mostramos el potencial de GRM en tareas generativas, es decir, texto-a-3D e imagen-a-3D, al integrarlo con modelos de difusión multivista existentes. Nuestro sitio web del proyecto se encuentra en: https://justimyhxu.github.io/projects/grm/.

English

We introduce GRM, a large-scale reconstructor capable of recovering a 3D asset from sparse-view images in around 0.1s. GRM is a feed-forward transformer-based model that efficiently incorporates multi-view information to translate the input pixels into pixel-aligned Gaussians, which are unprojected to create a set of densely distributed 3D Gaussians representing a scene. Together, our transformer architecture and the use of 3D Gaussians unlock a scalable and efficient reconstruction framework. Extensive experimental results demonstrate the superiority of our method over alternatives regarding both reconstruction quality and efficiency. We also showcase the potential of GRM in generative tasks, i.e., text-to-3D and image-to-3D, by integrating it with existing multi-view diffusion models. Our project website is at: https://justimyhxu.github.io/projects/grm/.