GRM: Grande Modello di Ricostruzione Gaussiana per la Ricostruzione e Generazione Efficiente di Contenuti 3D

GRM: Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation

March 21, 2024

Autori: Yinghao Xu, Zifan Shi, Wang Yifan, Hansheng Chen, Ceyuan Yang, Sida Peng, Yujun Shen, Gordon Wetzstein

cs.AI

Abstract

Presentiamo GRM, un ricostruttore su larga scala in grado di recuperare un asset 3D da immagini a vista sparsa in circa 0,1 secondi. GRM è un modello feed-forward basato su transformer che incorpora in modo efficiente le informazioni multi-vista per tradurre i pixel di input in Gaussiane allineate ai pixel, che vengono poi proiettate per creare un insieme di Gaussiane 3D densamente distribuite che rappresentano una scena. Insieme, la nostra architettura transformer e l'uso di Gaussiane 3D sbloccano un framework di ricostruzione scalabile ed efficiente. I risultati sperimentali estesi dimostrano la superiorità del nostro metodo rispetto alle alternative sia per quanto riguarda la qualità della ricostruzione che l'efficienza. Mostriamo inoltre il potenziale di GRM in compiti generativi, come text-to-3D e image-to-3D, integrandolo con modelli di diffusione multi-vista esistenti. Il sito web del nostro progetto è disponibile all'indirizzo: https://justimyhxu.github.io/projects/grm/.

English

We introduce GRM, a large-scale reconstructor capable of recovering a 3D asset from sparse-view images in around 0.1s. GRM is a feed-forward transformer-based model that efficiently incorporates multi-view information to translate the input pixels into pixel-aligned Gaussians, which are unprojected to create a set of densely distributed 3D Gaussians representing a scene. Together, our transformer architecture and the use of 3D Gaussians unlock a scalable and efficient reconstruction framework. Extensive experimental results demonstrate the superiority of our method over alternatives regarding both reconstruction quality and efficiency. We also showcase the potential of GRM in generative tasks, i.e., text-to-3D and image-to-3D, by integrating it with existing multi-view diffusion models. Our project website is at: https://justimyhxu.github.io/projects/grm/.