GRM : Grand Modèle de Reconstruction Gaussienne pour une Reconstruction et Génération 3D Efficace

GRM: Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation

March 21, 2024

Auteurs: Yinghao Xu, Zifan Shi, Wang Yifan, Hansheng Chen, Ceyuan Yang, Sida Peng, Yujun Shen, Gordon Wetzstein

cs.AI

Résumé

Nous présentons GRM, un reconstructeur à grande échelle capable de récupérer un actif 3D à partir d'images à vues clairsemées en environ 0,1s. GRM est un modèle basé sur un transformeur en feed-forward qui intègre efficacement les informations multi-vues pour traduire les pixels d'entrée en Gaussiennes alignées sur les pixels, qui sont ensuite projetées pour créer un ensemble de Gaussiennes 3D densément distribuées représentant une scène. Ensemble, notre architecture de transformeur et l'utilisation de Gaussiennes 3D débloquent un cadre de reconstruction scalable et efficace. Les résultats expérimentaux approfondis démontrent la supériorité de notre méthode par rapport aux alternatives en termes de qualité de reconstruction et d'efficacité. Nous montrons également le potentiel de GRM dans des tâches génératives, c'est-à-dire le texte-à-3D et l'image-à-3D, en l'intégrant avec des modèles de diffusion multi-vues existants. Notre site web de projet est accessible à l'adresse : https://justimyhxu.github.io/projects/grm/.

English

We introduce GRM, a large-scale reconstructor capable of recovering a 3D asset from sparse-view images in around 0.1s. GRM is a feed-forward transformer-based model that efficiently incorporates multi-view information to translate the input pixels into pixel-aligned Gaussians, which are unprojected to create a set of densely distributed 3D Gaussians representing a scene. Together, our transformer architecture and the use of 3D Gaussians unlock a scalable and efficient reconstruction framework. Extensive experimental results demonstrate the superiority of our method over alternatives regarding both reconstruction quality and efficiency. We also showcase the potential of GRM in generative tasks, i.e., text-to-3D and image-to-3D, by integrating it with existing multi-view diffusion models. Our project website is at: https://justimyhxu.github.io/projects/grm/.