GRM: Groot Gaussiaans Reconstructiemodel voor Efficiënte 3D-reconstructie en -generatie

GRM: Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation

March 21, 2024

Auteurs: Yinghao Xu, Zifan Shi, Wang Yifan, Hansheng Chen, Ceyuan Yang, Sida Peng, Yujun Shen, Gordon Wetzstein

cs.AI

Samenvatting

We introduceren GRM, een grootschalige reconstructor die in staat is om een 3D-asset te herstellen uit sparse-view afbeeldingen in ongeveer 0,1s. GRM is een feed-forward transformer-gebaseerd model dat efficiënt multi-view informatie integreert om de invoerpixels om te zetten in pixel-uitgelijnde Gaussians, die vervolgens worden geüprojecteerd om een set van dicht verdeelde 3D Gaussians te creëren die een scène representeren. Onze transformer-architectuur en het gebruik van 3D Gaussians maken samen een schaalbare en efficiënte reconstructie-framework mogelijk. Uitgebreide experimentele resultaten tonen de superioriteit van onze methode aan ten opzichte van alternatieven, zowel wat betreft reconstructiekwaliteit als efficiëntie. We demonstreren ook het potentieel van GRM in generatieve taken, zoals tekst-naar-3D en afbeelding-naar-3D, door het te integreren met bestaande multi-view diffusiemodellen. Onze projectwebsite is te vinden op: https://justimyhxu.github.io/projects/grm/.

English

We introduce GRM, a large-scale reconstructor capable of recovering a 3D asset from sparse-view images in around 0.1s. GRM is a feed-forward transformer-based model that efficiently incorporates multi-view information to translate the input pixels into pixel-aligned Gaussians, which are unprojected to create a set of densely distributed 3D Gaussians representing a scene. Together, our transformer architecture and the use of 3D Gaussians unlock a scalable and efficient reconstruction framework. Extensive experimental results demonstrate the superiority of our method over alternatives regarding both reconstruction quality and efficiency. We also showcase the potential of GRM in generative tasks, i.e., text-to-3D and image-to-3D, by integrating it with existing multi-view diffusion models. Our project website is at: https://justimyhxu.github.io/projects/grm/.