GRM: Großes Gauss'sches Rekonstruktionsmodell für effiziente 3D-Rekonstruktion und Generierung

GRM: Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation

March 21, 2024

Autoren: Yinghao Xu, Zifan Shi, Wang Yifan, Hansheng Chen, Ceyuan Yang, Sida Peng, Yujun Shen, Gordon Wetzstein

cs.AI

Zusammenfassung

Wir stellen GRM vor, einen groß angelegten Rekonstrukteur, der in der Lage ist, ein 3D-Objekt aus spärlichen Ansichtsbildern in etwa 0,1 Sekunde wiederherzustellen. GRM ist ein auf Transformer basierendes Modell mit Feedforward, das effizient mehrere Ansichten von Informationen integriert, um die Eingabepixel in pixelausgerichtete Gaußsche Funktionen zu übersetzen, die unprojiziert werden, um eine Gruppe dicht verteilter 3D-Gaußscher Funktionen zu erstellen, die eine Szene repräsentieren. Unsere Transformer-Architektur und die Verwendung von 3D-Gaußschen Funktionen schaffen gemeinsam ein skalierbares und effizientes Rekonstruktionsframework. Umfangreiche experimentelle Ergebnisse belegen die Überlegenheit unserer Methode gegenüber Alternativen hinsichtlich sowohl der Rekonstruktionsqualität als auch der Effizienz. Wir zeigen auch das Potenzial von GRM in generativen Aufgaben, d.h. Text-zu-3D und Bild-zu-3D, indem wir es mit bestehenden Multi-View-Diffusionsmodellen integrieren. Unsere Projektwebsite ist unter folgendem Link erreichbar: https://justimyhxu.github.io/projects/grm/.

English

We introduce GRM, a large-scale reconstructor capable of recovering a 3D asset from sparse-view images in around 0.1s. GRM is a feed-forward transformer-based model that efficiently incorporates multi-view information to translate the input pixels into pixel-aligned Gaussians, which are unprojected to create a set of densely distributed 3D Gaussians representing a scene. Together, our transformer architecture and the use of 3D Gaussians unlock a scalable and efficient reconstruction framework. Extensive experimental results demonstrate the superiority of our method over alternatives regarding both reconstruction quality and efficiency. We also showcase the potential of GRM in generative tasks, i.e., text-to-3D and image-to-3D, by integrating it with existing multi-view diffusion models. Our project website is at: https://justimyhxu.github.io/projects/grm/.