AGG: Amortisierte generative 3D-Gaußsche Verteilungen für die Einzelbild-zu-3D-Transformation

AGG: Amortized Generative 3D Gaussians for Single Image to 3D

January 8, 2024

Autoren: Dejia Xu, Ye Yuan, Morteza Mardani, Sifei Liu, Jiaming Song, Zhangyang Wang, Arash Vahdat

cs.AI

Zusammenfassung

Angesichts des wachsenden Bedarfs an automatisierten Pipelines zur 3D-Inhaltserstellung wurden verschiedene 3D-Repräsentationen untersucht, um 3D-Objekte aus einem einzelnen Bild zu generieren. Aufgrund ihrer überlegenen Rendering-Effizienz haben auf 3D-Gaußschen Splatting basierende Modelle kürzlich sowohl in der 3D-Rekonstruktion als auch in der Generierung hervorragende Ergebnisse erzielt. Ansätze des 3D-Gaußschen Splattings für die Bild-zu-3D-Generierung sind oft optimierungsbasiert und erfordern viele rechenintensive Score-Distillation-Schritte. Um diese Herausforderungen zu bewältigen, führen wir ein amortisiertes generatives 3D-Gaußschen-Framework (AGG) ein, das sofort 3D-Gaußsche aus einem einzelnen Bild erzeugt und somit die Notwendigkeit einer instanzspezifischen Optimierung eliminiert. Durch die Verwendung einer intermediären hybriden Repräsentation zerlegt AGG die Generierung der 3D-Gaußschen Positionen und anderer Erscheinungsattribute für eine gemeinsame Optimierung. Darüber hinaus schlagen wir eine kaskadierte Pipeline vor, die zunächst eine grobe Repräsentation der 3D-Daten erzeugt und diese anschließend mit einem 3D-Gaußschen Super-Resolution-Modul hochskaliert. Unsere Methode wird gegen bestehende optimierungsbasierte 3D-Gaußschen-Frameworks und sampling-basierte Pipelines, die andere 3D-Repräsentationen verwenden, evaluiert, wobei AGG sowohl qualitativ als auch quantitativ wettbewerbsfähige Generierungsfähigkeiten zeigt und dabei um mehrere Größenordnungen schneller ist. Projektseite: https://ir1d.github.io/AGG/

English

Given the growing need for automatic 3D content creation pipelines, various 3D representations have been studied to generate 3D objects from a single image. Due to its superior rendering efficiency, 3D Gaussian splatting-based models have recently excelled in both 3D reconstruction and generation. 3D Gaussian splatting approaches for image to 3D generation are often optimization-based, requiring many computationally expensive score-distillation steps. To overcome these challenges, we introduce an Amortized Generative 3D Gaussian framework (AGG) that instantly produces 3D Gaussians from a single image, eliminating the need for per-instance optimization. Utilizing an intermediate hybrid representation, AGG decomposes the generation of 3D Gaussian locations and other appearance attributes for joint optimization. Moreover, we propose a cascaded pipeline that first generates a coarse representation of the 3D data and later upsamples it with a 3D Gaussian super-resolution module. Our method is evaluated against existing optimization-based 3D Gaussian frameworks and sampling-based pipelines utilizing other 3D representations, where AGG showcases competitive generation abilities both qualitatively and quantitatively while being several orders of magnitude faster. Project page: https://ir1d.github.io/AGG/