AGG: Geamortiseerde Generatieve 3D Gaussians voor Single Image naar 3D

AGG: Amortized Generative 3D Gaussians for Single Image to 3D

January 8, 2024

Auteurs: Dejia Xu, Ye Yuan, Morteza Mardani, Sifei Liu, Jiaming Song, Zhangyang Wang, Arash Vahdat

cs.AI

Samenvatting

Gezien de groeiende behoefte aan automatische 3D-contentcreatiepijplijnen, zijn verschillende 3D-representaties bestudeerd om 3D-objecten uit een enkele afbeelding te genereren. Vanwege de superieure renderingefficiëntie hebben op 3D Gaussian splatting gebaseerde modellen recentelijk uitstekende prestaties geleverd in zowel 3D-reconstructie als -generatie. Benaderingen voor 3D Gaussian splatting voor beeld-naar-3D-generatie zijn vaak optimalisatiegebaseerd, wat veel rekenkundig dure score-distillatiestappen vereist. Om deze uitdagingen te overwinnen, introduceren we een Amortized Generative 3D Gaussian-framework (AGG) dat onmiddellijk 3D Gaussians produceert uit een enkele afbeelding, waardoor de noodzaak voor per-instantie optimalisatie wordt geëlimineerd. Door gebruik te maken van een intermediaire hybride representatie, ontbindt AGG de generatie van 3D Gaussian-locaties en andere uiterlijke attributen voor gezamenlijke optimalisatie. Bovendien stellen we een gecascadeerde pijplijn voor die eerst een grove representatie van de 3D-gegevens genereert en deze later upsamplet met een 3D Gaussian super-resolutiemodule. Onze methode wordt geëvalueerd tegen bestaande optimalisatiegebaseerde 3D Gaussian-frameworks en samplinggebaseerde pijplijnen die andere 3D-representaties gebruiken, waarbij AGG competitieve generatiecapaciteiten laat zien, zowel kwalitatief als kwantitatief, terwijl het meerdere ordes van grootte sneller is. Projectpagina: https://ir1d.github.io/AGG/

English

Given the growing need for automatic 3D content creation pipelines, various 3D representations have been studied to generate 3D objects from a single image. Due to its superior rendering efficiency, 3D Gaussian splatting-based models have recently excelled in both 3D reconstruction and generation. 3D Gaussian splatting approaches for image to 3D generation are often optimization-based, requiring many computationally expensive score-distillation steps. To overcome these challenges, we introduce an Amortized Generative 3D Gaussian framework (AGG) that instantly produces 3D Gaussians from a single image, eliminating the need for per-instance optimization. Utilizing an intermediate hybrid representation, AGG decomposes the generation of 3D Gaussian locations and other appearance attributes for joint optimization. Moreover, we propose a cascaded pipeline that first generates a coarse representation of the 3D data and later upsamples it with a 3D Gaussian super-resolution module. Our method is evaluated against existing optimization-based 3D Gaussian frameworks and sampling-based pipelines utilizing other 3D representations, where AGG showcases competitive generation abilities both qualitatively and quantitatively while being several orders of magnitude faster. Project page: https://ir1d.github.io/AGG/