AGG : Gaussiennes génératives amorties pour la conversion d'une image unique en 3D

AGG: Amortized Generative 3D Gaussians for Single Image to 3D

January 8, 2024

Auteurs: Dejia Xu, Ye Yuan, Morteza Mardani, Sifei Liu, Jiaming Song, Zhangyang Wang, Arash Vahdat

cs.AI

Résumé

Face au besoin croissant de pipelines de création automatique de contenu 3D, diverses représentations 3D ont été étudiées pour générer des objets 3D à partir d'une seule image. En raison de leur efficacité de rendu supérieure, les modèles basés sur le splatting de Gaussiennes 3D ont récemment excellé à la fois en reconstruction et en génération 3D. Les approches de splatting de Gaussiennes 3D pour la génération d'images en 3D sont souvent basées sur l'optimisation, nécessitant de nombreuses étapes de distillation de scores coûteuses en calcul. Pour surmonter ces défis, nous introduisons un cadre génératif amorti de Gaussiennes 3D (AGG) qui produit instantanément des Gaussiennes 3D à partir d'une seule image, éliminant ainsi le besoin d'optimisation par instance. En utilisant une représentation hybride intermédiaire, AGG décompose la génération des positions des Gaussiennes 3D et d'autres attributs d'apparence pour une optimisation conjointe. De plus, nous proposons un pipeline en cascade qui génère d'abord une représentation grossière des données 3D, puis les suréchantillonne avec un module de super-résolution de Gaussiennes 3D. Notre méthode est évaluée par rapport aux cadres existants de Gaussiennes 3D basés sur l'optimisation et aux pipelines basés sur l'échantillonnage utilisant d'autres représentations 3D, où AGG démontre des capacités de génération compétitives à la fois qualitativement et quantitativement, tout en étant plusieurs ordres de grandeur plus rapide. Page du projet : https://ir1d.github.io/AGG/

English

Given the growing need for automatic 3D content creation pipelines, various 3D representations have been studied to generate 3D objects from a single image. Due to its superior rendering efficiency, 3D Gaussian splatting-based models have recently excelled in both 3D reconstruction and generation. 3D Gaussian splatting approaches for image to 3D generation are often optimization-based, requiring many computationally expensive score-distillation steps. To overcome these challenges, we introduce an Amortized Generative 3D Gaussian framework (AGG) that instantly produces 3D Gaussians from a single image, eliminating the need for per-instance optimization. Utilizing an intermediate hybrid representation, AGG decomposes the generation of 3D Gaussian locations and other appearance attributes for joint optimization. Moreover, we propose a cascaded pipeline that first generates a coarse representation of the 3D data and later upsamples it with a 3D Gaussian super-resolution module. Our method is evaluated against existing optimization-based 3D Gaussian frameworks and sampling-based pipelines utilizing other 3D representations, where AGG showcases competitive generation abilities both qualitatively and quantitatively while being several orders of magnitude faster. Project page: https://ir1d.github.io/AGG/