AGG: Gaussianas Generativas Amortizadas en 3D para la Conversión de Imagen Única a 3D

AGG: Amortized Generative 3D Gaussians for Single Image to 3D

January 8, 2024

Autores: Dejia Xu, Ye Yuan, Morteza Mardani, Sifei Liu, Jiaming Song, Zhangyang Wang, Arash Vahdat

cs.AI

Resumen

Dada la creciente necesidad de pipelines automáticos para la creación de contenido 3D, se han estudiado diversas representaciones 3D para generar objetos tridimensionales a partir de una sola imagen. Debido a su eficiencia superior en renderizado, los modelos basados en splatting de Gaussianas 3D han destacado recientemente tanto en reconstrucción como en generación 3D. Los enfoques de splatting de Gaussianas 3D para la generación de 3D a partir de imágenes suelen estar basados en optimización, requiriendo numerosos pasos de destilación de puntuación computacionalmente costosos. Para superar estos desafíos, presentamos un marco de Gaussianas 3D Generativas Amortizadas (AGG, por sus siglas en inglés) que produce instantáneamente Gaussianas 3D a partir de una sola imagen, eliminando la necesidad de optimización por instancia. Utilizando una representación híbrida intermedia, AGG descompone la generación de las ubicaciones de las Gaussianas 3D y otros atributos de apariencia para una optimización conjunta. Además, proponemos un pipeline en cascada que primero genera una representación aproximada de los datos 3D y luego la mejora con un módulo de super-resolución de Gaussianas 3D. Nuestro método se evalúa frente a marcos de Gaussianas 3D basados en optimización y pipelines basados en muestreo que utilizan otras representaciones 3D, donde AGG demuestra capacidades de generación competitivas tanto cualitativa como cuantitativamente, siendo varios órdenes de magnitud más rápido. Página del proyecto: https://ir1d.github.io/AGG/

English

Given the growing need for automatic 3D content creation pipelines, various 3D representations have been studied to generate 3D objects from a single image. Due to its superior rendering efficiency, 3D Gaussian splatting-based models have recently excelled in both 3D reconstruction and generation. 3D Gaussian splatting approaches for image to 3D generation are often optimization-based, requiring many computationally expensive score-distillation steps. To overcome these challenges, we introduce an Amortized Generative 3D Gaussian framework (AGG) that instantly produces 3D Gaussians from a single image, eliminating the need for per-instance optimization. Utilizing an intermediate hybrid representation, AGG decomposes the generation of 3D Gaussian locations and other appearance attributes for joint optimization. Moreover, we propose a cascaded pipeline that first generates a coarse representation of the 3D data and later upsamples it with a 3D Gaussian super-resolution module. Our method is evaluated against existing optimization-based 3D Gaussian frameworks and sampling-based pipelines utilizing other 3D representations, where AGG showcases competitive generation abilities both qualitatively and quantitatively while being several orders of magnitude faster. Project page: https://ir1d.github.io/AGG/