AGG: Gaussianas Gerativas Amortizadas em 3D para Conversão de Imagem Única em 3D

AGG: Amortized Generative 3D Gaussians for Single Image to 3D

January 8, 2024

Autores: Dejia Xu, Ye Yuan, Morteza Mardani, Sifei Liu, Jiaming Song, Zhangyang Wang, Arash Vahdat

cs.AI

Resumo

Diante da crescente necessidade de pipelines automáticos de criação de conteúdo 3D, diversas representações 3D têm sido estudadas para gerar objetos 3D a partir de uma única imagem. Devido à sua eficiência superior em renderização, modelos baseados em *splatting* de Gaussianas 3D têm se destacado recentemente tanto na reconstrução quanto na geração de conteúdo 3D. Abordagens de *splatting* de Gaussianas 3D para geração de imagens em 3D são frequentemente baseadas em otimização, exigindo várias etapas computacionalmente custosas de destilação de pontuação. Para superar esses desafios, introduzimos um framework de Gaussianas 3D Generativo Amortizado (AGG, *Amortized Generative 3D Gaussian*) que produz instantaneamente Gaussianas 3D a partir de uma única imagem, eliminando a necessidade de otimização por instância. Utilizando uma representação híbrida intermediária, o AGG decompõe a geração de localizações de Gaussianas 3D e outros atributos de aparência para otimização conjunta. Além disso, propomos um pipeline em cascata que primeiro gera uma representação grosseira dos dados 3D e, posteriormente, a aprimora com um módulo de super-resolução de Gaussianas 3D. Nosso método é avaliado em comparação com frameworks de Gaussianas 3D baseados em otimização e pipelines baseados em amostragem que utilizam outras representações 3D, onde o AGG demonstra capacidades competitivas de geração tanto qualitativa quanto quantitativamente, sendo várias ordens de magnitude mais rápido. Página do projeto: https://ir1d.github.io/AGG/

English

Given the growing need for automatic 3D content creation pipelines, various 3D representations have been studied to generate 3D objects from a single image. Due to its superior rendering efficiency, 3D Gaussian splatting-based models have recently excelled in both 3D reconstruction and generation. 3D Gaussian splatting approaches for image to 3D generation are often optimization-based, requiring many computationally expensive score-distillation steps. To overcome these challenges, we introduce an Amortized Generative 3D Gaussian framework (AGG) that instantly produces 3D Gaussians from a single image, eliminating the need for per-instance optimization. Utilizing an intermediate hybrid representation, AGG decomposes the generation of 3D Gaussian locations and other appearance attributes for joint optimization. Moreover, we propose a cascaded pipeline that first generates a coarse representation of the 3D data and later upsamples it with a 3D Gaussian super-resolution module. Our method is evaluated against existing optimization-based 3D Gaussian frameworks and sampling-based pipelines utilizing other 3D representations, where AGG showcases competitive generation abilities both qualitatively and quantitatively while being several orders of magnitude faster. Project page: https://ir1d.github.io/AGG/