AGG: Gaussiane Generative Ammortizzate 3D per la Conversione da Singola Immagine a 3D

AGG: Amortized Generative 3D Gaussians for Single Image to 3D

January 8, 2024

Autori: Dejia Xu, Ye Yuan, Morteza Mardani, Sifei Liu, Jiaming Song, Zhangyang Wang, Arash Vahdat

cs.AI

Abstract

Considerando la crescente necessità di pipeline automatiche per la creazione di contenuti 3D, sono state studiate varie rappresentazioni 3D per generare oggetti tridimensionali a partire da una singola immagine. Grazie alla sua superiore efficienza di rendering, i modelli basati su splatting di Gaussiane 3D hanno recentemente eccelso sia nella ricostruzione che nella generazione 3D. Gli approcci di splatting di Gaussiane 3D per la generazione da immagine a 3D sono spesso basati su ottimizzazione, richiedendo numerosi passaggi di distillazione del punteggio computazionalmente costosi. Per superare queste sfide, introduciamo un framework Amortized Generative 3D Gaussian (AGG) che produce istantaneamente Gaussiane 3D da una singola immagine, eliminando la necessità di ottimizzazione per ogni istanza. Utilizzando una rappresentazione ibrida intermedia, AGG scompone la generazione delle posizioni delle Gaussiane 3D e di altri attributi di aspetto per un'ottimizzazione congiunta. Inoltre, proponiamo una pipeline a cascata che genera prima una rappresentazione approssimativa dei dati 3D e successivamente la migliora con un modulo di super-risoluzione basato su Gaussiane 3D. Il nostro metodo viene valutato rispetto ai framework esistenti basati su ottimizzazione di Gaussiane 3D e alle pipeline basate su campionamento che utilizzano altre rappresentazioni 3D, dove AGG dimostra capacità competitive di generazione sia qualitativamente che quantitativamente, essendo al contempo diverse ordini di grandezza più veloce. Pagina del progetto: https://ir1d.github.io/AGG/

English

Given the growing need for automatic 3D content creation pipelines, various 3D representations have been studied to generate 3D objects from a single image. Due to its superior rendering efficiency, 3D Gaussian splatting-based models have recently excelled in both 3D reconstruction and generation. 3D Gaussian splatting approaches for image to 3D generation are often optimization-based, requiring many computationally expensive score-distillation steps. To overcome these challenges, we introduce an Amortized Generative 3D Gaussian framework (AGG) that instantly produces 3D Gaussians from a single image, eliminating the need for per-instance optimization. Utilizing an intermediate hybrid representation, AGG decomposes the generation of 3D Gaussian locations and other appearance attributes for joint optimization. Moreover, we propose a cascaded pipeline that first generates a coarse representation of the 3D data and later upsamples it with a 3D Gaussian super-resolution module. Our method is evaluated against existing optimization-based 3D Gaussian frameworks and sampling-based pipelines utilizing other 3D representations, where AGG showcases competitive generation abilities both qualitatively and quantitatively while being several orders of magnitude faster. Project page: https://ir1d.github.io/AGG/