Compress3D: uno spazio latente compresso per la generazione 3D da una singola immagine

Compress3D: a Compressed Latent Space for 3D Generation from a Single Image

March 20, 2024

Autori: Bowen Zhang, Tianyu Yang, Yu Li, Lei Zhang, Xi Zhao

cs.AI

Abstract

La generazione 3D ha registrato progressi significativi, ma produrre in modo efficiente asset 3D di alta qualità a partire da una singola immagine rimane una sfida. In questo articolo, presentiamo un autoencoder triplanare, che codifica modelli 3D in uno spazio latente triplanare compatto per comprimere efficacemente sia la geometria 3D che le informazioni di texture. All'interno del framework dell'autoencoder, introduciamo un meccanismo di cross-attention 3D-aware, che utilizza rappresentazioni latenti a bassa risoluzione per interrogare le caratteristiche da un volume di feature 3D ad alta risoluzione, migliorando così la capacità rappresentativa dello spazio latente. Successivamente, addestriamo un modello di diffusione su questo spazio latente raffinato. A differenza di un approccio che si basa esclusivamente sull'embedding di immagini per la generazione 3D, il nostro metodo propone l'utilizzo simultaneo sia dell'embedding di immagini che dell'embedding di forme come condizioni. Nello specifico, l'embedding di forma viene stimato tramite un modello di diffusione prior condizionato sull'embedding dell'immagine. Attraverso esperimenti completi, dimostriamo che il nostro metodo supera gli algoritmi all'avanguardia, ottenendo prestazioni superiori pur richiedendo meno dati e tempi di addestramento. Il nostro approccio consente la generazione di asset 3D di alta qualità in soli 7 secondi su una singola GPU A100.

English

3D generation has witnessed significant advancements, yet efficiently producing high-quality 3D assets from a single image remains challenging. In this paper, we present a triplane autoencoder, which encodes 3D models into a compact triplane latent space to effectively compress both the 3D geometry and texture information. Within the autoencoder framework, we introduce a 3D-aware cross-attention mechanism, which utilizes low-resolution latent representations to query features from a high-resolution 3D feature volume, thereby enhancing the representation capacity of the latent space. Subsequently, we train a diffusion model on this refined latent space. In contrast to solely relying on image embedding for 3D generation, our proposed method advocates for the simultaneous utilization of both image embedding and shape embedding as conditions. Specifically, the shape embedding is estimated via a diffusion prior model conditioned on the image embedding. Through comprehensive experiments, we demonstrate that our method outperforms state-of-the-art algorithms, achieving superior performance while requiring less training data and time. Our approach enables the generation of high-quality 3D assets in merely 7 seconds on a single A100 GPU.