Compress3D: un espacio latente comprimido para la generación 3D a partir de una única imagen

Compress3D: a Compressed Latent Space for 3D Generation from a Single Image

March 20, 2024

Autores: Bowen Zhang, Tianyu Yang, Yu Li, Lei Zhang, Xi Zhao

cs.AI

Resumen

La generación 3D ha experimentado avances significativos, sin embargo, producir eficientemente activos 3D de alta calidad a partir de una sola imagen sigue siendo un desafío. En este artículo, presentamos un autoencoder de triplano, que codifica modelos 3D en un espacio latente de triplano compacto para comprimir efectivamente tanto la geometría 3D como la información de textura. Dentro del marco del autoencoder, introducimos un mecanismo de atención cruzada 3D, que utiliza representaciones latentes de baja resolución para consultar características de un volumen de características 3D de alta resolución, mejorando así la capacidad de representación del espacio latente. Posteriormente, entrenamos un modelo de difusión en este espacio latente refinado. A diferencia de depender únicamente de la incrustación de imágenes para la generación 3D, nuestro método propuesto aboga por la utilización simultánea de la incrustación de imágenes y la incrustación de forma como condiciones. Específicamente, la incrustación de forma se estima mediante un modelo de difusión previo condicionado en la incrustación de imágenes. A través de experimentos exhaustivos, demostramos que nuestro método supera a los algoritmos más avanzados, logrando un rendimiento superior mientras requiere menos datos de entrenamiento y tiempo. Nuestro enfoque permite la generación de activos 3D de alta calidad en apenas 7 segundos en una sola GPU A100.

English

3D generation has witnessed significant advancements, yet efficiently producing high-quality 3D assets from a single image remains challenging. In this paper, we present a triplane autoencoder, which encodes 3D models into a compact triplane latent space to effectively compress both the 3D geometry and texture information. Within the autoencoder framework, we introduce a 3D-aware cross-attention mechanism, which utilizes low-resolution latent representations to query features from a high-resolution 3D feature volume, thereby enhancing the representation capacity of the latent space. Subsequently, we train a diffusion model on this refined latent space. In contrast to solely relying on image embedding for 3D generation, our proposed method advocates for the simultaneous utilization of both image embedding and shape embedding as conditions. Specifically, the shape embedding is estimated via a diffusion prior model conditioned on the image embedding. Through comprehensive experiments, we demonstrate that our method outperforms state-of-the-art algorithms, achieving superior performance while requiring less training data and time. Our approach enables the generation of high-quality 3D assets in merely 7 seconds on a single A100 GPU.