Compress3D : un espace latent compressé pour la génération 3D à partir d'une seule image

Compress3D: a Compressed Latent Space for 3D Generation from a Single Image

March 20, 2024

Auteurs: Bowen Zhang, Tianyu Yang, Yu Li, Lei Zhang, Xi Zhao

cs.AI

Résumé

La génération 3D a connu des avancées significatives, mais la production efficace d'actifs 3D de haute qualité à partir d'une seule image reste un défi. Dans cet article, nous présentons un autoencodeur triplan, qui encode des modèles 3D dans un espace latent triplan compact pour compresser efficacement à la fois la géométrie 3D et les informations de texture. Au sein du cadre de l'autoencodeur, nous introduisons un mécanisme d'attention croisée 3D, qui utilise des représentations latentes à basse résolution pour interroger des caractéristiques à partir d'un volume de caractéristiques 3D à haute résolution, améliorant ainsi la capacité de représentation de l'espace latent. Par la suite, nous entraînons un modèle de diffusion sur cet espace latent raffiné. Contrairement à une dépendance exclusive à l'incorporation d'images pour la génération 3D, notre méthode propose l'utilisation simultanée de l'incorporation d'images et de l'incorporation de formes comme conditions. Plus précisément, l'incorporation de formes est estimée via un modèle de diffusion prioritaire conditionné sur l'incorporation d'images. À travers des expériences approfondies, nous démontrons que notre méthode surpasse les algorithmes de pointe, obtenant des performances supérieures tout en nécessitant moins de données et de temps d'entraînement. Notre approche permet la génération d'actifs 3D de haute qualité en seulement 7 secondes sur une seule GPU A100.

English

3D generation has witnessed significant advancements, yet efficiently producing high-quality 3D assets from a single image remains challenging. In this paper, we present a triplane autoencoder, which encodes 3D models into a compact triplane latent space to effectively compress both the 3D geometry and texture information. Within the autoencoder framework, we introduce a 3D-aware cross-attention mechanism, which utilizes low-resolution latent representations to query features from a high-resolution 3D feature volume, thereby enhancing the representation capacity of the latent space. Subsequently, we train a diffusion model on this refined latent space. In contrast to solely relying on image embedding for 3D generation, our proposed method advocates for the simultaneous utilization of both image embedding and shape embedding as conditions. Specifically, the shape embedding is estimated via a diffusion prior model conditioned on the image embedding. Through comprehensive experiments, we demonstrate that our method outperforms state-of-the-art algorithms, achieving superior performance while requiring less training data and time. Our approach enables the generation of high-quality 3D assets in merely 7 seconds on a single A100 GPU.