Compress3D: Ein komprimierter Latenter Raum für die 3D-Generierung aus einem einzigen Bild

Compress3D: a Compressed Latent Space for 3D Generation from a Single Image

March 20, 2024

Autoren: Bowen Zhang, Tianyu Yang, Yu Li, Lei Zhang, Xi Zhao

cs.AI

Zusammenfassung

Die 3D-Generierung hat bedeutende Fortschritte erlebt, doch die effiziente Erzeugung hochwertiger 3D-Assets aus einem einzigen Bild bleibt eine Herausforderung. In diesem Paper präsentieren wir einen Triplane-Autoencoder, der 3D-Modelle in einen kompakten Triplane-Latentraum codiert, um sowohl die 3D-Geometrie als auch die Texturinformation effektiv zu komprimieren. Innerhalb des Autoencoder-Frameworks führen wir einen 3D-bewussten Kreuz-Aufmerksamkeitsmechanismus ein, der niedrigauflösende latente Repräsentationen verwendet, um Merkmale aus einem hochauflösenden 3D-Merkmalvolumen abzufragen und damit die Repräsentationskapazität des latenten Raums zu verbessern. Anschließend trainieren wir ein Diffusionsmodell in diesem verfeinerten latenten Raum. Im Gegensatz zum ausschließlichen Verlassen auf Bildembedding für die 3D-Generierung befürwortet unsere vorgeschlagene Methode die gleichzeitige Nutzung sowohl des Bildembeddings als auch des Formembeddings als Bedingungen. Insbesondere wird das Formembedding über ein Diffusionsprior-Modell geschätzt, das auf dem Bildembedding basiert. Durch umfassende Experimente zeigen wir, dass unsere Methode state-of-the-art-Algorithmen übertrifft, überlegene Leistung erzielt und dabei weniger Trainingsdaten und Zeit benötigt. Unser Ansatz ermöglicht die Generierung hochwertiger 3D-Assets in nur 7 Sekunden auf einer einzelnen A100 GPU.

English

3D generation has witnessed significant advancements, yet efficiently producing high-quality 3D assets from a single image remains challenging. In this paper, we present a triplane autoencoder, which encodes 3D models into a compact triplane latent space to effectively compress both the 3D geometry and texture information. Within the autoencoder framework, we introduce a 3D-aware cross-attention mechanism, which utilizes low-resolution latent representations to query features from a high-resolution 3D feature volume, thereby enhancing the representation capacity of the latent space. Subsequently, we train a diffusion model on this refined latent space. In contrast to solely relying on image embedding for 3D generation, our proposed method advocates for the simultaneous utilization of both image embedding and shape embedding as conditions. Specifically, the shape embedding is estimated via a diffusion prior model conditioned on the image embedding. Through comprehensive experiments, we demonstrate that our method outperforms state-of-the-art algorithms, achieving superior performance while requiring less training data and time. Our approach enables the generation of high-quality 3D assets in merely 7 seconds on a single A100 GPU.