Compress3D: een gecomprimeerde latente ruimte voor 3D-generatie vanuit een enkele afbeelding

Compress3D: a Compressed Latent Space for 3D Generation from a Single Image

March 20, 2024

Auteurs: Bowen Zhang, Tianyu Yang, Yu Li, Lei Zhang, Xi Zhao

cs.AI

Samenvatting

3D-generatie heeft aanzienlijke vooruitgang geboekt, maar het efficiënt produceren van hoogwaardige 3D-assets vanuit een enkele afbeelding blijft een uitdaging. In dit artikel presenteren we een triplane-autoencoder, die 3D-modellen codeert in een compacte triplane-latente ruimte om zowel de 3D-geometrie als de textuurinformatie effectief te comprimeren. Binnen het autoencoder-framework introduceren we een 3D-bewust cross-attention-mechanisme, dat gebruikmaakt van latenterepresentaties met lage resolutie om kenmerken op te vragen uit een 3D-kenmerkvolume met hoge resolutie, waardoor de representatiecapaciteit van de latente ruimte wordt verbeterd. Vervolgens trainen we een diffusiemodel op deze verfijnde latente ruimte. In tegenstelling tot het uitsluitend vertrouwen op beeldembedding voor 3D-generatie, pleit onze voorgestelde methode voor het gelijktijdig gebruik van zowel beeldembedding als vormembedding als voorwaarden. Specifiek wordt de vormembedding geschat via een diffusieprior-model dat is geconditioneerd op de beeldembedding. Door middel van uitgebreide experimenten tonen we aan dat onze methode state-of-the-art algoritmen overtreft, waarbij superieure prestaties worden behaald terwijl minder trainingsdata en tijd nodig zijn. Onze aanpak maakt het mogelijk om hoogwaardige 3D-assets te genereren in slechts 7 seconden op een enkele A100 GPU.

English

3D generation has witnessed significant advancements, yet efficiently producing high-quality 3D assets from a single image remains challenging. In this paper, we present a triplane autoencoder, which encodes 3D models into a compact triplane latent space to effectively compress both the 3D geometry and texture information. Within the autoencoder framework, we introduce a 3D-aware cross-attention mechanism, which utilizes low-resolution latent representations to query features from a high-resolution 3D feature volume, thereby enhancing the representation capacity of the latent space. Subsequently, we train a diffusion model on this refined latent space. In contrast to solely relying on image embedding for 3D generation, our proposed method advocates for the simultaneous utilization of both image embedding and shape embedding as conditions. Specifically, the shape embedding is estimated via a diffusion prior model conditioned on the image embedding. Through comprehensive experiments, we demonstrate that our method outperforms state-of-the-art algorithms, achieving superior performance while requiring less training data and time. Our approach enables the generation of high-quality 3D assets in merely 7 seconds on a single A100 GPU.