Michelangelo: Conditionele 3D-vormgeneratie gebaseerd op vorm-beeld-tekst Uitgelijnde latente representatie

Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation

June 29, 2023

Auteurs: Zibo Zhao, Wen Liu, Xin Chen, Xianfang Zeng, Rui Wang, Pei Cheng, Bin Fu, Tao Chen, Gang Yu, Shenghua Gao

cs.AI

Samenvatting

We presenteren een nieuwe alignment-voor-generatie aanpak om de uitdagende taak aan te pakken van het genereren van algemene 3D-vormen op basis van 2D-afbeeldingen of teksten. Het direct leren van een conditioneel generatief model van afbeeldingen of teksten naar 3D-vormen is gevoelig voor inconsistente resultaten met de condities, omdat 3D-vormen een extra dimensie hebben waarvan de verdeling aanzienlijk verschilt van die van 2D-afbeeldingen en teksten. Om de domeinkloof tussen de drie modaliteiten te overbruggen en multi-modale-geconditioneerde 3D-vormgeneratie te vergemakkelijken, onderzoeken we het representeren van 3D-vormen in een vorm-afbeelding-tekst-uitgelijnde ruimte. Ons framework bestaat uit twee modellen: een Shape-Image-Text-Aligned Variational Auto-Encoder (SITA-VAE) en een conditionele Aligned Shape Latent Diffusion Model (ASLDM). Het eerste model codeert de 3D-vormen in de vormlatente ruimte die is uitgelijnd met de afbeelding en tekst en reconstrueert de fijnmazige 3D neurale velden die corresponderen met gegeven vorm-embeddings via de transformer-gebaseerde decoder. Het tweede model leert een probabilistische afbeelding van de afbeelding- of tekstruimte naar de latente vormruimte. Onze uitgebreide experimenten tonen aan dat onze voorgestelde aanpak hogere kwaliteit en meer diverse 3D-vormen kan genereren die beter semantisch overeenkomen met de visuele of tekstuele conditionele inputs, wat de effectiviteit van de vorm-afbeelding-tekst-uitgelijnde ruimte voor cross-modale 3D-vormgeneratie valideert.

English

We present a novel alignment-before-generation approach to tackle the challenging task of generating general 3D shapes based on 2D images or texts. Directly learning a conditional generative model from images or texts to 3D shapes is prone to producing inconsistent results with the conditions because 3D shapes have an additional dimension whose distribution significantly differs from that of 2D images and texts. To bridge the domain gap among the three modalities and facilitate multi-modal-conditioned 3D shape generation, we explore representing 3D shapes in a shape-image-text-aligned space. Our framework comprises two models: a Shape-Image-Text-Aligned Variational Auto-Encoder (SITA-VAE) and a conditional Aligned Shape Latent Diffusion Model (ASLDM). The former model encodes the 3D shapes into the shape latent space aligned to the image and text and reconstructs the fine-grained 3D neural fields corresponding to given shape embeddings via the transformer-based decoder. The latter model learns a probabilistic mapping function from the image or text space to the latent shape space. Our extensive experiments demonstrate that our proposed approach can generate higher-quality and more diverse 3D shapes that better semantically conform to the visual or textural conditional inputs, validating the effectiveness of the shape-image-text-aligned space for cross-modality 3D shape generation.