Michelangelo: Geração Condicional de Formas 3D Baseada em Representação Latente Alinhada entre Forma, Imagem e Texto

Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation

June 29, 2023

Autores: Zibo Zhao, Wen Liu, Xin Chen, Xianfang Zeng, Rui Wang, Pei Cheng, Bin Fu, Tao Chen, Gang Yu, Shenghua Gao

cs.AI

Resumo

Apresentamos uma nova abordagem de alinhamento-antes-da-geração para enfrentar a tarefa desafiadora de gerar formas 3D gerais com base em imagens 2D ou textos. Aprender diretamente um modelo generativo condicional de imagens ou textos para formas 3D tende a produzir resultados inconsistentes com as condições, pois as formas 3D possuem uma dimensão adicional cuja distribuição difere significativamente daquelas das imagens 2D e textos. Para preencher a lacuna de domínio entre as três modalidades e facilitar a geração de formas 3D condicionadas por múltiplas modalidades, exploramos a representação de formas 3D em um espaço alinhado de forma-imagem-texto. Nosso framework consiste em dois modelos: um Autoencoder Variacional Alinhado de Forma-Imagem-Texto (SITA-VAE) e um Modelo de Difusão Latente de Forma Alinhada Condicional (ASLDM). O primeiro modelo codifica as formas 3D no espaço latente de forma alinhado à imagem e ao texto e reconstrói os campos neurais 3D detalhados correspondentes às incorporações de forma fornecidas por meio de um decodificador baseado em transformadores. O segundo modelo aprende uma função de mapeamento probabilístico do espaço de imagem ou texto para o espaço latente de forma. Nossos experimentos extensivos demonstram que a abordagem proposta pode gerar formas 3D de maior qualidade e mais diversas que se conformam semanticamente melhor às entradas condicionais visuais ou textuais, validando a eficácia do espaço alinhado de forma-imagem-texto para a geração de formas 3D entre modalidades.

English

We present a novel alignment-before-generation approach to tackle the challenging task of generating general 3D shapes based on 2D images or texts. Directly learning a conditional generative model from images or texts to 3D shapes is prone to producing inconsistent results with the conditions because 3D shapes have an additional dimension whose distribution significantly differs from that of 2D images and texts. To bridge the domain gap among the three modalities and facilitate multi-modal-conditioned 3D shape generation, we explore representing 3D shapes in a shape-image-text-aligned space. Our framework comprises two models: a Shape-Image-Text-Aligned Variational Auto-Encoder (SITA-VAE) and a conditional Aligned Shape Latent Diffusion Model (ASLDM). The former model encodes the 3D shapes into the shape latent space aligned to the image and text and reconstructs the fine-grained 3D neural fields corresponding to given shape embeddings via the transformer-based decoder. The latter model learns a probabilistic mapping function from the image or text space to the latent shape space. Our extensive experiments demonstrate that our proposed approach can generate higher-quality and more diverse 3D shapes that better semantically conform to the visual or textural conditional inputs, validating the effectiveness of the shape-image-text-aligned space for cross-modality 3D shape generation.