Michelangelo: Generación Condicional de Formas 3D Basada en Representación Latente Alineada entre Forma, Imagen y Texto

Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation

June 29, 2023

Autores: Zibo Zhao, Wen Liu, Xin Chen, Xianfang Zeng, Rui Wang, Pei Cheng, Bin Fu, Tao Chen, Gang Yu, Shenghua Gao

cs.AI

Resumen

Presentamos un novedoso enfoque de alineación antes de generación para abordar la desafiante tarea de generar formas 3D generales basadas en imágenes 2D o textos. Aprender directamente un modelo generativo condicional desde imágenes o textos hacia formas 3D tiende a producir resultados inconsistentes con las condiciones, ya que las formas 3D tienen una dimensión adicional cuya distribución difiere significativamente de la de las imágenes 2D y los textos. Para cerrar la brecha de dominio entre las tres modalidades y facilitar la generación de formas 3D condicionadas multimodalmente, exploramos la representación de formas 3D en un espacio alineado entre formas, imágenes y textos. Nuestro marco de trabajo consta de dos modelos: un Autoencoder Variacional Alineado entre Formas, Imágenes y Textos (SITA-VAE, por sus siglas en inglés) y un Modelo de Difusión Latente de Formas Alineadas Condicional (ASLDM, por sus siglas en inglés). El primer modelo codifica las formas 3D en el espacio latente de formas alineado con las imágenes y los textos, y reconstruye los campos neuronales 3D detallados correspondientes a los embeddings de formas dados mediante un decodificador basado en transformadores. El segundo modelo aprende una función de mapeo probabilístico desde el espacio de imágenes o textos hacia el espacio latente de formas. Nuestros extensos experimentos demuestran que nuestro enfoque propuesto puede generar formas 3D de mayor calidad y más diversas que se ajustan mejor semánticamente a las entradas condicionales visuales o textuales, validando la efectividad del espacio alineado entre formas, imágenes y textos para la generación de formas 3D multimodal.

English

We present a novel alignment-before-generation approach to tackle the challenging task of generating general 3D shapes based on 2D images or texts. Directly learning a conditional generative model from images or texts to 3D shapes is prone to producing inconsistent results with the conditions because 3D shapes have an additional dimension whose distribution significantly differs from that of 2D images and texts. To bridge the domain gap among the three modalities and facilitate multi-modal-conditioned 3D shape generation, we explore representing 3D shapes in a shape-image-text-aligned space. Our framework comprises two models: a Shape-Image-Text-Aligned Variational Auto-Encoder (SITA-VAE) and a conditional Aligned Shape Latent Diffusion Model (ASLDM). The former model encodes the 3D shapes into the shape latent space aligned to the image and text and reconstructs the fine-grained 3D neural fields corresponding to given shape embeddings via the transformer-based decoder. The latter model learns a probabilistic mapping function from the image or text space to the latent shape space. Our extensive experiments demonstrate that our proposed approach can generate higher-quality and more diverse 3D shapes that better semantically conform to the visual or textural conditional inputs, validating the effectiveness of the shape-image-text-aligned space for cross-modality 3D shape generation.