Michelangelo : Génération conditionnelle de formes 3D basée sur une représentation latente alignée entre forme, image et texte

Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation

June 29, 2023

Auteurs: Zibo Zhao, Wen Liu, Xin Chen, Xianfang Zeng, Rui Wang, Pei Cheng, Bin Fu, Tao Chen, Gang Yu, Shenghua Gao

cs.AI

Résumé

Nous présentons une nouvelle approche d'alignement avant génération pour relever le défi de générer des formes 3D générales à partir d'images 2D ou de textes. Apprendre directement un modèle génératif conditionnel à partir d'images ou de textes vers des formes 3D est susceptible de produire des résultats incohérents avec les conditions, car les formes 3D possèdent une dimension supplémentaire dont la distribution diffère significativement de celle des images 2D et des textes. Pour combler l'écart de domaine entre ces trois modalités et faciliter la génération de formes 3D conditionnées par plusieurs modalités, nous explorons la représentation des formes 3D dans un espace aligné entre forme, image et texte. Notre cadre comprend deux modèles : un Auto-Encodeur Variationnel Aligné Forme-Image-Texte (SITA-VAE) et un Modèle de Diffusion Latente de Forme Alignée Conditionnelle (ASLDM). Le premier modèle encode les formes 3D dans un espace latent de forme aligné à l'image et au texte, et reconstruit les champs neuronaux 3D fins correspondant aux embeddings de forme donnés via un décodeur basé sur un transformeur. Le second modèle apprend une fonction de mappage probabiliste de l'espace image ou texte vers l'espace latent de forme. Nos expériences approfondies démontrent que notre approche proposée peut générer des formes 3D de meilleure qualité et plus diversifiées, qui s'accordent mieux sémantiquement aux entrées conditionnelles visuelles ou textuelles, validant ainsi l'efficacité de l'espace aligné forme-image-texte pour la génération de formes 3D inter-modales.

English

We present a novel alignment-before-generation approach to tackle the challenging task of generating general 3D shapes based on 2D images or texts. Directly learning a conditional generative model from images or texts to 3D shapes is prone to producing inconsistent results with the conditions because 3D shapes have an additional dimension whose distribution significantly differs from that of 2D images and texts. To bridge the domain gap among the three modalities and facilitate multi-modal-conditioned 3D shape generation, we explore representing 3D shapes in a shape-image-text-aligned space. Our framework comprises two models: a Shape-Image-Text-Aligned Variational Auto-Encoder (SITA-VAE) and a conditional Aligned Shape Latent Diffusion Model (ASLDM). The former model encodes the 3D shapes into the shape latent space aligned to the image and text and reconstructs the fine-grained 3D neural fields corresponding to given shape embeddings via the transformer-based decoder. The latter model learns a probabilistic mapping function from the image or text space to the latent shape space. Our extensive experiments demonstrate that our proposed approach can generate higher-quality and more diverse 3D shapes that better semantically conform to the visual or textural conditional inputs, validating the effectiveness of the shape-image-text-aligned space for cross-modality 3D shape generation.