Michelangelo: Generazione Condizionale di Forme 3D basata su Rappresentazione Latente Allineata Forma-Immagine-Testo

Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation

June 29, 2023

Autori: Zibo Zhao, Wen Liu, Xin Chen, Xianfang Zeng, Rui Wang, Pei Cheng, Bin Fu, Tao Chen, Gang Yu, Shenghua Gao

cs.AI

Abstract

Presentiamo un innovativo approccio di allineamento-prima-generazione per affrontare la complessa sfida di generare forme 3D generali basate su immagini 2D o testi. Apprendere direttamente un modello generativo condizionato da immagini o testi a forme 3D tende a produrre risultati incoerenti con le condizioni, poiché le forme 3D possiedono una dimensione aggiuntiva la cui distribuzione differisce significativamente da quella delle immagini 2D e dei testi. Per colmare il divario di dominio tra le tre modalità e facilitare la generazione di forme 3D condizionate da più modalità, esploriamo la rappresentazione delle forme 3D in uno spazio allineato forma-immagine-testo. Il nostro framework comprende due modelli: un Variational Auto-Encoder Allineato Forma-Immagine-Testo (SITA-VAE) e un Aligned Shape Latent Diffusion Model condizionato (ASLDM). Il primo modello codifica le forme 3D nello spazio latente delle forme allineato all'immagine e al testo e ricostruisce i campi neurali 3D dettagliati corrispondenti agli embedding di forma dati attraverso un decoder basato su transformer. Il secondo modello apprende una funzione di mappatura probabilistica dallo spazio dell'immagine o del testo allo spazio latente delle forme. I nostri esperimenti estesi dimostrano che l'approccio proposto può generare forme 3D di qualità superiore e più diversificate che si conformano semanticamente meglio agli input condizionali visivi o testuali, validando l'efficacia dello spazio allineato forma-immagine-testo per la generazione di forme 3D cross-modali.

English

We present a novel alignment-before-generation approach to tackle the challenging task of generating general 3D shapes based on 2D images or texts. Directly learning a conditional generative model from images or texts to 3D shapes is prone to producing inconsistent results with the conditions because 3D shapes have an additional dimension whose distribution significantly differs from that of 2D images and texts. To bridge the domain gap among the three modalities and facilitate multi-modal-conditioned 3D shape generation, we explore representing 3D shapes in a shape-image-text-aligned space. Our framework comprises two models: a Shape-Image-Text-Aligned Variational Auto-Encoder (SITA-VAE) and a conditional Aligned Shape Latent Diffusion Model (ASLDM). The former model encodes the 3D shapes into the shape latent space aligned to the image and text and reconstructs the fine-grained 3D neural fields corresponding to given shape embeddings via the transformer-based decoder. The latter model learns a probabilistic mapping function from the image or text space to the latent shape space. Our extensive experiments demonstrate that our proposed approach can generate higher-quality and more diverse 3D shapes that better semantically conform to the visual or textural conditional inputs, validating the effectiveness of the shape-image-text-aligned space for cross-modality 3D shape generation.