Michelangelo: Bedingte 3D-Formgenerierung basierend auf form-bild-text-ausgerichteten latenten Repräsentationen

Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation

June 29, 2023

Autoren: Zibo Zhao, Wen Liu, Xin Chen, Xianfang Zeng, Rui Wang, Pei Cheng, Bin Fu, Tao Chen, Gang Yu, Shenghua Gao

cs.AI

Zusammenfassung

Wir stellen einen neuartigen Alignment-before-Generation-Ansatz vor, um die anspruchsvolle Aufgabe der Erzeugung allgemeiner 3D-Formen basierend auf 2D-Bildern oder Texten zu bewältigen. Das direkte Lernen eines bedingten generativen Modells von Bildern oder Texten zu 3D-Formen neigt dazu, inkonsistente Ergebnisse mit den Bedingungen zu erzeugen, da 3D-Formen eine zusätzliche Dimension aufweisen, deren Verteilung sich erheblich von der von 2D-Bildern und Texten unterscheidet. Um die Domänenlücke zwischen den drei Modalitäten zu überbrücken und die multi-modal-bedingte 3D-Formgenerierung zu erleichtern, untersuchen wir die Darstellung von 3D-Formen in einem form-bild-text-ausgerichteten Raum. Unser Framework besteht aus zwei Modellen: einem Shape-Image-Text-Aligned Variational Auto-Encoder (SITA-VAE) und einem bedingten Aligned Shape Latent Diffusion Model (ASLDM). Das erste Modell kodiert die 3D-Formen in den form-latenten Raum, der an das Bild und den Text ausgerichtet ist, und rekonstruiert die fein abgestuften 3D-Neuralfelder, die den gegebenen Form-Einbettungen entsprechen, über den transformer-basierten Decoder. Das zweite Modell lernt eine probabilistische Abbildungsfunktion vom Bild- oder Textraum in den latenten Formraum. Unsere umfangreichen Experimente zeigen, dass unser vorgeschlagener Ansatz qualitativ hochwertigere und vielfältigere 3D-Formen erzeugen kann, die semantisch besser an die visuellen oder textuellen bedingten Eingaben angepasst sind, was die Wirksamkeit des form-bild-text-ausgerichteten Raums für die cross-modale 3D-Formgenerierung bestätigt.

English

We present a novel alignment-before-generation approach to tackle the challenging task of generating general 3D shapes based on 2D images or texts. Directly learning a conditional generative model from images or texts to 3D shapes is prone to producing inconsistent results with the conditions because 3D shapes have an additional dimension whose distribution significantly differs from that of 2D images and texts. To bridge the domain gap among the three modalities and facilitate multi-modal-conditioned 3D shape generation, we explore representing 3D shapes in a shape-image-text-aligned space. Our framework comprises two models: a Shape-Image-Text-Aligned Variational Auto-Encoder (SITA-VAE) and a conditional Aligned Shape Latent Diffusion Model (ASLDM). The former model encodes the 3D shapes into the shape latent space aligned to the image and text and reconstructs the fine-grained 3D neural fields corresponding to given shape embeddings via the transformer-based decoder. The latter model learns a probabilistic mapping function from the image or text space to the latent shape space. Our extensive experiments demonstrate that our proposed approach can generate higher-quality and more diverse 3D shapes that better semantically conform to the visual or textural conditional inputs, validating the effectiveness of the shape-image-text-aligned space for cross-modality 3D shape generation.