Michelangelo: Генерация 3D-форм на основе выровненного латентного представления, объединяющего форму, изображение и текст

Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation

June 29, 2023

Авторы: Zibo Zhao, Wen Liu, Xin Chen, Xianfang Zeng, Rui Wang, Pei Cheng, Bin Fu, Tao Chen, Gang Yu, Shenghua Gao

cs.AI

Аннотация

Мы представляем новый подход "выравнивание перед генерацией" для решения сложной задачи генерации общих 3D-форм на основе 2D-изображений или текстов. Прямое обучение условной генеративной модели от изображений или текстов к 3D-формам склонно к созданию результатов, не согласующихся с условиями, поскольку 3D-формы имеют дополнительное измерение, распределение которого значительно отличается от распределения 2D-изображений и текстов. Чтобы преодолеть разрыв между доменами трех модальностей и облегчить генерацию 3D-форм, обусловленных мультимодальными данными, мы исследуем представление 3D-форм в пространстве, выровненном по форме, изображению и тексту. Наша структура состоит из двух моделей: Вариационного Автокодировщика с Выравниванием Формы, Изображения и Текста (SITA-VAE) и условной Модели Латентной Диффузии Выровненных Форм (ASLDM). Первая модель кодирует 3D-формы в латентное пространство форм, выровненное по изображению и тексту, и восстанавливает детализированные 3D-нейронные поля, соответствующие заданным вложениям форм, с помощью трансформерного декодера. Вторая модель изучает вероятностную функцию отображения из пространства изображений или текстов в латентное пространство форм. Наши обширные эксперименты демонстрируют, что предложенный подход позволяет генерировать более качественные и разнообразные 3D-формы, которые лучше семантически соответствуют визуальным или текстовым условиям, подтверждая эффективность пространства, выровненного по форме, изображению и тексту, для кросс-модальной генерации 3D-форм.

English

We present a novel alignment-before-generation approach to tackle the challenging task of generating general 3D shapes based on 2D images or texts. Directly learning a conditional generative model from images or texts to 3D shapes is prone to producing inconsistent results with the conditions because 3D shapes have an additional dimension whose distribution significantly differs from that of 2D images and texts. To bridge the domain gap among the three modalities and facilitate multi-modal-conditioned 3D shape generation, we explore representing 3D shapes in a shape-image-text-aligned space. Our framework comprises two models: a Shape-Image-Text-Aligned Variational Auto-Encoder (SITA-VAE) and a conditional Aligned Shape Latent Diffusion Model (ASLDM). The former model encodes the 3D shapes into the shape latent space aligned to the image and text and reconstructs the fine-grained 3D neural fields corresponding to given shape embeddings via the transformer-based decoder. The latter model learns a probabilistic mapping function from the image or text space to the latent shape space. Our extensive experiments demonstrate that our proposed approach can generate higher-quality and more diverse 3D shapes that better semantically conform to the visual or textural conditional inputs, validating the effectiveness of the shape-image-text-aligned space for cross-modality 3D shape generation.