LDM3D: Латентная диффузионная модель для 3D

LDM3D: Latent Diffusion Model for 3D

May 18, 2023

Авторы: Gabriela Ben Melech Stan, Diana Wofk, Scottie Fox, Alex Redden, Will Saxton, Jean Yu, Estelle Aflalo, Shao-Yen Tseng, Fabio Nonato, Matthias Muller, Vasudev Lal

cs.AI

Аннотация

В данной научной работе представлена модель латентной диффузии для 3D (LDM3D), которая генерирует как изображения, так и карты глубины на основе текстового запроса, позволяя пользователям создавать RGBD-изображения из текстовых подсказок. Модель LDM3D дообучена на наборе данных, содержащем кортежи из RGB-изображения, карты глубины и текстового описания, и проверена в ходе обширных экспериментов. Мы также разработали приложение под названием DepthFusion, которое использует сгенерированные RGB-изображения и карты глубины для создания иммерсивных и интерактивных 360-градусных визуализаций с использованием TouchDesigner. Эта технология имеет потенциал для преобразования широкого спектра отраслей, от развлечений и игр до архитектуры и дизайна. В целом, данная работа представляет собой значительный вклад в область генеративного ИИ и компьютерного зрения, демонстрируя потенциал LDM3D и DepthFusion для революции в создании контента и цифровых впечатлений. Короткое видео, суммирующее подход, доступно по ссылке: https://t.ly/tdi2.

English

This research paper proposes a Latent Diffusion Model for 3D (LDM3D) that generates both image and depth map data from a given text prompt, allowing users to generate RGBD images from text prompts. The LDM3D model is fine-tuned on a dataset of tuples containing an RGB image, depth map and caption, and validated through extensive experiments. We also develop an application called DepthFusion, which uses the generated RGB images and depth maps to create immersive and interactive 360-degree-view experiences using TouchDesigner. This technology has the potential to transform a wide range of industries, from entertainment and gaming to architecture and design. Overall, this paper presents a significant contribution to the field of generative AI and computer vision, and showcases the potential of LDM3D and DepthFusion to revolutionize content creation and digital experiences. A short video summarizing the approach can be found at https://t.ly/tdi2.