LDM3D: Modelo de Difusão Latente para 3D

LDM3D: Latent Diffusion Model for 3D

May 18, 2023

Autores: Gabriela Ben Melech Stan, Diana Wofk, Scottie Fox, Alex Redden, Will Saxton, Jean Yu, Estelle Aflalo, Shao-Yen Tseng, Fabio Nonato, Matthias Muller, Vasudev Lal

cs.AI

Resumo

Este artigo de pesquisa propõe um Modelo de Difusão Latente para 3D (LDM3D) que gera tanto imagens quanto mapas de profundidade a partir de um prompt de texto, permitindo que os usuários criem imagens RGBD a partir de prompts textuais. O modelo LDM3D é ajustado em um conjunto de dados contendo tuplas de uma imagem RGB, um mapa de profundidade e uma legenda, e é validado por meio de extensos experimentos. Também desenvolvemos um aplicativo chamado DepthFusion, que utiliza as imagens RGB e mapas de profundidade gerados para criar experiências imersivas e interativas de visão em 360 graus usando o TouchDesigner. Essa tecnologia tem o potencial de transformar uma ampla gama de indústrias, desde entretenimento e jogos até arquitetura e design. No geral, este artigo apresenta uma contribuição significativa para o campo da IA generativa e visão computacional, e demonstra o potencial do LDM3D e do DepthFusion para revolucionar a criação de conteúdo e as experiências digitais. Um vídeo curto que resume a abordagem pode ser encontrado em https://t.ly/tdi2.

English

This research paper proposes a Latent Diffusion Model for 3D (LDM3D) that generates both image and depth map data from a given text prompt, allowing users to generate RGBD images from text prompts. The LDM3D model is fine-tuned on a dataset of tuples containing an RGB image, depth map and caption, and validated through extensive experiments. We also develop an application called DepthFusion, which uses the generated RGB images and depth maps to create immersive and interactive 360-degree-view experiences using TouchDesigner. This technology has the potential to transform a wide range of industries, from entertainment and gaming to architecture and design. Overall, this paper presents a significant contribution to the field of generative AI and computer vision, and showcases the potential of LDM3D and DepthFusion to revolutionize content creation and digital experiences. A short video summarizing the approach can be found at https://t.ly/tdi2.