LDM3D: Modelo de Difusión Latente para 3D

LDM3D: Latent Diffusion Model for 3D

May 18, 2023

Autores: Gabriela Ben Melech Stan, Diana Wofk, Scottie Fox, Alex Redden, Will Saxton, Jean Yu, Estelle Aflalo, Shao-Yen Tseng, Fabio Nonato, Matthias Muller, Vasudev Lal

cs.AI

Resumen

Este artículo de investigación propone un Modelo de Difusión Latente para 3D (LDM3D) que genera tanto imágenes como mapas de profundidad a partir de un texto descriptivo, permitiendo a los usuarios crear imágenes RGBD a partir de indicaciones textuales. El modelo LDM3D se ajusta finamente sobre un conjunto de datos que contiene tuplas de imágenes RGB, mapas de profundidad y descripciones, y se valida mediante experimentos exhaustivos. También desarrollamos una aplicación llamada DepthFusion, que utiliza las imágenes RGB y los mapas de profundidad generados para crear experiencias inmersivas e interactivas de 360 grados utilizando TouchDesigner. Esta tecnología tiene el potencial de transformar una amplia gama de industrias, desde el entretenimiento y los videojuegos hasta la arquitectura y el diseño. En general, este artículo presenta una contribución significativa al campo de la IA generativa y la visión por computadora, y muestra el potencial de LDM3D y DepthFusion para revolucionar la creación de contenido y las experiencias digitales. Un video breve que resume el enfoque se puede encontrar en https://t.ly/tdi2.

English

This research paper proposes a Latent Diffusion Model for 3D (LDM3D) that generates both image and depth map data from a given text prompt, allowing users to generate RGBD images from text prompts. The LDM3D model is fine-tuned on a dataset of tuples containing an RGB image, depth map and caption, and validated through extensive experiments. We also develop an application called DepthFusion, which uses the generated RGB images and depth maps to create immersive and interactive 360-degree-view experiences using TouchDesigner. This technology has the potential to transform a wide range of industries, from entertainment and gaming to architecture and design. Overall, this paper presents a significant contribution to the field of generative AI and computer vision, and showcases the potential of LDM3D and DepthFusion to revolutionize content creation and digital experiences. A short video summarizing the approach can be found at https://t.ly/tdi2.