LDM3D: Latent Diffusiemodel voor 3D

LDM3D: Latent Diffusion Model for 3D

May 18, 2023

Auteurs: Gabriela Ben Melech Stan, Diana Wofk, Scottie Fox, Alex Redden, Will Saxton, Jean Yu, Estelle Aflalo, Shao-Yen Tseng, Fabio Nonato, Matthias Muller, Vasudev Lal

cs.AI

Samenvatting

Dit onderzoeksartikel stelt een Latent Diffusion Model voor 3D (LDM3D) voor dat zowel beeld- als dieptekaartgegevens genereert vanuit een gegeven tekstprompt, waardoor gebruikers RGBD-afbeeldingen kunnen genereren vanuit tekstprompts. Het LDM3D-model is afgestemd op een dataset van tuples die een RGB-afbeelding, een dieptekaart en een bijschrift bevatten, en is gevalideerd door middel van uitgebreide experimenten. We ontwikkelen ook een applicatie genaamd DepthFusion, die de gegenereerde RGB-afbeeldingen en dieptekaarten gebruikt om meeslepende en interactieve 360-graden-ervaringen te creëren met behulp van TouchDesigner. Deze technologie heeft het potentieel om een breed scala aan industrieën te transformeren, van entertainment en gaming tot architectuur en design. Over het algemeen levert dit artikel een belangrijke bijdrage aan het veld van generatieve AI en computervisie, en toont het de potentie van LDM3D en DepthFusion om contentcreatie en digitale ervaringen te revolutioneren. Een korte video die de aanpak samenvat, is te vinden op https://t.ly/tdi2.

English

This research paper proposes a Latent Diffusion Model for 3D (LDM3D) that generates both image and depth map data from a given text prompt, allowing users to generate RGBD images from text prompts. The LDM3D model is fine-tuned on a dataset of tuples containing an RGB image, depth map and caption, and validated through extensive experiments. We also develop an application called DepthFusion, which uses the generated RGB images and depth maps to create immersive and interactive 360-degree-view experiences using TouchDesigner. This technology has the potential to transform a wide range of industries, from entertainment and gaming to architecture and design. Overall, this paper presents a significant contribution to the field of generative AI and computer vision, and showcases the potential of LDM3D and DepthFusion to revolutionize content creation and digital experiences. A short video summarizing the approach can be found at https://t.ly/tdi2.