LDM3D : Modèle de Diffusion Latente pour la 3D

LDM3D: Latent Diffusion Model for 3D

May 18, 2023

Auteurs: Gabriela Ben Melech Stan, Diana Wofk, Scottie Fox, Alex Redden, Will Saxton, Jean Yu, Estelle Aflalo, Shao-Yen Tseng, Fabio Nonato, Matthias Muller, Vasudev Lal

cs.AI

Résumé

Cet article de recherche propose un modèle de diffusion latente pour la 3D (LDM3D) qui génère à la fois des images et des cartes de profondeur à partir d'une invite textuelle donnée, permettant aux utilisateurs de créer des images RGBD à partir de prompts textuels. Le modèle LDM3D est affiné sur un ensemble de données contenant des tuples d'images RGB, de cartes de profondeur et de légendes, et est validé par des expériences approfondies. Nous développons également une application appelée DepthFusion, qui utilise les images RGB et les cartes de profondeur générées pour créer des expériences immersives et interactives en vue à 360 degrés à l'aide de TouchDesigner. Cette technologie a le potentiel de transformer un large éventail d'industries, du divertissement et des jeux à l'architecture et au design. Globalement, cet article présente une contribution significative au domaine de l'IA générative et de la vision par ordinateur, et met en lumière le potentiel de LDM3D et DepthFusion à révolutionner la création de contenu et les expériences numériques. Une courte vidéo résumant l'approche est disponible à l'adresse suivante : https://t.ly/tdi2.

English

This research paper proposes a Latent Diffusion Model for 3D (LDM3D) that generates both image and depth map data from a given text prompt, allowing users to generate RGBD images from text prompts. The LDM3D model is fine-tuned on a dataset of tuples containing an RGB image, depth map and caption, and validated through extensive experiments. We also develop an application called DepthFusion, which uses the generated RGB images and depth maps to create immersive and interactive 360-degree-view experiences using TouchDesigner. This technology has the potential to transform a wide range of industries, from entertainment and gaming to architecture and design. Overall, this paper presents a significant contribution to the field of generative AI and computer vision, and showcases the potential of LDM3D and DepthFusion to revolutionize content creation and digital experiences. A short video summarizing the approach can be found at https://t.ly/tdi2.