LDM3D: Modello di Diffusione Latente per il 3D

LDM3D: Latent Diffusion Model for 3D

May 18, 2023

Autori: Gabriela Ben Melech Stan, Diana Wofk, Scottie Fox, Alex Redden, Will Saxton, Jean Yu, Estelle Aflalo, Shao-Yen Tseng, Fabio Nonato, Matthias Muller, Vasudev Lal

cs.AI

Abstract

Questo articolo di ricerca propone un modello di diffusione latente per il 3D (LDM3D) che genera sia immagini che mappe di profondità a partire da un prompt testuale, consentendo agli utenti di creare immagini RGBD da descrizioni testuali. Il modello LDM3D viene ottimizzato su un dataset di tuple contenenti un'immagine RGB, una mappa di profondità e una didascalia, e viene validato attraverso esperimenti approfonditi. Abbiamo inoltre sviluppato un'applicazione chiamata DepthFusion, che utilizza le immagini RGB e le mappe di profondità generate per creare esperienze immersive e interattive a 360 gradi utilizzando TouchDesigner. Questa tecnologia ha il potenziale di trasformare una vasta gamma di settori, dall'intrattenimento e dai giochi all'architettura e al design. Nel complesso, questo articolo rappresenta un contributo significativo nel campo dell'IA generativa e della visione artificiale, e dimostra il potenziale di LDM3D e DepthFusion di rivoluzionare la creazione di contenuti e le esperienze digitali. Un breve video che riassume l'approccio è disponibile all'indirizzo https://t.ly/tdi2.

English

This research paper proposes a Latent Diffusion Model for 3D (LDM3D) that generates both image and depth map data from a given text prompt, allowing users to generate RGBD images from text prompts. The LDM3D model is fine-tuned on a dataset of tuples containing an RGB image, depth map and caption, and validated through extensive experiments. We also develop an application called DepthFusion, which uses the generated RGB images and depth maps to create immersive and interactive 360-degree-view experiences using TouchDesigner. This technology has the potential to transform a wide range of industries, from entertainment and gaming to architecture and design. Overall, this paper presents a significant contribution to the field of generative AI and computer vision, and showcases the potential of LDM3D and DepthFusion to revolutionize content creation and digital experiences. A short video summarizing the approach can be found at https://t.ly/tdi2.