LDM3D: Latentes Diffusionsmodell für 3D

LDM3D: Latent Diffusion Model for 3D

May 18, 2023

Autoren: Gabriela Ben Melech Stan, Diana Wofk, Scottie Fox, Alex Redden, Will Saxton, Jean Yu, Estelle Aflalo, Shao-Yen Tseng, Fabio Nonato, Matthias Muller, Vasudev Lal

cs.AI

Zusammenfassung

Dieses Forschungsarbeit stellt ein Latent Diffusion Model for 3D (LDM3D) vor, das sowohl Bild- als auch Tiefenkartendaten aus einem gegebenen Textprompt generiert, wodurch Benutzer RGBD-Bilder aus Textprompts erzeugen können. Das LDM3D-Modell wird auf einem Datensatz von Tupeln, die ein RGB-Bild, eine Tiefenkarte und eine Beschreibung enthalten, feinabgestimmt und durch umfangreiche Experimente validiert. Wir entwickeln außerdem eine Anwendung namens DepthFusion, die die generierten RGB-Bilder und Tiefenkarten verwendet, um immersive und interaktive 360-Grad-Ansichten mit TouchDesigner zu erstellen. Diese Technologie hat das Potenzial, eine Vielzahl von Branchen zu transformieren, von Unterhaltung und Gaming bis hin zu Architektur und Design. Insgesamt leistet diese Arbeit einen bedeutenden Beitrag zum Bereich der generativen KI und Computer Vision und zeigt das Potenzial von LDM3D und DepthFusion auf, die Inhaltserstellung und digitalen Erlebnisse zu revolutionieren. Ein kurzes Video, das den Ansatz zusammenfasst, ist unter https://t.ly/tdi2 zu finden.

English

This research paper proposes a Latent Diffusion Model for 3D (LDM3D) that generates both image and depth map data from a given text prompt, allowing users to generate RGBD images from text prompts. The LDM3D model is fine-tuned on a dataset of tuples containing an RGB image, depth map and caption, and validated through extensive experiments. We also develop an application called DepthFusion, which uses the generated RGB images and depth maps to create immersive and interactive 360-degree-view experiences using TouchDesigner. This technology has the potential to transform a wide range of industries, from entertainment and gaming to architecture and design. Overall, this paper presents a significant contribution to the field of generative AI and computer vision, and showcases the potential of LDM3D and DepthFusion to revolutionize content creation and digital experiences. A short video summarizing the approach can be found at https://t.ly/tdi2.