LDM3D: 3D潜在拡散モデル

要旨

本研究では、テキストプロンプトから画像と深度マップデータを生成する3D潜在拡散モデル（LDM3D）を提案します。これにより、ユーザーはテキストプロンプトからRGBD画像を生成することが可能になります。LDM3Dモデルは、RGB画像、深度マップ、キャプションを含むタプルのデータセットでファインチューニングされ、広範な実験を通じて検証されています。また、生成されたRGB画像と深度マップを使用して、TouchDesignerを用いた没入型でインタラクティブな360度ビュー体験を創出するDepthFusionというアプリケーションも開発しました。この技術は、エンターテインメントやゲームから建築やデザインに至るまで、幅広い産業を変革する可能性を秘めています。全体として、本論文は生成AIとコンピュータビジョンの分野に重要な貢献を果たし、LDM3DとDepthFusionがコンテンツ制作とデジタル体験を革新する可能性を示しています。本アプローチをまとめた短いビデオはhttps://t.ly/tdi2でご覧いただけます。

English

This research paper proposes a Latent Diffusion Model for 3D (LDM3D) that generates both image and depth map data from a given text prompt, allowing users to generate RGBD images from text prompts. The LDM3D model is fine-tuned on a dataset of tuples containing an RGB image, depth map and caption, and validated through extensive experiments. We also develop an application called DepthFusion, which uses the generated RGB images and depth maps to create immersive and interactive 360-degree-view experiences using TouchDesigner. This technology has the potential to transform a wide range of industries, from entertainment and gaming to architecture and design. Overall, this paper presents a significant contribution to the field of generative AI and computer vision, and showcases the potential of LDM3D and DepthFusion to revolutionize content creation and digital experiences. A short video summarizing the approach can be found at https://t.ly/tdi2.

LDM3D: 3D潜在拡散モデル

LDM3D: Latent Diffusion Model for 3D

要旨

Support