RealmDreamer: Generación de Escenas 3D Guiada por Texto con Inpainting y Difusión de Profundidad

RealmDreamer: Text-Driven 3D Scene Generation with Inpainting and Depth Diffusion

April 10, 2024

Autores: Jaidev Shriram, Alex Trevithick, Lingjie Liu, Ravi Ramamoorthi

cs.AI

Resumen

Presentamos RealmDreamer, una técnica para la generación de escenas 3D generales orientadas hacia adelante a partir de descripciones textuales. Nuestra técnica optimiza una representación de 3D Gaussian Splatting para que coincida con indicaciones textuales complejas. Inicializamos estos splats utilizando generadores de texto a imagen de última generación, elevando sus muestras a 3D y calculando el volumen de oclusión. Luego, optimizamos esta representación a través de múltiples vistas como una tarea de inpainting 3D con modelos de difusión condicionados por imágenes. Para aprender la estructura geométrica correcta, incorporamos un modelo de difusión de profundidad condicionado por las muestras del modelo de inpainting, lo que proporciona una estructura geométrica rica. Finalmente, ajustamos el modelo utilizando muestras afiladas de generadores de imágenes. Es importante destacar que nuestra técnica no requiere datos de video o múltiples vistas y puede sintetizar una variedad de escenas 3D de alta calidad en diferentes estilos, compuestas por múltiples objetos. Su generalidad permite además la síntesis 3D a partir de una sola imagen.

English

We introduce RealmDreamer, a technique for generation of general forward-facing 3D scenes from text descriptions. Our technique optimizes a 3D Gaussian Splatting representation to match complex text prompts. We initialize these splats by utilizing the state-of-the-art text-to-image generators, lifting their samples into 3D, and computing the occlusion volume. We then optimize this representation across multiple views as a 3D inpainting task with image-conditional diffusion models. To learn correct geometric structure, we incorporate a depth diffusion model by conditioning on the samples from the inpainting model, giving rich geometric structure. Finally, we finetune the model using sharpened samples from image generators. Notably, our technique does not require video or multi-view data and can synthesize a variety of high-quality 3D scenes in different styles, consisting of multiple objects. Its generality additionally allows 3D synthesis from a single image.