RealmDreamer: Geração de Cenas 3D Orientada por Texto com Inpainting e Difusão de Profundidade

RealmDreamer: Text-Driven 3D Scene Generation with Inpainting and Depth Diffusion

April 10, 2024

Autores: Jaidev Shriram, Alex Trevithick, Lingjie Liu, Ravi Ramamoorthi

cs.AI

Resumo

Apresentamos o RealmDreamer, uma técnica para geração de cenas 3D frontais gerais a partir de descrições textuais. Nossa técnica otimiza uma representação de Splatting Gaussiano 3D para corresponder a prompts textuais complexos. Inicializamos esses splats utilizando geradores de texto para imagem de última geração, elevando suas amostras para 3D e calculando o volume de oclusão. Em seguida, otimizamos essa representação em múltiplas visões como uma tarefa de inpainting 3D com modelos de difusão condicionados por imagem. Para aprender a estrutura geométrica correta, incorporamos um modelo de difusão de profundidade, condicionando-o às amostras do modelo de inpainting, proporcionando uma rica estrutura geométrica. Por fim, ajustamos o modelo utilizando amostras nítidas de geradores de imagem. Notavelmente, nossa técnica não requer dados de vídeo ou múltiplas visões e pode sintetizar uma variedade de cenas 3D de alta qualidade em diferentes estilos, compostas por múltiplos objetos. Sua generalidade adicionalmente permite a síntese 3D a partir de uma única imagem.

English

We introduce RealmDreamer, a technique for generation of general forward-facing 3D scenes from text descriptions. Our technique optimizes a 3D Gaussian Splatting representation to match complex text prompts. We initialize these splats by utilizing the state-of-the-art text-to-image generators, lifting their samples into 3D, and computing the occlusion volume. We then optimize this representation across multiple views as a 3D inpainting task with image-conditional diffusion models. To learn correct geometric structure, we incorporate a depth diffusion model by conditioning on the samples from the inpainting model, giving rich geometric structure. Finally, we finetune the model using sharpened samples from image generators. Notably, our technique does not require video or multi-view data and can synthesize a variety of high-quality 3D scenes in different styles, consisting of multiple objects. Its generality additionally allows 3D synthesis from a single image.