RealmDreamer: Generazione di Scene 3D Guidata da Testo con Inpainting e Diffusione della Profondità

RealmDreamer: Text-Driven 3D Scene Generation with Inpainting and Depth Diffusion

April 10, 2024

Autori: Jaidev Shriram, Alex Trevithick, Lingjie Liu, Ravi Ramamoorthi

cs.AI

Abstract

Presentiamo RealmDreamer, una tecnica per la generazione di scene 3D frontali generali a partire da descrizioni testuali. La nostra tecnica ottimizza una rappresentazione a splatting gaussiano 3D per adattarla a prompt testuali complessi. Inizializziamo questi splat utilizzando generatori testo-immagine all'avanguardia, elevando i loro campioni in 3D e calcolando il volume di occlusione. Successivamente, ottimizziamo questa rappresentazione attraverso più visualizzazioni come un'attività di inpainting 3D con modelli di diffusione condizionati da immagini. Per apprendere la corretta struttura geometrica, incorporiamo un modello di diffusione della profondità condizionando sui campioni del modello di inpainting, ottenendo una struttura geometrica ricca. Infine, affiniamo il modello utilizzando campioni nitidi dai generatori di immagini. È importante notare che la nostra tecnica non richiede dati video o multi-vista e può sintetizzare una varietà di scene 3D di alta qualità in diversi stili, composte da più oggetti. La sua generalità consente inoltre la sintesi 3D a partire da una singola immagine.

English

We introduce RealmDreamer, a technique for generation of general forward-facing 3D scenes from text descriptions. Our technique optimizes a 3D Gaussian Splatting representation to match complex text prompts. We initialize these splats by utilizing the state-of-the-art text-to-image generators, lifting their samples into 3D, and computing the occlusion volume. We then optimize this representation across multiple views as a 3D inpainting task with image-conditional diffusion models. To learn correct geometric structure, we incorporate a depth diffusion model by conditioning on the samples from the inpainting model, giving rich geometric structure. Finally, we finetune the model using sharpened samples from image generators. Notably, our technique does not require video or multi-view data and can synthesize a variety of high-quality 3D scenes in different styles, consisting of multiple objects. Its generality additionally allows 3D synthesis from a single image.