RealmDreamer : Génération de scènes 3D pilotée par texte avec inpainting et diffusion de profondeur

RealmDreamer: Text-Driven 3D Scene Generation with Inpainting and Depth Diffusion

April 10, 2024

Auteurs: Jaidev Shriram, Alex Trevithick, Lingjie Liu, Ravi Ramamoorthi

cs.AI

Résumé

Nous présentons RealmDreamer, une technique pour la génération de scènes 3D générales orientées vers l'avant à partir de descriptions textuelles. Notre technique optimise une représentation par projection de Gaussiennes 3D pour correspondre à des prompts textuels complexes. Nous initialisons ces projections en utilisant des générateurs d'images à partir de texte de pointe, en transformant leurs échantillons en 3D et en calculant le volume d'occlusion. Nous optimisons ensuite cette représentation à travers plusieurs vues comme une tâche de remplissage 3D avec des modèles de diffusion conditionnés par l'image. Pour apprendre une structure géométrique correcte, nous intégrons un modèle de diffusion de profondeur en le conditionnant sur les échantillons du modèle de remplissage, ce qui fournit une structure géométrique riche. Enfin, nous affinons le modèle en utilisant des échantillons affinés provenant des générateurs d'images. Il est à noter que notre technique ne nécessite pas de vidéo ou de données multi-vues et peut synthétiser une variété de scènes 3D de haute qualité dans différents styles, composées de plusieurs objets. Sa généralité permet également la synthèse 3D à partir d'une seule image.

English

We introduce RealmDreamer, a technique for generation of general forward-facing 3D scenes from text descriptions. Our technique optimizes a 3D Gaussian Splatting representation to match complex text prompts. We initialize these splats by utilizing the state-of-the-art text-to-image generators, lifting their samples into 3D, and computing the occlusion volume. We then optimize this representation across multiple views as a 3D inpainting task with image-conditional diffusion models. To learn correct geometric structure, we incorporate a depth diffusion model by conditioning on the samples from the inpainting model, giving rich geometric structure. Finally, we finetune the model using sharpened samples from image generators. Notably, our technique does not require video or multi-view data and can synthesize a variety of high-quality 3D scenes in different styles, consisting of multiple objects. Its generality additionally allows 3D synthesis from a single image.