RealmDreamer: Textbasierte 3D-Szenengenerierung mit Inpainting und Tiefenverbreitung

RealmDreamer: Text-Driven 3D Scene Generation with Inpainting and Depth Diffusion

April 10, 2024

Autoren: Jaidev Shriram, Alex Trevithick, Lingjie Liu, Ravi Ramamoorthi

cs.AI

Zusammenfassung

Wir stellen RealmDreamer vor, eine Technik zur Generierung von allgemeinen 3D-Szenen aus Textbeschreibungen. Unsere Technik optimiert eine 3D-Gaußsche Splatting-Repräsentation, um komplexe Texteingaben anzupassen. Wir initialisieren diese Splats, indem wir die modernsten Text-zu-Bild-Generatoren nutzen, ihre Proben in 3D umwandeln und das Okklusionsvolumen berechnen. Anschließend optimieren wir diese Repräsentation über mehrere Ansichten hinweg als 3D-Inpainting-Aufgabe mit bildbedingten Diffusionsmodellen. Um die korrekte geometrische Struktur zu erlernen, integrieren wir ein Tiefen-Diffusionsmodell, das auf den Proben des Inpainting-Modells basiert und eine reichhaltige geometrische Struktur liefert. Schließlich verfeinern wir das Modell unter Verwendung geschärfter Proben von Bildgeneratoren. Bemerkenswert ist, dass unsere Technik keine Video- oder Multi-View-Daten erfordert und eine Vielzahl hochwertiger 3D-Szenen in verschiedenen Stilen synthetisieren kann, die aus mehreren Objekten bestehen. Ihre Allgemeinheit ermöglicht zusätzlich die 3D-Synthese aus einem einzigen Bild.

English

We introduce RealmDreamer, a technique for generation of general forward-facing 3D scenes from text descriptions. Our technique optimizes a 3D Gaussian Splatting representation to match complex text prompts. We initialize these splats by utilizing the state-of-the-art text-to-image generators, lifting their samples into 3D, and computing the occlusion volume. We then optimize this representation across multiple views as a 3D inpainting task with image-conditional diffusion models. To learn correct geometric structure, we incorporate a depth diffusion model by conditioning on the samples from the inpainting model, giving rich geometric structure. Finally, we finetune the model using sharpened samples from image generators. Notably, our technique does not require video or multi-view data and can synthesize a variety of high-quality 3D scenes in different styles, consisting of multiple objects. Its generality additionally allows 3D synthesis from a single image.