RealmDreamer: Tekstgestuurde 3D-scènegeneratie met inpainting en dieptediffusie

RealmDreamer: Text-Driven 3D Scene Generation with Inpainting and Depth Diffusion

April 10, 2024

Auteurs: Jaidev Shriram, Alex Trevithick, Lingjie Liu, Ravi Ramamoorthi

cs.AI

Samenvatting

We introduceren RealmDreamer, een techniek voor het genereren van algemene, voorwaarts gerichte 3D-scènes op basis van tekstbeschrijvingen. Onze techniek optimaliseert een 3D Gaussian Splatting-representatie om complexe tekstprompts te matchen. We initialiseren deze splats door gebruik te maken van state-of-the-art tekst-naar-beeldgeneratoren, hun samples naar 3D te tillen en het occlusievolume te berekenen. Vervolgens optimaliseren we deze representatie over meerdere aanzichten als een 3D-inpainting-taak met beeldconditionele diffusiemodellen. Om de juiste geometrische structuur te leren, integreren we een dieptediffusiemodel door te conditioneren op de samples van het inpainting-model, wat een rijke geometrische structuur oplevert. Ten slotte finetunen we het model met verscherpte samples van beeldgeneratoren. Opmerkelijk is dat onze techniek geen video- of multiview-data vereist en een verscheidenheid aan hoogwaardige 3D-scènes in verschillende stijlen kan synthetiseren, bestaande uit meerdere objecten. De algemeenheid maakt bovendien 3D-synthese mogelijk vanuit een enkele afbeelding.

English

We introduce RealmDreamer, a technique for generation of general forward-facing 3D scenes from text descriptions. Our technique optimizes a 3D Gaussian Splatting representation to match complex text prompts. We initialize these splats by utilizing the state-of-the-art text-to-image generators, lifting their samples into 3D, and computing the occlusion volume. We then optimize this representation across multiple views as a 3D inpainting task with image-conditional diffusion models. To learn correct geometric structure, we incorporate a depth diffusion model by conditioning on the samples from the inpainting model, giving rich geometric structure. Finally, we finetune the model using sharpened samples from image generators. Notably, our technique does not require video or multi-view data and can synthesize a variety of high-quality 3D scenes in different styles, consisting of multiple objects. Its generality additionally allows 3D synthesis from a single image.