DreamEditor: Tekstgestuurde 3D-scènebewerking met neurale velden

DreamEditor: Text-Driven 3D Scene Editing with Neural Fields

June 23, 2023

Auteurs: Jingyu Zhuang, Chen Wang, Lingjie Liu, Liang Lin, Guanbin Li

cs.AI

Samenvatting

Neurale velden hebben indrukwekkende vooruitgang geboekt in viewsynthese en scènereconstructie. Het bewerken van deze neurale velden blijft echter een uitdaging vanwege de impliciete codering van geometrie- en textuurinformatie. In dit artikel stellen we DreamEditor voor, een nieuw framework dat gebruikers in staat stelt gecontroleerde bewerkingen van neurale velden uit te voeren met behulp van tekstprompts. Door scènes voor te stellen als mesh-gebaseerde neurale velden, maakt DreamEditor lokale bewerkingen binnen specifieke regio's mogelijk. DreamEditor maakt gebruik van de tekstencoder van een vooraf getraind tekst-naar-beeld diffusiemodel om automatisch de te bewerken regio's te identificeren op basis van de semantiek van de tekstprompts. Vervolgens optimaliseert DreamEditor de bewerkingsregio en aligneert de geometrie en textuur met de tekstprompts via score-distillatie sampling [29]. Uitgebreide experimenten hebben aangetoond dat DreamEditor neurale velden van real-world scènes nauwkeurig kan bewerken volgens de gegeven tekstprompts, terwijl consistentie in irrelevante gebieden wordt gewaarborgd. DreamEditor genereert zeer realistische texturen en geometrie, wat zowel kwantitatieve als kwalitatieve evaluaties aanzienlijk overtreft ten opzichte van eerdere werken.

English

Neural fields have achieved impressive advancements in view synthesis and scene reconstruction. However, editing these neural fields remains challenging due to the implicit encoding of geometry and texture information. In this paper, we propose DreamEditor, a novel framework that enables users to perform controlled editing of neural fields using text prompts. By representing scenes as mesh-based neural fields, DreamEditor allows localized editing within specific regions. DreamEditor utilizes the text encoder of a pretrained text-to-Image diffusion model to automatically identify the regions to be edited based on the semantics of the text prompts. Subsequently, DreamEditor optimizes the editing region and aligns its geometry and texture with the text prompts through score distillation sampling [29]. Extensive experiments have demonstrated that DreamEditor can accurately edit neural fields of real-world scenes according to the given text prompts while ensuring consistency in irrelevant areas. DreamEditor generates highly realistic textures and geometry, significantly surpassing previous works in both quantitative and qualitative evaluations.