DreamEditor: Modifica di Scene 3D Guidata da Testo con Campi Neurali

DreamEditor: Text-Driven 3D Scene Editing with Neural Fields

June 23, 2023

Autori: Jingyu Zhuang, Chen Wang, Lingjie Liu, Liang Lin, Guanbin Li

cs.AI

Abstract

I campi neurali hanno ottenuto progressi impressionanti nella sintesi di viste e nella ricostruzione di scene. Tuttavia, la modifica di questi campi neurali rimane una sfida a causa della codifica implicita delle informazioni geometriche e di texture. In questo articolo, proponiamo DreamEditor, un nuovo framework che consente agli utenti di eseguire modifiche controllate dei campi neurali utilizzando prompt testuali. Rappresentando le scene come campi neurali basati su mesh, DreamEditor permette modifiche localizzate all'interno di regioni specifiche. DreamEditor utilizza l'encoder di testo di un modello di diffusione testo-immagine pre-addestrato per identificare automaticamente le regioni da modificare in base alla semantica dei prompt testuali. Successivamente, DreamEditor ottimizza la regione di modifica e allinea la sua geometria e texture con i prompt testuali attraverso il campionamento di distillazione del punteggio [29]. Esperimenti estesi hanno dimostrato che DreamEditor può modificare accuratamente i campi neurali di scene del mondo reale in base ai prompt testuali forniti, garantendo al contempo la coerenza nelle aree irrilevanti. DreamEditor genera texture e geometrie altamente realistiche, superando significativamente i lavori precedenti sia nelle valutazioni quantitative che qualitative.

English

Neural fields have achieved impressive advancements in view synthesis and scene reconstruction. However, editing these neural fields remains challenging due to the implicit encoding of geometry and texture information. In this paper, we propose DreamEditor, a novel framework that enables users to perform controlled editing of neural fields using text prompts. By representing scenes as mesh-based neural fields, DreamEditor allows localized editing within specific regions. DreamEditor utilizes the text encoder of a pretrained text-to-Image diffusion model to automatically identify the regions to be edited based on the semantics of the text prompts. Subsequently, DreamEditor optimizes the editing region and aligns its geometry and texture with the text prompts through score distillation sampling [29]. Extensive experiments have demonstrated that DreamEditor can accurately edit neural fields of real-world scenes according to the given text prompts while ensuring consistency in irrelevant areas. DreamEditor generates highly realistic textures and geometry, significantly surpassing previous works in both quantitative and qualitative evaluations.