DreamEditor: Edição de Cenas 3D Orientada por Texto com Campos Neurais

DreamEditor: Text-Driven 3D Scene Editing with Neural Fields

June 23, 2023

Autores: Jingyu Zhuang, Chen Wang, Lingjie Liu, Liang Lin, Guanbin Li

cs.AI

Resumo

Campos neurais têm alcançado avanços impressionantes na síntese de visões e na reconstrução de cenas. No entanto, a edição desses campos neurais permanece desafiadora devido à codificação implícita de informações de geometria e textura. Neste artigo, propomos o DreamEditor, uma nova estrutura que permite aos usuários realizar edições controladas de campos neurais usando prompts de texto. Ao representar cenas como campos neurais baseados em malhas, o DreamEditor permite edições localizadas em regiões específicas. O DreamEditor utiliza o codificador de texto de um modelo de difusão de texto para imagem pré-treinado para identificar automaticamente as regiões a serem editadas com base na semântica dos prompts de texto. Posteriormente, o DreamEditor otimiza a região de edição e alinha sua geometria e textura com os prompts de texto por meio de amostragem por destilação de pontuação [29]. Experimentos extensivos demonstraram que o DreamEditor pode editar com precisão campos neurais de cenas do mundo real de acordo com os prompts de texto fornecidos, garantindo consistência em áreas irrelevantes. O DreamEditor gera texturas e geometrias altamente realistas, superando significativamente trabalhos anteriores em avaliações quantitativas e qualitativas.

English

Neural fields have achieved impressive advancements in view synthesis and scene reconstruction. However, editing these neural fields remains challenging due to the implicit encoding of geometry and texture information. In this paper, we propose DreamEditor, a novel framework that enables users to perform controlled editing of neural fields using text prompts. By representing scenes as mesh-based neural fields, DreamEditor allows localized editing within specific regions. DreamEditor utilizes the text encoder of a pretrained text-to-Image diffusion model to automatically identify the regions to be edited based on the semantics of the text prompts. Subsequently, DreamEditor optimizes the editing region and aligns its geometry and texture with the text prompts through score distillation sampling [29]. Extensive experiments have demonstrated that DreamEditor can accurately edit neural fields of real-world scenes according to the given text prompts while ensuring consistency in irrelevant areas. DreamEditor generates highly realistic textures and geometry, significantly surpassing previous works in both quantitative and qualitative evaluations.