DreamEditor: Редактирование 3D-сцен на основе текста с использованием нейронных полей

DreamEditor: Text-Driven 3D Scene Editing with Neural Fields

June 23, 2023

Авторы: Jingyu Zhuang, Chen Wang, Lingjie Liu, Liang Lin, Guanbin Li

cs.AI

Аннотация

Нейронные поля достигли значительных успехов в синтезе видов и реконструкции сцен. Однако редактирование этих нейронных полей остается сложной задачей из-за неявного кодирования геометрической и текстурной информации. В данной статье мы предлагаем DreamEditor — новый фреймворк, который позволяет пользователям выполнять контролируемое редактирование нейронных полей с использованием текстовых запросов. Представляя сцены в виде нейронных полей на основе сеток, DreamEditor обеспечивает локализованное редактирование в определенных областях. DreamEditor использует текстовый кодировщик предварительно обученной модели диффузии текста в изображение для автоматического определения областей, подлежащих редактированию, на основе семантики текстовых запросов. Затем DreamEditor оптимизирует область редактирования и согласовывает ее геометрию и текстуру с текстовыми запросами с помощью метода сэмплирования по дистилляции оценок [29]. Многочисленные эксперименты показали, что DreamEditor может точно редактировать нейронные поля реальных сцен в соответствии с заданными текстовыми запросами, сохраняя при этом неизменность в нерелевантных областях. DreamEditor создает высокореалистичные текстуры и геометрию, значительно превосходя предыдущие работы как в количественных, так и в качественных оценках.

English

Neural fields have achieved impressive advancements in view synthesis and scene reconstruction. However, editing these neural fields remains challenging due to the implicit encoding of geometry and texture information. In this paper, we propose DreamEditor, a novel framework that enables users to perform controlled editing of neural fields using text prompts. By representing scenes as mesh-based neural fields, DreamEditor allows localized editing within specific regions. DreamEditor utilizes the text encoder of a pretrained text-to-Image diffusion model to automatically identify the regions to be edited based on the semantics of the text prompts. Subsequently, DreamEditor optimizes the editing region and aligns its geometry and texture with the text prompts through score distillation sampling [29]. Extensive experiments have demonstrated that DreamEditor can accurately edit neural fields of real-world scenes according to the given text prompts while ensuring consistency in irrelevant areas. DreamEditor generates highly realistic textures and geometry, significantly surpassing previous works in both quantitative and qualitative evaluations.