Seal-3D: Интерактивное редактирование на уровне пикселей для нейронных полей излучения

Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields

July 27, 2023

Авторы: Xiangyu Wang, Jingsen Zhu, Qi Ye, Yuchi Huo, Yunlong Ran, Zhihua Zhong, Jiming Chen

cs.AI

Аннотация

С ростом популярности неявных нейронных представлений, таких как нейронные поля излучения (NeRF), возникает острая необходимость в методах редактирования для взаимодействия с неявными 3D-моделями, например, для постобработки реконструированных сцен и создания 3D-контента. Хотя предыдущие работы исследовали редактирование NeRF с различных точек зрения, они ограничены в гибкости, качестве и скорости редактирования, не предоставляя прямого отклика на изменения и мгновенного предпросмотра. Основная задача заключается в создании локально редактируемого нейронного представления, которое может напрямую отражать инструкции редактирования и мгновенно обновляться. Чтобы устранить этот пробел, мы предлагаем новый интерактивный метод и систему редактирования для неявных представлений под названием Seal-3D, который позволяет пользователям редактировать модели NeRF на уровне пикселей и в свободной форме с использованием широкого спектра NeRF-подобных архитектур, а также мгновенно просматривать результаты редактирования. Для достижения этих эффектов мы решаем ключевые задачи с помощью предложенной нами прокси-функции, которая отображает инструкции редактирования в исходное пространство моделей NeRF, а также стратегии обучения "учитель-ученик" с локальным предобучением и глобальной донастройкой. Мы разработали систему редактирования NeRF, демонстрирующую различные типы редактирования. Наша система позволяет достигать впечатляющих результатов редактирования с интерактивной скоростью около 1 секунды.

English

With the popularity of implicit neural representations, or neural radiance fields (NeRF), there is a pressing need for editing methods to interact with the implicit 3D models for tasks like post-processing reconstructed scenes and 3D content creation. While previous works have explored NeRF editing from various perspectives, they are restricted in editing flexibility, quality, and speed, failing to offer direct editing response and instant preview. The key challenge is to conceive a locally editable neural representation that can directly reflect the editing instructions and update instantly. To bridge the gap, we propose a new interactive editing method and system for implicit representations, called Seal-3D, which allows users to edit NeRF models in a pixel-level and free manner with a wide range of NeRF-like backbone and preview the editing effects instantly. To achieve the effects, the challenges are addressed by our proposed proxy function mapping the editing instructions to the original space of NeRF models and a teacher-student training strategy with local pretraining and global finetuning. A NeRF editing system is built to showcase various editing types. Our system can achieve compelling editing effects with an interactive speed of about 1 second.