NeuralEditor: Редактирование нейронных полей излучения через манипуляции с облаками точек

NeuralEditor: Editing Neural Radiance Fields via Manipulating Point Clouds

May 4, 2023

Авторы: Jun-Kun Chen, Jipeng Lyu, Yu-Xiong Wang

cs.AI

Аннотация

В данной статье представлен NeuralEditor, который позволяет редактировать нейронные поля излучения (NeRFs) для выполнения задач по изменению формы. Несмотря на впечатляющие результаты в синтезе новых видов, редактирование формы сцены остается фундаментальной проблемой для NeRFs. Наше ключевое наблюдение заключается в использовании явного представления в виде облака точек как базовой структуры для построения NeRFs, вдохновленное интуитивной интерпретацией рендеринга NeRF как процесса проекции или "отображения" связанного 3D облака точек на 2D плоскость изображения. Для этого NeuralEditor вводит новую схему рендеринга, основанную на детерминированном интегрировании в вокселях с адаптивной плотностью, управляемых K-D деревом, что позволяет получать как высококачественные результаты рендеринга, так и точные облака точек через оптимизацию. NeuralEditor выполняет редактирование формы путем сопоставления связанных точек между облаками точек. Обширные оценки показывают, что NeuralEditor достигает передовых результатов как в задачах деформации формы, так и в морфинге сцен. Примечательно, что NeuralEditor поддерживает как инференс с нулевым обучением, так и дальнейшую тонкую настройку отредактированной сцены. Наш код, бенчмарк и демонстрационное видео доступны по адресу https://immortalco.github.io/NeuralEditor.

English

This paper proposes NeuralEditor that enables neural radiance fields (NeRFs) natively editable for general shape editing tasks. Despite their impressive results on novel-view synthesis, it remains a fundamental challenge for NeRFs to edit the shape of the scene. Our key insight is to exploit the explicit point cloud representation as the underlying structure to construct NeRFs, inspired by the intuitive interpretation of NeRF rendering as a process that projects or "plots" the associated 3D point cloud to a 2D image plane. To this end, NeuralEditor introduces a novel rendering scheme based on deterministic integration within K-D tree-guided density-adaptive voxels, which produces both high-quality rendering results and precise point clouds through optimization. NeuralEditor then performs shape editing via mapping associated points between point clouds. Extensive evaluation shows that NeuralEditor achieves state-of-the-art performance in both shape deformation and scene morphing tasks. Notably, NeuralEditor supports both zero-shot inference and further fine-tuning over the edited scene. Our code, benchmark, and demo video are available at https://immortalco.github.io/NeuralEditor.