Многопространственные нейронные поля излучения

Multi-Space Neural Radiance Fields

May 7, 2023

Авторы: Ze-Xin Yin, Jiaxiong Qiu, Ming-Ming Cheng, Bo Ren

cs.AI

Аннотация

Существующие методы Neural Radiance Fields (NeRF) сталкиваются с проблемами при наличии отражающих объектов, что часто приводит к размытым или искажённым результатам рендеринга. Вместо вычисления единого поля излучения мы предлагаем мультипространственное нейронное поле излучения (MS-NeRF), которое представляет сцену с использованием группы полей признаков в параллельных подпространствах. Это позволяет нейронной сети лучше учитывать наличие отражающих и преломляющих объектов. Наша мультипространственная схема служит улучшением существующих методов NeRF, требуя лишь небольших дополнительных вычислительных затрат для обучения и вывода результатов в дополнительных пространствах. Мы демонстрируем превосходство и совместимость нашего подхода на трёх представительных моделях, основанных на NeRF: NeRF, Mip-NeRF и Mip-NeRF 360. Сравнения проводятся на новом наборе данных, состоящем из 25 синтетических сцен и 7 реально снятых сцен с сложными отражениями и преломлениями, все из которых имеют 360-градусные обзоры. Многочисленные эксперименты показывают, что наш подход значительно превосходит существующие методы NeRF с единым пространством при рендеринге высококачественных сцен, связанных со сложными световыми путями через зеркальные объекты. Наш код и набор данных будут доступны по адресу https://zx-yin.github.io/msnerf.

English

Existing Neural Radiance Fields (NeRF) methods suffer from the existence of reflective objects, often resulting in blurry or distorted rendering. Instead of calculating a single radiance field, we propose a multi-space neural radiance field (MS-NeRF) that represents the scene using a group of feature fields in parallel sub-spaces, which leads to a better understanding of the neural network toward the existence of reflective and refractive objects. Our multi-space scheme works as an enhancement to existing NeRF methods, with only small computational overheads needed for training and inferring the extra-space outputs. We demonstrate the superiority and compatibility of our approach using three representative NeRF-based models, i.e., NeRF, Mip-NeRF, and Mip-NeRF 360. Comparisons are performed on a novelly constructed dataset consisting of 25 synthetic scenes and 7 real captured scenes with complex reflection and refraction, all having 360-degree viewpoints. Extensive experiments show that our approach significantly outperforms the existing single-space NeRF methods for rendering high-quality scenes concerned with complex light paths through mirror-like objects. Our code and dataset will be publicly available at https://zx-yin.github.io/msnerf.