Campos de Radiación Neural Multi-Espacio

Multi-Space Neural Radiance Fields

May 7, 2023

Autores: Ze-Xin Yin, Jiaxiong Qiu, Ming-Ming Cheng, Bo Ren

cs.AI

Resumen

Los métodos existentes de Campos de Radiancia Neural (NeRF) presentan dificultades con la presencia de objetos reflectantes, lo que a menudo resulta en renderizados borrosos o distorsionados. En lugar de calcular un único campo de radiancia, proponemos un campo de radiancia neural multi-espacio (MS-NeRF) que representa la escena utilizando un grupo de campos de características en sub-espacios paralelos, lo que permite una mejor comprensión por parte de la red neuronal de la presencia de objetos reflectantes y refractantes. Nuestro esquema multi-espacio funciona como una mejora a los métodos NeRF existentes, requiriendo solo un pequeño sobrecosto computacional para entrenar e inferir las salidas de los espacios adicionales. Demostramos la superioridad y compatibilidad de nuestro enfoque utilizando tres modelos representativos basados en NeRF, es decir, NeRF, Mip-NeRF y Mip-NeRF 360. Las comparaciones se realizan en un conjunto de datos recientemente construido que consta de 25 escenas sintéticas y 7 escenas reales capturadas con reflexiones y refracciones complejas, todas con puntos de vista de 360 grados. Experimentos extensivos muestran que nuestro enfoque supera significativamente a los métodos NeRF de un solo espacio existentes para renderizar escenas de alta calidad que involucran trayectorias de luz complejas a través de objetos similares a espejos. Nuestro código y conjunto de datos estarán disponibles públicamente en https://zx-yin.github.io/msnerf.

English

Existing Neural Radiance Fields (NeRF) methods suffer from the existence of reflective objects, often resulting in blurry or distorted rendering. Instead of calculating a single radiance field, we propose a multi-space neural radiance field (MS-NeRF) that represents the scene using a group of feature fields in parallel sub-spaces, which leads to a better understanding of the neural network toward the existence of reflective and refractive objects. Our multi-space scheme works as an enhancement to existing NeRF methods, with only small computational overheads needed for training and inferring the extra-space outputs. We demonstrate the superiority and compatibility of our approach using three representative NeRF-based models, i.e., NeRF, Mip-NeRF, and Mip-NeRF 360. Comparisons are performed on a novelly constructed dataset consisting of 25 synthetic scenes and 7 real captured scenes with complex reflection and refraction, all having 360-degree viewpoints. Extensive experiments show that our approach significantly outperforms the existing single-space NeRF methods for rendering high-quality scenes concerned with complex light paths through mirror-like objects. Our code and dataset will be publicly available at https://zx-yin.github.io/msnerf.