Champs de Radiance Neuronaux Multi-Espaces

Multi-Space Neural Radiance Fields

May 7, 2023

Auteurs: Ze-Xin Yin, Jiaxiong Qiu, Ming-Ming Cheng, Bo Ren

cs.AI

Résumé

Les méthodes existantes de Neural Radiance Fields (NeRF) rencontrent des difficultés face à la présence d'objets réfléchissants, ce qui entraîne souvent des rendus flous ou déformés. Plutôt que de calculer un seul champ de radiance, nous proposons un champ de radiance neuronal multi-espaces (MS-NeRF) qui représente la scène à l'aide d'un groupe de champs de caractéristiques dans des sous-espaces parallèles, permettant ainsi une meilleure compréhension par le réseau neuronal de la présence d'objets réfléchissants et réfractifs. Notre schéma multi-espaces fonctionne comme une amélioration des méthodes NeRF existantes, nécessitant seulement une faible surcharge computationnelle pour l'entraînement et l'inférence des sorties supplémentaires. Nous démontrons la supériorité et la compatibilité de notre approche en utilisant trois modèles représentatifs basés sur NeRF, à savoir NeRF, Mip-NeRF et Mip-NeRF 360. Les comparaisons sont effectuées sur un nouvel ensemble de données composé de 25 scènes synthétiques et 7 scènes réelles capturées avec des réflexions et réfractions complexes, toutes ayant des points de vue à 360 degrés. Des expériences approfondies montrent que notre approche surpasse significativement les méthodes NeRF mono-espace existantes pour le rendu de scènes de haute qualité impliquant des chemins lumineux complexes à travers des objets de type miroir. Notre code et notre ensemble de données seront disponibles publiquement à l'adresse https://zx-yin.github.io/msnerf.

English

Existing Neural Radiance Fields (NeRF) methods suffer from the existence of reflective objects, often resulting in blurry or distorted rendering. Instead of calculating a single radiance field, we propose a multi-space neural radiance field (MS-NeRF) that represents the scene using a group of feature fields in parallel sub-spaces, which leads to a better understanding of the neural network toward the existence of reflective and refractive objects. Our multi-space scheme works as an enhancement to existing NeRF methods, with only small computational overheads needed for training and inferring the extra-space outputs. We demonstrate the superiority and compatibility of our approach using three representative NeRF-based models, i.e., NeRF, Mip-NeRF, and Mip-NeRF 360. Comparisons are performed on a novelly constructed dataset consisting of 25 synthetic scenes and 7 real captured scenes with complex reflection and refraction, all having 360-degree viewpoints. Extensive experiments show that our approach significantly outperforms the existing single-space NeRF methods for rendering high-quality scenes concerned with complex light paths through mirror-like objects. Our code and dataset will be publicly available at https://zx-yin.github.io/msnerf.