Campi di Radianza Neurale Multi-Spazio

Multi-Space Neural Radiance Fields

May 7, 2023

Autori: Ze-Xin Yin, Jiaxiong Qiu, Ming-Ming Cheng, Bo Ren

cs.AI

Abstract

I metodi esistenti di Neural Radiance Fields (NeRF) soffrono della presenza di oggetti riflettenti, spesso risultando in rendering sfocati o distorti. Invece di calcolare un singolo campo di radianza, proponiamo un multi-space neural radiance field (MS-NeRF) che rappresenta la scena utilizzando un gruppo di campi di feature in sottospazi paralleli, il che porta a una migliore comprensione da parte della rete neurale della presenza di oggetti riflettenti e rifrangenti. Il nostro schema multi-space funziona come un miglioramento dei metodi NeRF esistenti, con solo piccoli sovraccarichi computazionali necessari per l'addestramento e l'inferenza degli output degli spazi aggiuntivi. Dimostriamo la superiorità e la compatibilità del nostro approccio utilizzando tre modelli rappresentativi basati su NeRF, ovvero NeRF, Mip-NeRF e Mip-NeRF 360. I confronti vengono effettuati su un dataset di nuova costruzione composto da 25 scene sintetiche e 7 scene reali catturate con riflessioni e rifrazioni complesse, tutte con punti di vista a 360 gradi. Esperimenti estensivi mostrano che il nostro approccio supera significativamente i metodi NeRF a spazio singolo esistenti per il rendering di scene di alta qualità che riguardano percorsi luminosi complessi attraverso oggetti simili a specchi. Il nostro codice e dataset saranno pubblicamente disponibili all'indirizzo https://zx-yin.github.io/msnerf.

English

Existing Neural Radiance Fields (NeRF) methods suffer from the existence of reflective objects, often resulting in blurry or distorted rendering. Instead of calculating a single radiance field, we propose a multi-space neural radiance field (MS-NeRF) that represents the scene using a group of feature fields in parallel sub-spaces, which leads to a better understanding of the neural network toward the existence of reflective and refractive objects. Our multi-space scheme works as an enhancement to existing NeRF methods, with only small computational overheads needed for training and inferring the extra-space outputs. We demonstrate the superiority and compatibility of our approach using three representative NeRF-based models, i.e., NeRF, Mip-NeRF, and Mip-NeRF 360. Comparisons are performed on a novelly constructed dataset consisting of 25 synthetic scenes and 7 real captured scenes with complex reflection and refraction, all having 360-degree viewpoints. Extensive experiments show that our approach significantly outperforms the existing single-space NeRF methods for rendering high-quality scenes concerned with complex light paths through mirror-like objects. Our code and dataset will be publicly available at https://zx-yin.github.io/msnerf.