Multi-Space Neuronale Strahlungsfelder

Multi-Space Neural Radiance Fields

May 7, 2023

Autoren: Ze-Xin Yin, Jiaxiong Qiu, Ming-Ming Cheng, Bo Ren

cs.AI

Zusammenfassung

Bestehende Neural Radiance Fields (NeRF)-Methoden leiden unter der Existenz reflektierender Objekte, was oft zu unscharfen oder verzerrten Darstellungen führt. Anstatt ein einzelnes Radiance Field zu berechnen, schlagen wir ein multi-space neural radiance field (MS-NeRF) vor, das die Szene mithilfe einer Gruppe von Feature-Feldern in parallelen Unterräumen darstellt. Dies führt zu einem besseren Verständnis des neuronalen Netzwerks hinsichtlich der Existenz reflektierender und brechender Objekte. Unser Multi-Space-Schema dient als Erweiterung bestehender NeRF-Methoden und erfordert nur geringen Rechenaufwand für das Training und die Inferenz der zusätzlichen Raumausgaben. Wir demonstrieren die Überlegenheit und Kompatibilität unseres Ansatzes anhand von drei repräsentativen NeRF-basierten Modellen, nämlich NeRF, Mip-NeRF und Mip-NeRF 360. Vergleiche werden auf einem neu erstellten Datensatz durchgeführt, der aus 25 synthetischen Szenen und 7 real aufgenommenen Szenen mit komplexen Reflexionen und Brechungen besteht, die alle 360-Grad-Ansichten bieten. Umfangreiche Experimente zeigen, dass unser Ansatz die bestehenden Single-Space-NeRF-Methoden bei der Darstellung hochwertiger Szenen mit komplexen Lichtpfaden durch spiegelähnliche Objekte deutlich übertrifft. Unser Code und der Datensatz werden unter https://zx-yin.github.io/msnerf öffentlich verfügbar sein.

English

Existing Neural Radiance Fields (NeRF) methods suffer from the existence of reflective objects, often resulting in blurry or distorted rendering. Instead of calculating a single radiance field, we propose a multi-space neural radiance field (MS-NeRF) that represents the scene using a group of feature fields in parallel sub-spaces, which leads to a better understanding of the neural network toward the existence of reflective and refractive objects. Our multi-space scheme works as an enhancement to existing NeRF methods, with only small computational overheads needed for training and inferring the extra-space outputs. We demonstrate the superiority and compatibility of our approach using three representative NeRF-based models, i.e., NeRF, Mip-NeRF, and Mip-NeRF 360. Comparisons are performed on a novelly constructed dataset consisting of 25 synthetic scenes and 7 real captured scenes with complex reflection and refraction, all having 360-degree viewpoints. Extensive experiments show that our approach significantly outperforms the existing single-space NeRF methods for rendering high-quality scenes concerned with complex light paths through mirror-like objects. Our code and dataset will be publicly available at https://zx-yin.github.io/msnerf.