マルチスペース・ニューラル・ラジアンス・フィールド

要旨

既存のNeural Radiance Fields（NeRF）手法は、反射物体の存在によってぼやけたまたは歪んだレンダリングが生じるという課題を抱えています。単一の放射場を計算する代わりに、我々は並列部分空間における特徴場のグループを用いてシーンを表現するマルチスペースニューラル放射場（MS-NeRF）を提案します。これにより、ニューラルネットワークが反射物体や屈折物体の存在をより良く理解できるようになります。我々のマルチスペーススキームは、既存のNeRF手法を強化するものであり、追加の空間出力を訓練および推論するために必要な計算オーバーヘッドはわずかです。我々は、NeRF、Mip-NeRF、Mip-NeRF 360という3つの代表的なNeRFベースのモデルを用いて、本手法の優位性と互換性を実証します。比較は、25の合成シーンと7の実写シーンからなる新たに構築されたデータセット上で行われ、いずれも複雑な反射と屈折を伴い、360度の視点を有しています。広範な実験により、本手法が鏡のような物体を通る複雑な光路に関して高品質なシーンをレンダリングする際に、既存の単一空間NeRF手法を大幅に上回ることが示されました。我々のコードとデータセットはhttps://zx-yin.github.io/msnerfで公開されます。

English

Existing Neural Radiance Fields (NeRF) methods suffer from the existence of reflective objects, often resulting in blurry or distorted rendering. Instead of calculating a single radiance field, we propose a multi-space neural radiance field (MS-NeRF) that represents the scene using a group of feature fields in parallel sub-spaces, which leads to a better understanding of the neural network toward the existence of reflective and refractive objects. Our multi-space scheme works as an enhancement to existing NeRF methods, with only small computational overheads needed for training and inferring the extra-space outputs. We demonstrate the superiority and compatibility of our approach using three representative NeRF-based models, i.e., NeRF, Mip-NeRF, and Mip-NeRF 360. Comparisons are performed on a novelly constructed dataset consisting of 25 synthetic scenes and 7 real captured scenes with complex reflection and refraction, all having 360-degree viewpoints. Extensive experiments show that our approach significantly outperforms the existing single-space NeRF methods for rendering high-quality scenes concerned with complex light paths through mirror-like objects. Our code and dataset will be publicly available at https://zx-yin.github.io/msnerf.

マルチスペース・ニューラル・ラジアンス・フィールド

Multi-Space Neural Radiance Fields

要旨

Support