VR-NeRF: 高精細化された歩行可能な仮想空間

要旨

本論文では、ニューラルラジアンスフィールドを用いて、歩行可能な空間の高忠実度キャプチャ、モデル再構築、および仮想現実におけるリアルタイムレンダリングを実現するエンドツーエンドシステムを提案する。この目的のために、我々は高忠実度かつ多視点高ダイナミックレンジ（HDR）画像を前例のない品質と密度で密集的にキャプチャするための専用マルチカメラシステムを設計・構築した。インスタントニューラルグラフィックスプリミティブを拡張し、正確なHDR外観を学習するための新しい知覚色空間と、アンチエイリアシングを備えた詳細レベルレンダリングのための効率的なミップマッピング機構を導入し、品質と速度のトレードオフを慎重に最適化した。我々のマルチGPUレンダラーは、カスタムデモマシン上でデュアル2K×2KのフルVR解像度で36Hzの高忠実度ボリュームレンダリングを可能にする。我々の挑戦的な高忠実度データセットにおいて結果の品質を実証し、既存のベースラインと我々の手法およびデータセットを比較する。データセットはプロジェクトウェブサイトで公開する。

English

We present an end-to-end system for the high-fidelity capture, model reconstruction, and real-time rendering of walkable spaces in virtual reality using neural radiance fields. To this end, we designed and built a custom multi-camera rig to densely capture walkable spaces in high fidelity and with multi-view high dynamic range images in unprecedented quality and density. We extend instant neural graphics primitives with a novel perceptual color space for learning accurate HDR appearance, and an efficient mip-mapping mechanism for level-of-detail rendering with anti-aliasing, while carefully optimizing the trade-off between quality and speed. Our multi-GPU renderer enables high-fidelity volume rendering of our neural radiance field model at the full VR resolution of dual 2Ktimes2K at 36 Hz on our custom demo machine. We demonstrate the quality of our results on our challenging high-fidelity datasets, and compare our method and datasets to existing baselines. We release our dataset on our project website.

VR-NeRF: 高精細化された歩行可能な仮想空間

VR-NeRF: High-Fidelity Virtualized Walkable Spaces

要旨

Support