ProNeRF：細粒度の暗黙的ニューラルラジアンスフィールドのための効率的な投影対応レイサンプリングの学習

要旨

ニューラルレンダリングの最近の進展により、暗黙的なコンパクトモデルが、複数の視点からシーンの幾何学と視点依存の外観を学習できることが示されています。このような小さなメモリフットプリントを維持しつつ、より高速な推論時間を実現するために、最近の研究では、暗黙的なニューラルラジアンスフィールドにおいて、各光線に沿って少数の点を適応的にサンプリングする「サンプラー」ネットワークが採用されています。これらの手法はレンダリング時間を最大10倍削減しますが、従来のNeRFと比較して品質の大幅な低下が依然として見られます。これに対し、我々はProNeRFを提案します。ProNeRFは、メモリフットプリント（NeRFと同程度）、速度（HyperReelよりも高速）、品質（K-Planesよりも優れている）の間で最適なトレードオフを提供します。ProNeRFは、新しい投影認識サンプリング（PAS）ネットワークと、光線の探索と活用のための新しいトレーニング戦略を備えており、効率的な微細な粒子サンプリングを可能にします。我々のProNeRFは、NeRFよりも15～23倍高速で、PSNRが0.65dB高く、また、公開されている最良のサンプラーベースの手法であるHyperReelよりもPSNRが0.95dB高い、最先端のメトリクスを達成します。我々の探索と活用のトレーニング戦略により、ProNeRFはシーン全体の色と密度分布を学習すると同時に、最高密度領域に焦点を当てた効率的な光線サンプリングを学習します。広く採用されている前方視点および360度データセットであるLLFFとBlenderにおいて、我々の手法の有効性を支持する広範な実験結果を提供します。

English

Recent advances in neural rendering have shown that, albeit slow, implicit compact models can learn a scene's geometries and view-dependent appearances from multiple views. To maintain such a small memory footprint but achieve faster inference times, recent works have adopted `sampler' networks that adaptively sample a small subset of points along each ray in the implicit neural radiance fields. Although these methods achieve up to a 10times reduction in rendering time, they still suffer from considerable quality degradation compared to the vanilla NeRF. In contrast, we propose ProNeRF, which provides an optimal trade-off between memory footprint (similar to NeRF), speed (faster than HyperReel), and quality (better than K-Planes). ProNeRF is equipped with a novel projection-aware sampling (PAS) network together with a new training strategy for ray exploration and exploitation, allowing for efficient fine-grained particle sampling. Our ProNeRF yields state-of-the-art metrics, being 15-23x faster with 0.65dB higher PSNR than NeRF and yielding 0.95dB higher PSNR than the best published sampler-based method, HyperReel. Our exploration and exploitation training strategy allows ProNeRF to learn the full scenes' color and density distributions while also learning efficient ray sampling focused on the highest-density regions. We provide extensive experimental results that support the effectiveness of our method on the widely adopted forward-facing and 360 datasets, LLFF and Blender, respectively.

ProNeRF：細粒度の暗黙的ニューラルラジアンスフィールドのための効率的な投影対応レイサンプリングの学習

ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields

要旨

Support