PyNeRF: ピラミッド型ニューラルラジアンスフィールド

要旨

ニューラルラジアンスフィールド（NeRF）は、空間グリッド表現を用いることで大幅に高速化できます。しかし、NeRFはスケールを明示的に考慮しないため、異なるカメラ距離で撮影されたシーンを再構築する際にエイリアシングアーティファクトが生じます。Mip-NeRFとその拡張版は、点サンプルではなく体積フラスタムを投影するスケールを考慮したレンダラーを提案していますが、このようなアプローチはグリッド手法と容易に互換性のない位置エンコーディングに依存しています。本研究では、異なる空間グリッド解像度でモデルヘッドを訓練するという、グリッドベースモデルに対するシンプルな修正を提案します。レンダリング時には、より粗いグリッドを使用して大きな体積をカバーするサンプルをレンダリングします。この手法は既存の高速化されたNeRF手法に容易に適用可能であり、パフォーマンスのオーバーヘッドを最小限に抑えつつ（各モデルヘッドの評価が迅速であるため）、レンダリング品質を大幅に向上させます（合成シーンおよび無制限の実世界シーン全体でエラーレートを20～90％削減）。Mip-NeRFと比較して、エラーレートを20％削減しつつ、60倍以上高速に訓練できます。

English

Neural Radiance Fields (NeRFs) can be dramatically accelerated by spatial grid representations. However, they do not explicitly reason about scale and so introduce aliasing artifacts when reconstructing scenes captured at different camera distances. Mip-NeRF and its extensions propose scale-aware renderers that project volumetric frustums rather than point samples but such approaches rely on positional encodings that are not readily compatible with grid methods. We propose a simple modification to grid-based models by training model heads at different spatial grid resolutions. At render time, we simply use coarser grids to render samples that cover larger volumes. Our method can be easily applied to existing accelerated NeRF methods and significantly improves rendering quality (reducing error rates by 20-90% across synthetic and unbounded real-world scenes) while incurring minimal performance overhead (as each model head is quick to evaluate). Compared to Mip-NeRF, we reduce error rates by 20% while training over 60x faster.

PyNeRF: ピラミッド型ニューラルラジアンスフィールド

PyNeRF: Pyramidal Neural Radiance Fields

要旨

Support