MonoPatchNeRF: パッチベースの単眼ガイダンスによるニューラルラジアンスフィールドの改善

MonoPatchNeRF: Improving Neural Radiance Fields with Patch-based Monocular Guidance

April 12, 2024

著者: Yuqun Wu, Jae Yong Lee, Chuhang Zou, Shenlong Wang, Derek Hoiem

cs.AI

要旨

最新の正則化されたNeural Radiance Field（NeRF）アプローチは、ETH3Dなどの多視点ステレオ（MVS）ベンチマークにおいて、不十分なジオメトリと視点外挿を生成する。本論文では、正確なジオメトリと視点合成を提供する3Dモデルを作成し、NeRFと従来のMVS手法の間の大きなジオメトリ性能ギャップを部分的に埋めることを目指す。我々は、単眼の表面法線と相対深度予測を効果的に活用するパッチベースのアプローチを提案する。パッチベースのレイサンプリングは、ランダムにサンプリングされた仮想視点と訓練視点間の正規化相互相関（NCC）および構造的類似性（SSIM）の外観正則化を可能にする。さらに、スパースなStructure-from-Motion（SfM）ポイントに基づく「密度制限」が、新規視点合成メトリクスのわずかな低下と引き換えに、ジオメトリ精度を大幅に向上させることを示す。我々の実験では、ETH3D MVSベンチマークにおける平均F1@2cmにおいて、RegNeRFの4倍、FreeNeRFの8倍の性能を示し、NeRFベースのモデルのジオメトリ精度を向上させるための有望な研究方向性を示唆し、NeRFベースの最適化が従来のMVSを最終的に凌駕する可能性のある将来のアプローチに光を当てる。

English

The latest regularized Neural Radiance Field (NeRF) approaches produce poor geometry and view extrapolation for multiview stereo (MVS) benchmarks such as ETH3D. In this paper, we aim to create 3D models that provide accurate geometry and view synthesis, partially closing the large geometric performance gap between NeRF and traditional MVS methods. We propose a patch-based approach that effectively leverages monocular surface normal and relative depth predictions. The patch-based ray sampling also enables the appearance regularization of normalized cross-correlation (NCC) and structural similarity (SSIM) between randomly sampled virtual and training views. We further show that "density restrictions" based on sparse structure-from-motion points can help greatly improve geometric accuracy with a slight drop in novel view synthesis metrics. Our experiments show 4x the performance of RegNeRF and 8x that of FreeNeRF on average F1@2cm for ETH3D MVS benchmark, suggesting a fruitful research direction to improve the geometric accuracy of NeRF-based models, and sheds light on a potential future approach to enable NeRF-based optimization to eventually outperform traditional MVS.