MonoPatchNeRF: 패치 기반 단안 안내를 통한 신경 방사장(Neural Radiance Fields) 개선

MonoPatchNeRF: Improving Neural Radiance Fields with Patch-based Monocular Guidance

April 12, 2024

저자: Yuqun Wu, Jae Yong Lee, Chuhang Zou, Shenlong Wang, Derek Hoiem

cs.AI

초록

최신 정규화된 신경 방사장(NeRF) 접근법은 ETH3D와 같은 다중 뷰 스테레오(MVS) 벤치마크에서 부정확한 기하학적 구조와 뷰 외삽 결과를 생성합니다. 본 논문에서는 정확한 기하학적 구조와 뷰 합성을 제공하는 3D 모델을 생성하여 NeRF와 전통적인 MVS 방법 간의 큰 기하학적 성능 격차를 부분적으로 해소하고자 합니다. 우리는 단안(monocular) 표면 법선 및 상대 깊이 예측을 효과적으로 활용하는 패치 기반 접근법을 제안합니다. 패치 기반 광선 샘플링은 또한 무작위로 샘플링된 가상 뷰와 학습 뷰 간의 정규화된 상호 상관관계(NCC)와 구조적 유사성(SSIM)의 외관 정규화를 가능하게 합니다. 더 나아가, 희소 구조 from motion 포인트 기반의 "밀도 제한"이 새로운 뷰 합성 지표의 약간의 하락과 함께 기하학적 정확도를 크게 향상시킬 수 있음을 보여줍니다. 우리의 실험 결과는 ETH3D MVS 벤치마크에서 평균 F1@2cm 기준으로 RegNeRF의 4배, FreeNeRF의 8배 성능을 보여주며, 이는 NeRF 기반 모델의 기하학적 정확도를 개선하기 위한 유망한 연구 방향을 제시하고, NeRF 기반 최적화가 결국 전통적인 MVS를 능가할 수 있는 잠재적인 미래 접근법에 대한 통찰을 제공합니다.

English

The latest regularized Neural Radiance Field (NeRF) approaches produce poor geometry and view extrapolation for multiview stereo (MVS) benchmarks such as ETH3D. In this paper, we aim to create 3D models that provide accurate geometry and view synthesis, partially closing the large geometric performance gap between NeRF and traditional MVS methods. We propose a patch-based approach that effectively leverages monocular surface normal and relative depth predictions. The patch-based ray sampling also enables the appearance regularization of normalized cross-correlation (NCC) and structural similarity (SSIM) between randomly sampled virtual and training views. We further show that "density restrictions" based on sparse structure-from-motion points can help greatly improve geometric accuracy with a slight drop in novel view synthesis metrics. Our experiments show 4x the performance of RegNeRF and 8x that of FreeNeRF on average F1@2cm for ETH3D MVS benchmark, suggesting a fruitful research direction to improve the geometric accuracy of NeRF-based models, and sheds light on a potential future approach to enable NeRF-based optimization to eventually outperform traditional MVS.