MonoPatchNeRF: Mejorando Campos de Radiancia Neural con Guía Monocular Basada en Parches

MonoPatchNeRF: Improving Neural Radiance Fields with Patch-based Monocular Guidance

April 12, 2024

Autores: Yuqun Wu, Jae Yong Lee, Chuhang Zou, Shenlong Wang, Derek Hoiem

cs.AI

Resumen

Los últimos enfoques regularizados de Neural Radiance Field (NeRF) producen geometrías deficientes y extrapolaciones de vista en benchmarks de estereoscopía multivista (MVS) como ETH3D. En este artículo, nuestro objetivo es crear modelos 3D que proporcionen geometría precisa y síntesis de vistas, reduciendo parcialmente la gran brecha de rendimiento geométrico entre NeRF y los métodos tradicionales de MVS. Proponemos un enfoque basado en parches que aprovecha eficazmente las predicciones monoscópicas de normales de superficie y profundidad relativa. El muestreo de rayos basado en parches también permite la regularización de la apariencia mediante la correlación cruzada normalizada (NCC) y la similitud estructural (SSIM) entre vistas virtuales y de entrenamiento muestreadas aleatoriamente. Además, demostramos que las "restricciones de densidad" basadas en puntos escasos de estructura a partir de movimiento pueden mejorar significativamente la precisión geométrica con una ligera disminución en las métricas de síntesis de vistas novedosas. Nuestros experimentos muestran un rendimiento 4 veces superior al de RegNeRF y 8 veces al de FreeNeRF en la métrica promedio F1@2cm para el benchmark ETH3D MVS, lo que sugiere una dirección de investigación prometedora para mejorar la precisión geométrica de los modelos basados en NeRF, y arroja luz sobre un enfoque futuro potencial que permita que la optimización basada en NeRF supere eventualmente a los métodos tradicionales de MVS.

English

The latest regularized Neural Radiance Field (NeRF) approaches produce poor geometry and view extrapolation for multiview stereo (MVS) benchmarks such as ETH3D. In this paper, we aim to create 3D models that provide accurate geometry and view synthesis, partially closing the large geometric performance gap between NeRF and traditional MVS methods. We propose a patch-based approach that effectively leverages monocular surface normal and relative depth predictions. The patch-based ray sampling also enables the appearance regularization of normalized cross-correlation (NCC) and structural similarity (SSIM) between randomly sampled virtual and training views. We further show that "density restrictions" based on sparse structure-from-motion points can help greatly improve geometric accuracy with a slight drop in novel view synthesis metrics. Our experiments show 4x the performance of RegNeRF and 8x that of FreeNeRF on average F1@2cm for ETH3D MVS benchmark, suggesting a fruitful research direction to improve the geometric accuracy of NeRF-based models, and sheds light on a potential future approach to enable NeRF-based optimization to eventually outperform traditional MVS.