ProNeRF: Aprendizaje de muestreo eficiente de rayos con conciencia de proyección para campos de radiancia neural implícitos de grano fino

Resumen

Los avances recientes en renderizado neuronal han demostrado que, aunque lentos, los modelos compactos implícitos pueden aprender las geometrías de una escena y las apariencias dependientes de la vista a partir de múltiples perspectivas. Para mantener una huella de memoria tan pequeña pero lograr tiempos de inferencia más rápidos, trabajos recientes han adoptado redes `sampler' que muestrean de manera adaptativa un subconjunto pequeño de puntos a lo largo de cada rayo en los campos de radiancia neural implícitos. Aunque estos métodos logran una reducción de hasta 10 veces en el tiempo de renderizado, todavía sufren una degradación considerable en la calidad en comparación con el NeRF convencional. En contraste, proponemos ProNeRF, que ofrece un equilibrio óptimo entre huella de memoria (similar a NeRF), velocidad (más rápido que HyperReel) y calidad (mejor que K-Planes). ProNeRF está equipado con una novedosa red de muestreo consciente de la proyección (PAS, por sus siglas en inglés) junto con una nueva estrategia de entrenamiento para la exploración y explotación de rayos, permitiendo un muestreo eficiente de partículas a nivel fino. Nuestro ProNeRF obtiene métricas de vanguardia, siendo 15-23 veces más rápido con un PSNR 0.65 dB más alto que NeRF y logrando un PSNR 0.95 dB más alto que el mejor método basado en sampler publicado, HyperReel. Nuestra estrategia de entrenamiento de exploración y explotación permite a ProNeRF aprender las distribuciones de color y densidad de las escenas completas, mientras también aprende un muestreo eficiente de rayos enfocado en las regiones de mayor densidad. Proporcionamos resultados experimentales extensos que respaldan la efectividad de nuestro método en los conjuntos de datos ampliamente adoptados de vistas frontales y 360 grados, LLFF y Blender, respectivamente.

English

Recent advances in neural rendering have shown that, albeit slow, implicit compact models can learn a scene's geometries and view-dependent appearances from multiple views. To maintain such a small memory footprint but achieve faster inference times, recent works have adopted `sampler' networks that adaptively sample a small subset of points along each ray in the implicit neural radiance fields. Although these methods achieve up to a 10times reduction in rendering time, they still suffer from considerable quality degradation compared to the vanilla NeRF. In contrast, we propose ProNeRF, which provides an optimal trade-off between memory footprint (similar to NeRF), speed (faster than HyperReel), and quality (better than K-Planes). ProNeRF is equipped with a novel projection-aware sampling (PAS) network together with a new training strategy for ray exploration and exploitation, allowing for efficient fine-grained particle sampling. Our ProNeRF yields state-of-the-art metrics, being 15-23x faster with 0.65dB higher PSNR than NeRF and yielding 0.95dB higher PSNR than the best published sampler-based method, HyperReel. Our exploration and exploitation training strategy allows ProNeRF to learn the full scenes' color and density distributions while also learning efficient ray sampling focused on the highest-density regions. We provide extensive experimental results that support the effectiveness of our method on the widely adopted forward-facing and 360 datasets, LLFF and Blender, respectively.

ProNeRF: Aprendizaje de muestreo eficiente de rayos con conciencia de proyección para campos de radiancia neural implícitos de grano fino

ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields

Resumen

Support