ProNeRF: Aprendendo Amostragem Eficiente de Raios com Consciência de Projeção para Campos de Radiação Neural Implícita de Alta Granularidade

ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields

December 13, 2023

Autores: Juan Luis Gonzalez Bello, Minh-Quan Viet Bui, Munchurl Kim

cs.AI

Resumo

Avanços recentes em renderização neural demonstraram que, embora lentos, modelos compactos implícitos podem aprender as geometrias de uma cena e aparências dependentes da visão a partir de múltiplas perspectivas. Para manter uma pegada de memória tão pequena, mas alcançar tempos de inferência mais rápidos, trabalhos recentes adotaram redes `sampler` que amostram de forma adaptativa um pequeno subconjunto de pontos ao longo de cada raio nos campos de radiação neural implícitos. Embora esses métodos alcancem uma redução de até 10 vezes no tempo de renderização, eles ainda sofrem com uma degradação considerável de qualidade em comparação com o NeRF tradicional. Em contraste, propomos o ProNeRF, que oferece um equilíbrio ideal entre pegada de memória (semelhante ao NeRF), velocidade (mais rápido que o HyperReel) e qualidade (melhor que o K-Planes). O ProNeRF é equipado com uma nova rede de amostragem consciente da projeção (PAS) juntamente com uma nova estratégia de treinamento para exploração e exploração de raios, permitindo uma amostragem eficiente de partículas em nível fino. Nosso ProNeRF produz métricas de última geração, sendo 15-23 vezes mais rápido com um PSNR 0,65 dB maior que o NeRF e gerando um PSNR 0,95 dB maior que o melhor método baseado em sampler publicado, o HyperReel. Nossa estratégia de treinamento de exploração e exploração permite que o ProNeRF aprenda as distribuições completas de cor e densidade das cenas, ao mesmo tempo em que aprende uma amostragem eficiente de raios focada nas regiões de maior densidade. Fornecemos resultados experimentais extensos que apoiam a eficácia do nosso método nos amplamente adotados conjuntos de dados de visão frontal e 360, LLFF e Blender, respectivamente.

English

Recent advances in neural rendering have shown that, albeit slow, implicit compact models can learn a scene's geometries and view-dependent appearances from multiple views. To maintain such a small memory footprint but achieve faster inference times, recent works have adopted `sampler' networks that adaptively sample a small subset of points along each ray in the implicit neural radiance fields. Although these methods achieve up to a 10times reduction in rendering time, they still suffer from considerable quality degradation compared to the vanilla NeRF. In contrast, we propose ProNeRF, which provides an optimal trade-off between memory footprint (similar to NeRF), speed (faster than HyperReel), and quality (better than K-Planes). ProNeRF is equipped with a novel projection-aware sampling (PAS) network together with a new training strategy for ray exploration and exploitation, allowing for efficient fine-grained particle sampling. Our ProNeRF yields state-of-the-art metrics, being 15-23x faster with 0.65dB higher PSNR than NeRF and yielding 0.95dB higher PSNR than the best published sampler-based method, HyperReel. Our exploration and exploitation training strategy allows ProNeRF to learn the full scenes' color and density distributions while also learning efficient ray sampling focused on the highest-density regions. We provide extensive experimental results that support the effectiveness of our method on the widely adopted forward-facing and 360 datasets, LLFF and Blender, respectively.