ProNeRF: 세밀한 암시적 신경 방사 필드를 위한 효율적인 투영 인식 광선 샘플링 학습

초록

최근 신경 렌더링(neural rendering) 분야의 발전은, 비록 속도가 느리긴 하지만, 암묵적(implicit) 컴팩트 모델이 다중 뷰(multiple views)로부터 장면의 기하학적 구조와 시점에 따라 달라지는 외관을 학습할 수 있음을 보여주었습니다. 이러한 작은 메모리 사용량을 유지하면서도 더 빠른 추론 시간을 달성하기 위해, 최근 연구들은 암묵적 신경 방사 필드(implicit neural radiance fields)에서 각 광선(ray)을 따라 작은 점들의 부분집합을 적응적으로 샘플링하는 '샘플러(sampler)' 네트워크를 도입했습니다. 이러한 방법들은 렌더링 시간을 최대 10배까지 단축할 수 있지만, 여전히 기본 NeRF와 비교하여 상당한 품질 저하를 겪고 있습니다. 이에 반해, 우리는 ProNeRF를 제안합니다. ProNeRF는 메모리 사용량(NeRF와 유사), 속도(HyperReel보다 빠름), 품질(K-Planes보다 우수) 간의 최적의 균형을 제공합니다. ProNeRF는 새로운 투영 인식 샘플링(projection-aware sampling, PAS) 네트워크와 광선 탐색 및 활용을 위한 새로운 학습 전략을 갖추고 있어, 효율적인 미세 입자 샘플링이 가능합니다. 우리의 ProNeRF는 최신 기술 수준의 성능 지표를 보여주며, NeRF보다 15-23배 빠르고 PSNR이 0.65dB 더 높으며, 최고의 샘플러 기반 방법인 HyperReel보다 PSNR이 0.95dB 더 높습니다. 우리의 탐색 및 활용 학습 전략은 ProNeRF가 전체 장면의 색상과 밀도 분포를 학습하는 동시에 가장 높은 밀도 영역에 초점을 맞춘 효율적인 광선 샘플링을 학습할 수 있게 합니다. 우리는 널리 사용되는 전방향(forward-facing) 및 360도 데이터셋인 LLFF와 Blender에서 우리 방법의 효과를 입증하는 광범위한 실험 결과를 제공합니다.

English

Recent advances in neural rendering have shown that, albeit slow, implicit compact models can learn a scene's geometries and view-dependent appearances from multiple views. To maintain such a small memory footprint but achieve faster inference times, recent works have adopted `sampler' networks that adaptively sample a small subset of points along each ray in the implicit neural radiance fields. Although these methods achieve up to a 10times reduction in rendering time, they still suffer from considerable quality degradation compared to the vanilla NeRF. In contrast, we propose ProNeRF, which provides an optimal trade-off between memory footprint (similar to NeRF), speed (faster than HyperReel), and quality (better than K-Planes). ProNeRF is equipped with a novel projection-aware sampling (PAS) network together with a new training strategy for ray exploration and exploitation, allowing for efficient fine-grained particle sampling. Our ProNeRF yields state-of-the-art metrics, being 15-23x faster with 0.65dB higher PSNR than NeRF and yielding 0.95dB higher PSNR than the best published sampler-based method, HyperReel. Our exploration and exploitation training strategy allows ProNeRF to learn the full scenes' color and density distributions while also learning efficient ray sampling focused on the highest-density regions. We provide extensive experimental results that support the effectiveness of our method on the widely adopted forward-facing and 360 datasets, LLFF and Blender, respectively.

ProNeRF: 세밀한 암시적 신경 방사 필드를 위한 효율적인 투영 인식 광선 샘플링 학습

ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields

초록

Support