ProNeRF: Обучение эффективной проекционно-ориентированной выборки лучей для детализированных неявных нейронных полей излучения

ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields

December 13, 2023

Авторы: Juan Luis Gonzalez Bello, Minh-Quan Viet Bui, Munchurl Kim

cs.AI

Аннотация

Последние достижения в области нейронного рендеринга показали, что, несмотря на низкую скорость, компактные неявные модели способны изучать геометрию сцены и зависящие от угла обзора характеристики на основе множества видов. Для сохранения малого объема памяти при одновременном ускорении времени вывода последние работы используют сети-«сэмплеры», которые адаптивно выбирают небольшое подмножество точек вдоль каждого луча в неявных нейронных полях излучения. Хотя эти методы позволяют сократить время рендеринга до 10 раз, они все же страдают от значительного ухудшения качества по сравнению с базовым NeRF. В отличие от них, мы предлагаем ProNeRF, который обеспечивает оптимальный баланс между объемом памяти (сопоставимым с NeRF), скоростью (выше, чем у HyperReel) и качеством (лучше, чем у K-Planes). ProNeRF оснащен новой сетью сэмплинга с учетом проекции (PAS) и новой стратегией обучения для исследования и использования лучей, что позволяет эффективно проводить детальный сэмплинг частиц. Наш ProNeRF демонстрирует наилучшие метрики, работая в 15–23 раза быстрее с увеличением PSNR на 0,65 дБ по сравнению с NeRF и превосходя лучший опубликованный метод на основе сэмплеров, HyperReel, на 0,95 дБ. Наша стратегия обучения, сочетающая исследование и использование, позволяет ProNeRF изучать полные распределения цвета и плотности сцен, одновременно обучаясь эффективному сэмплингу лучей, сосредоточенному на областях с наибольшей плотностью. Мы предоставляем обширные экспериментальные результаты, подтверждающие эффективность нашего метода на широко используемых наборах данных для фронтальных и 360-градусных сцен, LLFF и Blender соответственно.

English

Recent advances in neural rendering have shown that, albeit slow, implicit compact models can learn a scene's geometries and view-dependent appearances from multiple views. To maintain such a small memory footprint but achieve faster inference times, recent works have adopted `sampler' networks that adaptively sample a small subset of points along each ray in the implicit neural radiance fields. Although these methods achieve up to a 10times reduction in rendering time, they still suffer from considerable quality degradation compared to the vanilla NeRF. In contrast, we propose ProNeRF, which provides an optimal trade-off between memory footprint (similar to NeRF), speed (faster than HyperReel), and quality (better than K-Planes). ProNeRF is equipped with a novel projection-aware sampling (PAS) network together with a new training strategy for ray exploration and exploitation, allowing for efficient fine-grained particle sampling. Our ProNeRF yields state-of-the-art metrics, being 15-23x faster with 0.65dB higher PSNR than NeRF and yielding 0.95dB higher PSNR than the best published sampler-based method, HyperReel. Our exploration and exploitation training strategy allows ProNeRF to learn the full scenes' color and density distributions while also learning efficient ray sampling focused on the highest-density regions. We provide extensive experimental results that support the effectiveness of our method on the widely adopted forward-facing and 360 datasets, LLFF and Blender, respectively.