PyNeRF: Пирамидальные нейронные поля излучения

PyNeRF: Pyramidal Neural Radiance Fields

November 30, 2023

Авторы: Haithem Turki, Michael Zollhöfer, Christian Richardt, Deva Ramanan

cs.AI

Аннотация

Нейронные поля излучения (NeRF) могут быть значительно ускорены с использованием пространственных сеточных представлений. Однако они не учитывают явно масштаб, что приводит к появлению артефактов сглаживания при реконструкции сцен, снятых с разных расстояний камеры. Mip-NeRF и его расширения предлагают рендереры, учитывающие масштаб, которые проецируют объемные усеченные пирамиды вместо точечных выборок, но такие подходы опираются на позиционные кодировки, которые несовместимы с сетевыми методами. Мы предлагаем простое изменение для сеточных моделей, заключающееся в обучении голов моделей на разных разрешениях пространственной сетки. Во время рендеринга мы просто используем более грубые сетки для рендеринга выборок, покрывающих большие объемы. Наш метод может быть легко применен к существующим ускоренным методам NeRF и значительно улучшает качество рендеринга (снижая уровень ошибок на 20-90% для синтетических и неограниченных реальных сцен) при минимальных накладных расходах на производительность (поскольку каждая головка модели быстро вычисляется). По сравнению с Mip-NeRF, мы снижаем уровень ошибок на 20%, при этом обучение происходит более чем в 60 раз быстрее.

English

Neural Radiance Fields (NeRFs) can be dramatically accelerated by spatial grid representations. However, they do not explicitly reason about scale and so introduce aliasing artifacts when reconstructing scenes captured at different camera distances. Mip-NeRF and its extensions propose scale-aware renderers that project volumetric frustums rather than point samples but such approaches rely on positional encodings that are not readily compatible with grid methods. We propose a simple modification to grid-based models by training model heads at different spatial grid resolutions. At render time, we simply use coarser grids to render samples that cover larger volumes. Our method can be easily applied to existing accelerated NeRF methods and significantly improves rendering quality (reducing error rates by 20-90% across synthetic and unbounded real-world scenes) while incurring minimal performance overhead (as each model head is quick to evaluate). Compared to Mip-NeRF, we reduce error rates by 20% while training over 60x faster.