PyNeRF: Campos de Radiação Neural Piramidais

PyNeRF: Pyramidal Neural Radiance Fields

November 30, 2023

Autores: Haithem Turki, Michael Zollhöfer, Christian Richardt, Deva Ramanan

cs.AI

Resumo

Campos de Radiação Neural (NeRFs) podem ser dramaticamente acelerados por representações de grade espacial. No entanto, eles não consideram explicitamente a escala e, portanto, introduzem artefatos de aliasing ao reconstruir cenas capturadas em diferentes distâncias da câmera. Mip-NeRF e suas extensões propõem renderizadores conscientes da escala que projetam frustums volumétricos em vez de amostras pontuais, mas tais abordagens dependem de codificações posicionais que não são facilmente compatíveis com métodos de grade. Propomos uma modificação simples aos modelos baseados em grade, treinando cabeças de modelo em diferentes resoluções de grade espacial. No momento da renderização, simplesmente usamos grades mais grossas para renderizar amostras que cobrem volumes maiores. Nosso método pode ser facilmente aplicado a métodos NeRF acelerados existentes e melhora significativamente a qualidade de renderização (reduzindo taxas de erro em 20-90% em cenas sintéticas e do mundo real sem limites) enquanto incorre em uma sobrecarga de desempenho mínima (já que cada cabeça de modelo é rápida de avaliar). Em comparação com o Mip-NeRF, reduzimos as taxas de erro em 20% enquanto treinamos mais de 60 vezes mais rápido.

English

Neural Radiance Fields (NeRFs) can be dramatically accelerated by spatial grid representations. However, they do not explicitly reason about scale and so introduce aliasing artifacts when reconstructing scenes captured at different camera distances. Mip-NeRF and its extensions propose scale-aware renderers that project volumetric frustums rather than point samples but such approaches rely on positional encodings that are not readily compatible with grid methods. We propose a simple modification to grid-based models by training model heads at different spatial grid resolutions. At render time, we simply use coarser grids to render samples that cover larger volumes. Our method can be easily applied to existing accelerated NeRF methods and significantly improves rendering quality (reducing error rates by 20-90% across synthetic and unbounded real-world scenes) while incurring minimal performance overhead (as each model head is quick to evaluate). Compared to Mip-NeRF, we reduce error rates by 20% while training over 60x faster.