PyNeRF: Campos de Radiancia Neural Piramidales

PyNeRF: Pyramidal Neural Radiance Fields

November 30, 2023

Autores: Haithem Turki, Michael Zollhöfer, Christian Richardt, Deva Ramanan

cs.AI

Resumen

Los Campos de Radiancia Neural (NeRFs) pueden acelerarse drásticamente mediante representaciones de mallas espaciales. Sin embargo, estos no razonan explícitamente sobre la escala, lo que introduce artefactos de aliasing al reconstruir escenas capturadas a diferentes distancias de cámara. Mip-NeRF y sus extensiones proponen renderizadores conscientes de la escala que proyectan frustums volumétricos en lugar de muestras puntuales, pero tales enfoques dependen de codificaciones posicionales que no son fácilmente compatibles con métodos basados en mallas. Proponemos una modificación simple a los modelos basados en mallas entrenando cabezas de modelo a diferentes resoluciones de malla espacial. Al renderizar, simplemente usamos mallas más gruesas para renderizar muestras que cubren volúmenes más grandes. Nuestro método puede aplicarse fácilmente a los métodos NeRF acelerados existentes y mejora significativamente la calidad de renderizado (reduciendo las tasas de error entre un 20-90% en escenas sintéticas y del mundo real sin límites) mientras incurre en un sobrecosto de rendimiento mínimo (ya que cada cabeza de modelo es rápida de evaluar). En comparación con Mip-NeRF, reducimos las tasas de error en un 20% mientras entrenamos más de 60 veces más rápido.

English

Neural Radiance Fields (NeRFs) can be dramatically accelerated by spatial grid representations. However, they do not explicitly reason about scale and so introduce aliasing artifacts when reconstructing scenes captured at different camera distances. Mip-NeRF and its extensions propose scale-aware renderers that project volumetric frustums rather than point samples but such approaches rely on positional encodings that are not readily compatible with grid methods. We propose a simple modification to grid-based models by training model heads at different spatial grid resolutions. At render time, we simply use coarser grids to render samples that cover larger volumes. Our method can be easily applied to existing accelerated NeRF methods and significantly improves rendering quality (reducing error rates by 20-90% across synthetic and unbounded real-world scenes) while incurring minimal performance overhead (as each model head is quick to evaluate). Compared to Mip-NeRF, we reduce error rates by 20% while training over 60x faster.