Cáscaras Adaptativas para la Representación Eficiente de Campos de Radiancia Neural

Resumen

Los campos de radiancia neural logran una calidad sin precedentes para la síntesis de nuevas vistas, pero su formulación volumétrica sigue siendo costosa, requiriendo un gran número de muestras para renderizar imágenes de alta resolución. Las codificaciones volumétricas son esenciales para representar geometrías difusas como follaje y cabello, y son adecuadas para la optimización estocástica. Sin embargo, muchas escenas consisten principalmente en superficies sólidas que pueden ser renderizadas con precisión mediante una sola muestra por píxel. Basándonos en esta observación, proponemos una formulación de radiancia neural que transita suavemente entre el renderizado volumétrico y el basado en superficies, acelerando significativamente la velocidad de renderizado e incluso mejorando la fidelidad visual. Nuestro método construye una envolvente de malla explícita que delimita espacialmente una representación volumétrica neural. En regiones sólidas, la envolvente casi converge a una superficie y a menudo puede ser renderizada con una sola muestra. Para ello, generalizamos la formulación de NeuS con un tamaño de kernel variable aprendido que codifica la dispersión de la densidad, ajustando un kernel amplio para regiones volumétricas y un kernel estrecho para regiones superficiales. Luego, extraemos una malla explícita de una banda estrecha alrededor de la superficie, con un ancho determinado por el tamaño del kernel, y afinamos el campo de radiancia dentro de esta banda. En el momento de la inferencia, lanzamos rayos contra la malla y evaluamos el campo de radiancia solo dentro de la región delimitada, reduciendo enormemente el número de muestras requeridas. Los experimentos muestran que nuestro enfoque permite un renderizado eficiente con una fidelidad muy alta. También demostramos que la envolvente extraída habilita aplicaciones posteriores como animación y simulación.

English

Neural radiance fields achieve unprecedented quality for novel view synthesis, but their volumetric formulation remains expensive, requiring a huge number of samples to render high-resolution images. Volumetric encodings are essential to represent fuzzy geometry such as foliage and hair, and they are well-suited for stochastic optimization. Yet, many scenes ultimately consist largely of solid surfaces which can be accurately rendered by a single sample per pixel. Based on this insight, we propose a neural radiance formulation that smoothly transitions between volumetric- and surface-based rendering, greatly accelerating rendering speed and even improving visual fidelity. Our method constructs an explicit mesh envelope which spatially bounds a neural volumetric representation. In solid regions, the envelope nearly converges to a surface and can often be rendered with a single sample. To this end, we generalize the NeuS formulation with a learned spatially-varying kernel size which encodes the spread of the density, fitting a wide kernel to volume-like regions and a tight kernel to surface-like regions. We then extract an explicit mesh of a narrow band around the surface, with width determined by the kernel size, and fine-tune the radiance field within this band. At inference time, we cast rays against the mesh and evaluate the radiance field only within the enclosed region, greatly reducing the number of samples required. Experiments show that our approach enables efficient rendering at very high fidelity. We also demonstrate that the extracted envelope enables downstream applications such as animation and simulation.

Cáscaras Adaptativas para la Representación Eficiente de Campos de Radiancia Neural

Adaptive Shells for Efficient Neural Radiance Field Rendering

Resumen

Support