Cascas Adaptativas para Renderização Eficiente de Campos de Radiação Neural

Adaptive Shells for Efficient Neural Radiance Field Rendering

November 16, 2023

Autores: Zian Wang, Tianchang Shen, Merlin Nimier-David, Nicholas Sharp, Jun Gao, Alexander Keller, Sanja Fidler, Thomas Müller, Zan Gojcic

cs.AI

Resumo

Campos de radiação neural alcançam qualidade sem precedentes para síntese de novas visões, mas sua formulação volumétrica permanece custosa, exigindo um grande número de amostras para renderizar imagens de alta resolução. Codificações volumétricas são essenciais para representar geometrias difusas, como folhagens e cabelos, e são bem adequadas para otimização estocástica. No entanto, muitas cenas consistem principalmente em superfícies sólidas que podem ser renderizadas com precisão por uma única amostra por pixel. Com base nessa percepção, propomos uma formulação de radiação neural que transita suavemente entre renderização volumétrica e baseada em superfície, acelerando significativamente a velocidade de renderização e até melhorando a fidelidade visual. Nosso método constrói um envelope de malha explícito que delimita espacialmente uma representação volumétrica neural. Em regiões sólidas, o envelope quase converge para uma superfície e pode frequentemente ser renderizado com uma única amostra. Para isso, generalizamos a formulação NeuS com um tamanho de kernel variável espacialmente aprendido, que codifica a dispersão da densidade, ajustando um kernel amplo para regiões semelhantes a volume e um kernel estreito para regiões semelhantes a superfície. Em seguida, extraímos uma malha explícita de uma faixa estreita ao redor da superfície, com largura determinada pelo tamanho do kernel, e ajustamos finamente o campo de radiação dentro dessa faixa. No momento da inferência, lançamos raios contra a malha e avaliamos o campo de radiação apenas dentro da região delimitada, reduzindo drasticamente o número de amostras necessárias. Experimentos mostram que nossa abordagem permite renderização eficiente com fidelidade muito alta. Também demonstramos que o envelope extraído possibilita aplicações subsequentes, como animação e simulação.

English

Neural radiance fields achieve unprecedented quality for novel view synthesis, but their volumetric formulation remains expensive, requiring a huge number of samples to render high-resolution images. Volumetric encodings are essential to represent fuzzy geometry such as foliage and hair, and they are well-suited for stochastic optimization. Yet, many scenes ultimately consist largely of solid surfaces which can be accurately rendered by a single sample per pixel. Based on this insight, we propose a neural radiance formulation that smoothly transitions between volumetric- and surface-based rendering, greatly accelerating rendering speed and even improving visual fidelity. Our method constructs an explicit mesh envelope which spatially bounds a neural volumetric representation. In solid regions, the envelope nearly converges to a surface and can often be rendered with a single sample. To this end, we generalize the NeuS formulation with a learned spatially-varying kernel size which encodes the spread of the density, fitting a wide kernel to volume-like regions and a tight kernel to surface-like regions. We then extract an explicit mesh of a narrow band around the surface, with width determined by the kernel size, and fine-tune the radiance field within this band. At inference time, we cast rays against the mesh and evaluate the radiance field only within the enclosed region, greatly reducing the number of samples required. Experiments show that our approach enables efficient rendering at very high fidelity. We also demonstrate that the extracted envelope enables downstream applications such as animation and simulation.