Coques adaptatives pour un rendu efficace des champs de rayonnement neuronaux

Résumé

Les champs de radiance neuronaux atteignent une qualité inégalée pour la synthèse de nouvelles vues, mais leur formulation volumétrique reste coûteuse, nécessitant un nombre considérable d'échantillons pour produire des images en haute résolution. Les encodages volumétriques sont essentiels pour représenter des géométries floues telles que le feuillage et les cheveux, et ils se prêtent bien à l'optimisation stochastique. Pourtant, de nombreuses scènes sont en grande partie composées de surfaces solides qui peuvent être rendues avec précision par un seul échantillon par pixel. En nous appuyant sur cette observation, nous proposons une formulation de champ de radiance neuronale qui transitionne en douceur entre un rendu volumétrique et un rendu basé sur les surfaces, accélérant ainsi considérablement la vitesse de rendu et améliorant même la fidélité visuelle. Notre méthode construit une enveloppe de maillage explicite qui délimite spatialement une représentation volumétrique neuronale. Dans les régions solides, l'enveloppe converge presque vers une surface et peut souvent être rendue avec un seul échantillon. Pour ce faire, nous généralisons la formulation NeuS avec une taille de noyau variant spatialement et apprise, qui encode l'étalement de la densité, ajustant un noyau large pour les régions volumiques et un noyau serré pour les régions surfaciques. Nous extrayons ensuite un maillage explicite d'une bande étroite autour de la surface, dont la largeur est déterminée par la taille du noyau, et affinons le champ de radiance dans cette bande. Au moment de l'inférence, nous lançons des rayons contre le maillage et évaluons le champ de radiance uniquement dans la région délimitée, réduisant ainsi considérablement le nombre d'échantillons requis. Les expériences montrent que notre approche permet un rendu efficace avec une très haute fidélité. Nous démontrons également que l'enveloppe extraite permet des applications en aval telles que l'animation et la simulation.

English

Neural radiance fields achieve unprecedented quality for novel view synthesis, but their volumetric formulation remains expensive, requiring a huge number of samples to render high-resolution images. Volumetric encodings are essential to represent fuzzy geometry such as foliage and hair, and they are well-suited for stochastic optimization. Yet, many scenes ultimately consist largely of solid surfaces which can be accurately rendered by a single sample per pixel. Based on this insight, we propose a neural radiance formulation that smoothly transitions between volumetric- and surface-based rendering, greatly accelerating rendering speed and even improving visual fidelity. Our method constructs an explicit mesh envelope which spatially bounds a neural volumetric representation. In solid regions, the envelope nearly converges to a surface and can often be rendered with a single sample. To this end, we generalize the NeuS formulation with a learned spatially-varying kernel size which encodes the spread of the density, fitting a wide kernel to volume-like regions and a tight kernel to surface-like regions. We then extract an explicit mesh of a narrow band around the surface, with width determined by the kernel size, and fine-tune the radiance field within this band. At inference time, we cast rays against the mesh and evaluate the radiance field only within the enclosed region, greatly reducing the number of samples required. Experiments show that our approach enables efficient rendering at very high fidelity. We also demonstrate that the extracted envelope enables downstream applications such as animation and simulation.

Coques adaptatives pour un rendu efficace des champs de rayonnement neuronaux

Adaptive Shells for Efficient Neural Radiance Field Rendering

Résumé

Support