Adaptieve Schillen voor Efficiënte Rendering van Neural Radiance Fields

Adaptive Shells for Efficient Neural Radiance Field Rendering

November 16, 2023

Auteurs: Zian Wang, Tianchang Shen, Merlin Nimier-David, Nicholas Sharp, Jun Gao, Alexander Keller, Sanja Fidler, Thomas Müller, Zan Gojcic

cs.AI

Samenvatting

Neurale stralingsvelden bereiken een ongekende kwaliteit voor de synthese van nieuwe gezichtspunten, maar hun volumetrische formulering blijft kostbaar, waarbij een enorm aantal samples nodig is om hoogwaardige afbeeldingen te renderen. Volumetrische coderingen zijn essentieel om vage geometrie zoals gebladerte en haar weer te geven, en ze zijn goed geschikt voor stochastische optimalisatie. Toch bestaan veel scènes uiteindelijk grotendeels uit vaste oppervlakken die nauwkeurig kunnen worden gerenderd met slechts één sample per pixel. Gebaseerd op dit inzicht stellen we een neurale stralingsformulering voor die soepel overgaat tussen volumetrisch en oppervlaktegebaseerd renderen, waardoor de rendersnelheid aanzienlijk wordt versneld en zelfs de visuele kwaliteit verbetert. Onze methode construeert een expliciet mesh-omhulsel dat een neurale volumetrische representatie ruimtelijk begrenst. In vaste regio's convergeert het omhulsel bijna naar een oppervlak en kan het vaak worden gerenderd met slechts één sample. Hiertoe generaliseren we de NeuS-formulering met een geleerde ruimtelijk variërende kernelgrootte die de spreiding van de dichtheid codeert, waarbij een brede kernel wordt toegepast op volume-achtige regio's en een nauwe kernel op oppervlakte-achtige regio's. Vervolgens extraheren we een expliciet mesh van een smalle band rond het oppervlak, met een breedte bepaald door de kernelgrootte, en finetunen we het stralingsveld binnen deze band. Tijdens inferentie werpen we stralen tegen het mesh en evalueren we het stralingsveld alleen binnen het omsloten gebied, waardoor het aantal benodigde samples aanzienlijk wordt verminderd. Experimenten tonen aan dat onze aanpak efficiënt renderen met zeer hoge kwaliteit mogelijk maakt. We laten ook zien dat het geëxtraheerde omhulsel downstream-toepassingen zoals animatie en simulatie mogelijk maakt.

English

Neural radiance fields achieve unprecedented quality for novel view synthesis, but their volumetric formulation remains expensive, requiring a huge number of samples to render high-resolution images. Volumetric encodings are essential to represent fuzzy geometry such as foliage and hair, and they are well-suited for stochastic optimization. Yet, many scenes ultimately consist largely of solid surfaces which can be accurately rendered by a single sample per pixel. Based on this insight, we propose a neural radiance formulation that smoothly transitions between volumetric- and surface-based rendering, greatly accelerating rendering speed and even improving visual fidelity. Our method constructs an explicit mesh envelope which spatially bounds a neural volumetric representation. In solid regions, the envelope nearly converges to a surface and can often be rendered with a single sample. To this end, we generalize the NeuS formulation with a learned spatially-varying kernel size which encodes the spread of the density, fitting a wide kernel to volume-like regions and a tight kernel to surface-like regions. We then extract an explicit mesh of a narrow band around the surface, with width determined by the kernel size, and fine-tune the radiance field within this band. At inference time, we cast rays against the mesh and evaluate the radiance field only within the enclosed region, greatly reducing the number of samples required. Experiments show that our approach enables efficient rendering at very high fidelity. We also demonstrate that the extracted envelope enables downstream applications such as animation and simulation.