Gusci Adattivi per il Rendering Efficiente dei Campi di Radianza Neurale

Adaptive Shells for Efficient Neural Radiance Field Rendering

November 16, 2023

Autori: Zian Wang, Tianchang Shen, Merlin Nimier-David, Nicholas Sharp, Jun Gao, Alexander Keller, Sanja Fidler, Thomas Müller, Zan Gojcic

cs.AI

Abstract

I campi di radianza neurale raggiungono una qualità senza precedenti per la sintesi di nuove viste, ma la loro formulazione volumetrica rimane costosa, richiedendo un numero enorme di campioni per renderizzare immagini ad alta risoluzione. Le codifiche volumetriche sono essenziali per rappresentare geometrie sfumate come fogliame e capelli, e sono ben adatte per l'ottimizzazione stocastica. Tuttavia, molte scene consistono in gran parte di superfici solide che possono essere renderizzate accuratamente con un singolo campione per pixel. Basandoci su questa intuizione, proponiamo una formulazione di radianza neurale che transita dolcemente tra il rendering volumetrico e quello basato su superfici, accelerando notevolmente la velocità di rendering e migliorando persino la fedeltà visiva. Il nostro metodo costruisce un involucro mesh esplicito che delimita spazialmente una rappresentazione volumetrica neurale. Nelle regioni solide, l'involucro converge quasi a una superficie e può spesso essere renderizzato con un singolo campione. A tal fine, generalizziamo la formulazione NeuS con una dimensione del kernel variabile spazialmente appresa, che codifica la diffusione della densità, adattando un kernel ampio alle regioni simili a volumi e un kernel stretto alle regioni simili a superfici. Successivamente, estraiamo una mesh esplicita di una banda stretta attorno alla superficie, con larghezza determinata dalla dimensione del kernel, e perfezioniamo il campo di radianza all'interno di questa banda. Al momento dell'inferenza, lanciamo raggi contro la mesh e valutiamo il campo di radianza solo all'interno della regione racchiusa, riducendo notevolmente il numero di campioni richiesti. Gli esperimenti dimostrano che il nostro approccio consente un rendering efficiente con una fedeltà molto elevata. Dimostriamo inoltre che l'involucro estratto abilita applicazioni a valle come l'animazione e la simulazione.

English

Neural radiance fields achieve unprecedented quality for novel view synthesis, but their volumetric formulation remains expensive, requiring a huge number of samples to render high-resolution images. Volumetric encodings are essential to represent fuzzy geometry such as foliage and hair, and they are well-suited for stochastic optimization. Yet, many scenes ultimately consist largely of solid surfaces which can be accurately rendered by a single sample per pixel. Based on this insight, we propose a neural radiance formulation that smoothly transitions between volumetric- and surface-based rendering, greatly accelerating rendering speed and even improving visual fidelity. Our method constructs an explicit mesh envelope which spatially bounds a neural volumetric representation. In solid regions, the envelope nearly converges to a surface and can often be rendered with a single sample. To this end, we generalize the NeuS formulation with a learned spatially-varying kernel size which encodes the spread of the density, fitting a wide kernel to volume-like regions and a tight kernel to surface-like regions. We then extract an explicit mesh of a narrow band around the surface, with width determined by the kernel size, and fine-tune the radiance field within this band. At inference time, we cast rays against the mesh and evaluate the radiance field only within the enclosed region, greatly reducing the number of samples required. Experiments show that our approach enables efficient rendering at very high fidelity. We also demonstrate that the extracted envelope enables downstream applications such as animation and simulation.