SpecNeRF: Codifica Gaussiana Direzionale per Riflessi Speculari

SpecNeRF: Gaussian Directional Encoding for Specular Reflections

December 20, 2023

Autori: Li Ma, Vasu Agrawal, Haithem Turki, Changil Kim, Chen Gao, Pedro Sander, Michael Zollhöfer, Christian Richardt

cs.AI

Abstract

I campi di radianza neurale hanno ottenuto prestazioni notevoli nella modellazione dell'aspetto di scene 3D. Tuttavia, gli approcci esistenti continuano a incontrare difficoltà con l'aspetto dipendente dalla vista delle superfici lucide, specialmente in condizioni di illuminazione complessa negli ambienti interni. A differenza dei metodi esistenti, che tipicamente assumono un'illuminazione distante come una mappa ambientale, proponiamo una codifica direzionale gaussiana apprendibile per modellare meglio gli effetti dipendenti dalla vista in condizioni di illuminazione a campo vicino. In particolare, la nostra nuova codifica direzionale cattura la natura spazialmente variabile dell'illuminazione a campo vicino e emula il comportamento delle mappe ambientali prefiltrate. Di conseguenza, consente la valutazione efficiente del colore speculare preconvoluto in qualsiasi posizione 3D con coefficienti di ruvidità variabili. Introduciamo inoltre un priore geometrico basato sui dati che aiuta a mitigare l'ambiguità tra forma e radianza nella modellazione delle riflessioni. Dimostriamo che la nostra codifica direzionale gaussiana e il priore geometrico migliorano significativamente la modellazione delle riflessioni speculari complesse nei campi di radianza neurale, contribuendo a scomporre l'aspetto in componenti fisicamente più significative.

English

Neural radiance fields have achieved remarkable performance in modeling the appearance of 3D scenes. However, existing approaches still struggle with the view-dependent appearance of glossy surfaces, especially under complex lighting of indoor environments. Unlike existing methods, which typically assume distant lighting like an environment map, we propose a learnable Gaussian directional encoding to better model the view-dependent effects under near-field lighting conditions. Importantly, our new directional encoding captures the spatially-varying nature of near-field lighting and emulates the behavior of prefiltered environment maps. As a result, it enables the efficient evaluation of preconvolved specular color at any 3D location with varying roughness coefficients. We further introduce a data-driven geometry prior that helps alleviate the shape radiance ambiguity in reflection modeling. We show that our Gaussian directional encoding and geometry prior significantly improve the modeling of challenging specular reflections in neural radiance fields, which helps decompose appearance into more physically meaningful components.