SpecNeRF: Gaußsche Richtungskodierung für spiegelnde Reflexionen

SpecNeRF: Gaussian Directional Encoding for Specular Reflections

December 20, 2023

Autoren: Li Ma, Vasu Agrawal, Haithem Turki, Changil Kim, Chen Gao, Pedro Sander, Michael Zollhöfer, Christian Richardt

cs.AI

Zusammenfassung

Neurale Strahlungsfelder haben bemerkenswerte Leistungen bei der Modellierung des Erscheinungsbilds von 3D-Szenen erzielt. Bestehende Ansätze haben jedoch nach wie vor Schwierigkeiten mit dem sichtwinkelabhängigen Erscheinungsbild glänzender Oberflächen, insbesondere unter komplexen Lichtverhältnissen in Innenräumen. Im Gegensatz zu bestehenden Methoden, die typischerweise eine entfernte Lichtquelle wie eine Umgebungslichtkarte annehmen, schlagen wir eine lernbare Gaußsche Richtungskodierung vor, um die sichtwinkelabhängigen Effekte unter Nahfeldbeleuchtungsbedingungen besser zu modellieren. Wichtig ist, dass unsere neue Richtungskodierung die räumlich variierende Natur der Nahfeldbeleuchtung erfasst und das Verhalten vorgefilterter Umgebungslichtkarten nachahmt. Dadurch ermöglicht sie die effiziente Berechnung der vorgefalteten spekularen Farbe an jedem 3D-Ort mit variierenden Rauhigkeitskoeffizienten. Darüber hinaus führen wir ein datengetriebenes Geometrie-Prior ein, das dazu beiträgt, die Form-Strahlungs-Ambivalenz bei der Reflexionsmodellierung zu verringern. Wir zeigen, dass unsere Gaußsche Richtungskodierung und das Geometrie-Prior die Modellierung anspruchsvoller spekularer Reflexionen in neuralen Strahlungsfeldern erheblich verbessern, was dazu beiträgt, das Erscheinungsbild in physikalisch sinnvollere Komponenten zu zerlegen.

English

Neural radiance fields have achieved remarkable performance in modeling the appearance of 3D scenes. However, existing approaches still struggle with the view-dependent appearance of glossy surfaces, especially under complex lighting of indoor environments. Unlike existing methods, which typically assume distant lighting like an environment map, we propose a learnable Gaussian directional encoding to better model the view-dependent effects under near-field lighting conditions. Importantly, our new directional encoding captures the spatially-varying nature of near-field lighting and emulates the behavior of prefiltered environment maps. As a result, it enables the efficient evaluation of preconvolved specular color at any 3D location with varying roughness coefficients. We further introduce a data-driven geometry prior that helps alleviate the shape radiance ambiguity in reflection modeling. We show that our Gaussian directional encoding and geometry prior significantly improve the modeling of challenging specular reflections in neural radiance fields, which helps decompose appearance into more physically meaningful components.