Neuronale Richtungskodierung für effiziente und präzise ansichtsabhängige Erscheinungsmodellierung

Neural Directional Encoding for Efficient and Accurate View-Dependent Appearance Modeling

May 23, 2024

Autoren: Liwen Wu, Sai Bi, Zexiang Xu, Fujun Luan, Kai Zhang, Iliyan Georgiev, Kalyan Sunkavalli, Ravi Ramamoorthi

cs.AI

Zusammenfassung

Die Synthese von Ansichten von spiegelnden Objekten wie glänzenden Metallen oder glänzenden Lacken bleibt eine bedeutende Herausforderung. Nicht nur das glänzende Erscheinungsbild, sondern auch globale Beleuchtungseffekte, einschließlich Reflexionen anderer Objekte in der Umgebung, sind entscheidende Komponenten, um eine Szene originalgetreu wiederzugeben. In diesem Paper präsentieren wir das Neural Directional Encoding (NDE), eine ansichtsabhängige Erscheinungscodierung neuronaler Strahlungsfelder (NeRF) zur Darstellung von spiegelnden Objekten. NDE überträgt das Konzept der Merkmalsraster-basierten räumlichen Codierung in den Winkelbereich und verbessert damit signifikant die Fähigkeit, hochfrequente Winkelsignale zu modellieren. Im Gegensatz zu früheren Methoden, die Codierungsfunktionen mit nur winkelabhängigem Input verwenden, verfolgen wir zusätzlich räumliche Merkmale mit Kegelverfolgung, um eine räumlich variierende Richtungscodierung zu erhalten, die die herausfordernden Interreflexionseffekte bewältigt. Umfangreiche Experimente mit sowohl synthetischen als auch realen Datensätzen zeigen, dass ein NeRF-Modell mit NDE (1) die State-of-the-Art-Methoden bei der Ansichtssynthese von spiegelnden Objekten übertrifft und (2) mit kleinen Netzwerken arbeitet, um schnelle (Echtzeit-)Inferenzen zu ermöglichen. Die Projektwebseite und der Quellcode sind verfügbar unter: https://lwwu2.github.io/nde/.

English

Novel-view synthesis of specular objects like shiny metals or glossy paints remains a significant challenge. Not only the glossy appearance but also global illumination effects, including reflections of other objects in the environment, are critical components to faithfully reproduce a scene. In this paper, we present Neural Directional Encoding (NDE), a view-dependent appearance encoding of neural radiance fields (NeRF) for rendering specular objects. NDE transfers the concept of feature-grid-based spatial encoding to the angular domain, significantly improving the ability to model high-frequency angular signals. In contrast to previous methods that use encoding functions with only angular input, we additionally cone-trace spatial features to obtain a spatially varying directional encoding, which addresses the challenging interreflection effects. Extensive experiments on both synthetic and real datasets show that a NeRF model with NDE (1) outperforms the state of the art on view synthesis of specular objects, and (2) works with small networks to allow fast (real-time) inference. The project webpage and source code are available at: https://lwwu2.github.io/nde/.