Neurale Richtingscodering voor Efficiënte en Nauwkeurige Weergave-afhankelijke Uiterlijkmodellering

Neural Directional Encoding for Efficient and Accurate View-Dependent Appearance Modeling

May 23, 2024

Auteurs: Liwen Wu, Sai Bi, Zexiang Xu, Fujun Luan, Kai Zhang, Iliyan Georgiev, Kalyan Sunkavalli, Ravi Ramamoorthi

cs.AI

Samenvatting

Het synthetiseren van nieuwe aanzichten van reflecterende objecten zoals glanzende metalen of glanzende verven blijft een aanzienlijke uitdaging. Niet alleen het glanzende uiterlijk, maar ook globale belichtingseffecten, inclusief reflecties van andere objecten in de omgeving, zijn cruciale componenten om een scène nauwkeurig weer te geven. In dit artikel presenteren we Neural Directional Encoding (NDE), een opzicht-afhankelijke weergavecodering van neurale stralingsvelden (NeRF) voor het renderen van reflecterende objecten. NDE brengt het concept van op feature-grids gebaseerde ruimtelijke codering over naar het hoekdomein, wat de mogelijkheid om hoogfrequente hoeksignalen te modelleren aanzienlijk verbetert. In tegenstelling tot eerdere methoden die coderingsfuncties gebruiken met alleen hoekinvoer, voegen we ruimtelijke features toe door middel van cone-tracing om een ruimtelijk variërende richtingscodering te verkrijgen, wat de uitdagende onderlinge reflectie-effecten aanpakt. Uitgebreide experimenten op zowel synthetische als echte datasets tonen aan dat een NeRF-model met NDE (1) de state-of-the-art overtreft bij het synthetiseren van aanzichten van reflecterende objecten, en (2) werkt met kleine netwerken om snelle (real-time) inferentie mogelijk te maken. De projectwebpagina en broncode zijn beschikbaar op: https://lwwu2.github.io/nde/.

English

Novel-view synthesis of specular objects like shiny metals or glossy paints remains a significant challenge. Not only the glossy appearance but also global illumination effects, including reflections of other objects in the environment, are critical components to faithfully reproduce a scene. In this paper, we present Neural Directional Encoding (NDE), a view-dependent appearance encoding of neural radiance fields (NeRF) for rendering specular objects. NDE transfers the concept of feature-grid-based spatial encoding to the angular domain, significantly improving the ability to model high-frequency angular signals. In contrast to previous methods that use encoding functions with only angular input, we additionally cone-trace spatial features to obtain a spatially varying directional encoding, which addresses the challenging interreflection effects. Extensive experiments on both synthetic and real datasets show that a NeRF model with NDE (1) outperforms the state of the art on view synthesis of specular objects, and (2) works with small networks to allow fast (real-time) inference. The project webpage and source code are available at: https://lwwu2.github.io/nde/.