Codifica Neurale Direzionale per una Modellizzazione Efficiente e Precisa dell'Aspetto Dipendente dalla Vista

Neural Directional Encoding for Efficient and Accurate View-Dependent Appearance Modeling

May 23, 2024

Autori: Liwen Wu, Sai Bi, Zexiang Xu, Fujun Luan, Kai Zhang, Iliyan Georgiev, Kalyan Sunkavalli, Ravi Ramamoorthi

cs.AI

Abstract

La sintesi di nuove viste di oggetti speculari come metalli lucidi o vernici brillanti rimane una sfida significativa. Non solo l'aspetto lucido, ma anche gli effetti di illuminazione globale, inclusi i riflessi di altri oggetti nell'ambiente, sono componenti cruciali per riprodurre fedelmente una scena. In questo articolo, presentiamo Neural Directional Encoding (NDE), una codifica dell'aspetto dipendente dalla vista per i campi di radianza neurale (NeRF) per il rendering di oggetti speculari. L'NDE trasferisce il concetto di codifica spaziale basata su griglie di feature al dominio angolare, migliorando significativamente la capacità di modellare segnali angolari ad alta frequenza. A differenza dei metodi precedenti che utilizzano funzioni di codifica con solo input angolare, noi tracciamo anche le feature spaziali per ottenere una codifica direzionale variabile spazialmente, che affronta gli effetti di interriflessione complessi. Esperimenti estesi su dataset sia sintetici che reali dimostrano che un modello NeRF con NDE (1) supera lo stato dell'arte nella sintesi di viste di oggetti speculari e (2) funziona con reti di piccole dimensioni per consentire inferenze veloci (in tempo reale). La pagina web del progetto e il codice sorgente sono disponibili all'indirizzo: https://lwwu2.github.io/nde/.

English

Novel-view synthesis of specular objects like shiny metals or glossy paints remains a significant challenge. Not only the glossy appearance but also global illumination effects, including reflections of other objects in the environment, are critical components to faithfully reproduce a scene. In this paper, we present Neural Directional Encoding (NDE), a view-dependent appearance encoding of neural radiance fields (NeRF) for rendering specular objects. NDE transfers the concept of feature-grid-based spatial encoding to the angular domain, significantly improving the ability to model high-frequency angular signals. In contrast to previous methods that use encoding functions with only angular input, we additionally cone-trace spatial features to obtain a spatially varying directional encoding, which addresses the challenging interreflection effects. Extensive experiments on both synthetic and real datasets show that a NeRF model with NDE (1) outperforms the state of the art on view synthesis of specular objects, and (2) works with small networks to allow fast (real-time) inference. The project webpage and source code are available at: https://lwwu2.github.io/nde/.