Encodage directionnel neuronal pour une modélisation efficace et précise de l'apparence dépendante de la vue

Neural Directional Encoding for Efficient and Accurate View-Dependent Appearance Modeling

May 23, 2024

Auteurs: Liwen Wu, Sai Bi, Zexiang Xu, Fujun Luan, Kai Zhang, Iliyan Georgiev, Kalyan Sunkavalli, Ravi Ramamoorthi

cs.AI

Résumé

La synthèse de nouvelles vues pour des objets spéculaires, tels que les métaux brillants ou les peintures glacées, reste un défi majeur. Non seulement l'apparence brillante, mais aussi les effets d'illumination globale, y compris les réflexions d'autres objets dans l'environnement, sont des composants essentiels pour reproduire fidèlement une scène. Dans cet article, nous présentons le Neural Directional Encoding (NDE), un encodage d'apparence dépendant de la vue pour les champs de radiance neuronaux (NeRF) destiné au rendu d'objets spéculaires. NDE transpose le concept d'encodage spatial basé sur une grille de caractéristiques au domaine angulaire, améliorant significativement la capacité à modéliser des signaux angulaires à haute fréquence. Contrairement aux méthodes précédentes qui utilisent des fonctions d'encodage avec uniquement une entrée angulaire, nous effectuons également un traçage conique des caractéristiques spatiales pour obtenir un encodage directionnel variant spatialement, ce qui permet de traiter les effets complexes d'inter-réflexion. Des expériences approfondies sur des ensembles de données synthétiques et réels montrent qu'un modèle NeRF avec NDE (1) surpasse l'état de l'art en matière de synthèse de vues pour des objets spéculaires, et (2) fonctionne avec des réseaux de petite taille pour permettre une inférence rapide (en temps réel). La page web du projet et le code source sont disponibles à l'adresse suivante : https://lwwu2.github.io/nde/.

English

Novel-view synthesis of specular objects like shiny metals or glossy paints remains a significant challenge. Not only the glossy appearance but also global illumination effects, including reflections of other objects in the environment, are critical components to faithfully reproduce a scene. In this paper, we present Neural Directional Encoding (NDE), a view-dependent appearance encoding of neural radiance fields (NeRF) for rendering specular objects. NDE transfers the concept of feature-grid-based spatial encoding to the angular domain, significantly improving the ability to model high-frequency angular signals. In contrast to previous methods that use encoding functions with only angular input, we additionally cone-trace spatial features to obtain a spatially varying directional encoding, which addresses the challenging interreflection effects. Extensive experiments on both synthetic and real datasets show that a NeRF model with NDE (1) outperforms the state of the art on view synthesis of specular objects, and (2) works with small networks to allow fast (real-time) inference. The project webpage and source code are available at: https://lwwu2.github.io/nde/.