Codificação Neural Direcional para Modelagem Eficiente e Precisa de Aparência Dependente da Visão

Neural Directional Encoding for Efficient and Accurate View-Dependent Appearance Modeling

May 23, 2024

Autores: Liwen Wu, Sai Bi, Zexiang Xu, Fujun Luan, Kai Zhang, Iliyan Georgiev, Kalyan Sunkavalli, Ravi Ramamoorthi

cs.AI

Resumo

A síntese de novas visões de objetos especulares, como metais brilhantes ou tintas lustrosas, continua sendo um desafio significativo. Não apenas a aparência brilhante, mas também os efeitos de iluminação global, incluindo reflexões de outros objetos no ambiente, são componentes críticos para reproduzir fielmente uma cena. Neste artigo, apresentamos a Codificação Neural Direcional (Neural Directional Encoding - NDE), uma codificação de aparência dependente da visão para campos de radiação neural (NeRF) destinada à renderização de objetos especulares. A NDE transfere o conceito de codificação espacial baseada em grade de características para o domínio angular, melhorando significativamente a capacidade de modelar sinais angulares de alta frequência. Em contraste com métodos anteriores que utilizam funções de codificação com apenas entrada angular, nós adicionalmente rastreamos características espaciais em forma de cone para obter uma codificação direcional variável espacialmente, o que aborda os desafiadores efeitos de inter-reflexão. Experimentos extensivos em conjuntos de dados sintéticos e reais mostram que um modelo NeRF com NDE (1) supera o estado da arte na síntese de visões de objetos especulares e (2) funciona com redes pequenas para permitir inferência rápida (em tempo real). A página do projeto e o código-fonte estão disponíveis em: https://lwwu2.github.io/nde/.

English

Novel-view synthesis of specular objects like shiny metals or glossy paints remains a significant challenge. Not only the glossy appearance but also global illumination effects, including reflections of other objects in the environment, are critical components to faithfully reproduce a scene. In this paper, we present Neural Directional Encoding (NDE), a view-dependent appearance encoding of neural radiance fields (NeRF) for rendering specular objects. NDE transfers the concept of feature-grid-based spatial encoding to the angular domain, significantly improving the ability to model high-frequency angular signals. In contrast to previous methods that use encoding functions with only angular input, we additionally cone-trace spatial features to obtain a spatially varying directional encoding, which addresses the challenging interreflection effects. Extensive experiments on both synthetic and real datasets show that a NeRF model with NDE (1) outperforms the state of the art on view synthesis of specular objects, and (2) works with small networks to allow fast (real-time) inference. The project webpage and source code are available at: https://lwwu2.github.io/nde/.