Codificación Neural Direccional para un Modelado Eficiente y Preciso de la Apariencia Dependiente de la Vista

Neural Directional Encoding for Efficient and Accurate View-Dependent Appearance Modeling

May 23, 2024

Autores: Liwen Wu, Sai Bi, Zexiang Xu, Fujun Luan, Kai Zhang, Iliyan Georgiev, Kalyan Sunkavalli, Ravi Ramamoorthi

cs.AI

Resumen

La síntesis de nuevas vistas de objetos especulares como metales brillantes o pinturas lustrosas sigue siendo un desafío significativo. No solo la apariencia brillante, sino también los efectos de iluminación global, incluyendo los reflejos de otros objetos en el entorno, son componentes críticos para reproducir fielmente una escena. En este artículo, presentamos Neural Directional Encoding (NDE), una codificación de apariencia dependiente de la vista para campos de radiancia neurales (NeRF) destinada a renderizar objetos especulares. NDE traslada el concepto de codificación espacial basada en grillas de características al dominio angular, mejorando significativamente la capacidad de modelar señales angulares de alta frecuencia. A diferencia de métodos anteriores que utilizan funciones de codificación con solo entrada angular, adicionalmente realizamos un trazado cónico de características espaciales para obtener una codificación direccional que varía espacialmente, abordando así los desafiantes efectos de interreflexión. Experimentos extensivos en conjuntos de datos tanto sintéticos como reales muestran que un modelo NeRF con NDE (1) supera al estado del arte en la síntesis de vistas de objetos especulares, y (2) funciona con redes pequeñas para permitir inferencia rápida (en tiempo real). La página web del proyecto y el código fuente están disponibles en: https://lwwu2.github.io/nde/.

English

Novel-view synthesis of specular objects like shiny metals or glossy paints remains a significant challenge. Not only the glossy appearance but also global illumination effects, including reflections of other objects in the environment, are critical components to faithfully reproduce a scene. In this paper, we present Neural Directional Encoding (NDE), a view-dependent appearance encoding of neural radiance fields (NeRF) for rendering specular objects. NDE transfers the concept of feature-grid-based spatial encoding to the angular domain, significantly improving the ability to model high-frequency angular signals. In contrast to previous methods that use encoding functions with only angular input, we additionally cone-trace spatial features to obtain a spatially varying directional encoding, which addresses the challenging interreflection effects. Extensive experiments on both synthetic and real datasets show that a NeRF model with NDE (1) outperforms the state of the art on view synthesis of specular objects, and (2) works with small networks to allow fast (real-time) inference. The project webpage and source code are available at: https://lwwu2.github.io/nde/.