Нейронное направленное кодирование для эффективного и точного моделирования зависимого от вида внешнего вида.

Neural Directional Encoding for Efficient and Accurate View-Dependent Appearance Modeling

May 23, 2024

Авторы: Liwen Wu, Sai Bi, Zexiang Xu, Fujun Luan, Kai Zhang, Iliyan Georgiev, Kalyan Sunkavalli, Ravi Ramamoorthi

cs.AI

Аннотация

Синтез нового вида для зеркальных объектов, таких как блестящие металлы или глянцевые краски, остается значительным вызовом. Не только блестящий внешний вид, но и глобальные эффекты освещения, включая отражения других объектов в окружающей среде, являются ключевыми компонентами для точного воспроизведения сцены. В этой статье мы представляем Нейронное Угловое Кодирование (NDE), зависящее от вида кодирование внешнего вида нейронных поля радиации (NeRF) для визуализации зеркальных объектов. NDE переносит концепцию кодирования пространства на основе сетки признаков в угловую область, значительно улучшая способность моделировать высокочастотные угловые сигналы. В отличие от предыдущих методов, использующих функции кодирования только с угловым входом, мы дополнительно конусно трассируем пространственные признаки для получения пространственно изменяющегося углового кодирования, что позволяет решить сложные эффекты взаимных отражений. Обширные эксперименты как на синтетических, так и на реальных наборах данных показывают, что модель NeRF с NDE (1) превосходит существующие методы в синтезе нового вида для зеркальных объектов и (2) работает с небольшими сетями для быстрого (в реальном времени) вывода. Веб-страница проекта и исходный код доступны по адресу: https://lwwu2.github.io/nde/.

English

Novel-view synthesis of specular objects like shiny metals or glossy paints remains a significant challenge. Not only the glossy appearance but also global illumination effects, including reflections of other objects in the environment, are critical components to faithfully reproduce a scene. In this paper, we present Neural Directional Encoding (NDE), a view-dependent appearance encoding of neural radiance fields (NeRF) for rendering specular objects. NDE transfers the concept of feature-grid-based spatial encoding to the angular domain, significantly improving the ability to model high-frequency angular signals. In contrast to previous methods that use encoding functions with only angular input, we additionally cone-trace spatial features to obtain a spatially varying directional encoding, which addresses the challenging interreflection effects. Extensive experiments on both synthetic and real datasets show that a NeRF model with NDE (1) outperforms the state of the art on view synthesis of specular objects, and (2) works with small networks to allow fast (real-time) inference. The project webpage and source code are available at: https://lwwu2.github.io/nde/.