SpecNeRF: Гауссово направленное кодирование для зеркальных отражений

SpecNeRF: Gaussian Directional Encoding for Specular Reflections

December 20, 2023

Авторы: Li Ma, Vasu Agrawal, Haithem Turki, Changil Kim, Chen Gao, Pedro Sander, Michael Zollhöfer, Christian Richardt

cs.AI

Аннотация

Нейронные поля излучения достигли выдающихся результатов в моделировании внешнего вида трехмерных сцен. Однако существующие подходы по-прежнему испытывают трудности с учетом зависимости внешнего вида глянцевых поверхностей от угла обзора, особенно в условиях сложного освещения в помещениях. В отличие от существующих методов, которые обычно предполагают удаленное освещение, такое как карта окружения, мы предлагаем обучаемое гауссово направленное кодирование для более точного моделирования эффектов, зависящих от угла обзора, в условиях ближнего освещения. Важно отметить, что наше новое направленное кодирование учитывает пространственно-изменяющийся характер ближнего освещения и имитирует поведение предварительно отфильтрованных карт окружения. В результате это позволяет эффективно вычислять предварительно свернутый цвет бликов в любой трехмерной точке с различными коэффициентами шероховатости. Мы также вводим априорное знание геометрии, основанное на данных, которое помогает уменьшить неоднозначность формы и излучения при моделировании отражений. Мы демонстрируем, что наше гауссово направленное кодирование и априорное знание геометрии значительно улучшают моделирование сложных бликов в нейронных полях излучения, что способствует разложению внешнего вида на более физически осмысленные компоненты.

English

Neural radiance fields have achieved remarkable performance in modeling the appearance of 3D scenes. However, existing approaches still struggle with the view-dependent appearance of glossy surfaces, especially under complex lighting of indoor environments. Unlike existing methods, which typically assume distant lighting like an environment map, we propose a learnable Gaussian directional encoding to better model the view-dependent effects under near-field lighting conditions. Importantly, our new directional encoding captures the spatially-varying nature of near-field lighting and emulates the behavior of prefiltered environment maps. As a result, it enables the efficient evaluation of preconvolved specular color at any 3D location with varying roughness coefficients. We further introduce a data-driven geometry prior that helps alleviate the shape radiance ambiguity in reflection modeling. We show that our Gaussian directional encoding and geometry prior significantly improve the modeling of challenging specular reflections in neural radiance fields, which helps decompose appearance into more physically meaningful components.