Нейронное переосвещение с учетом подповерхностного рассеяния через обучение градиенту переноса излучения

Neural Relighting with Subsurface Scattering by Learning the Radiance Transfer Gradient

June 15, 2023

Авторы: Shizhan Zhu, Shunsuke Saito, Aljaz Bozic, Carlos Aliaga, Trevor Darrell, Christop Lassner

cs.AI

Аннотация

Реконструкция и переосвещение объектов и сцен при различных условиях освещения представляет собой сложную задачу: существующие методы нейронного рендеринга зачастую не способны учесть сложные взаимодействия между материалами и светом. Использование предварительно вычисленных методов передачи излучения позволяет учитывать глобальное освещение, но всё же сталкивается с трудностями при работе с материалами, обладающими эффектами подповерхностного рассеивания. Мы предлагаем новый подход для обучения поля передачи излучения с помощью объёмного рендеринга и использования различных визуальных подсказок для уточнения геометрии в рамках сквозного обучения. Этот подход расширяет возможности переосвещения и реконструкции, позволяя обрабатывать более широкий спектр материалов на основе данных. Полученные модели обеспечивают правдоподобные результаты рендеринга как в существующих, так и в новых условиях. Мы опубликуем наш код и новый набор данных, полученных с использованием световой сцены, содержащей объекты с эффектами подповерхностного рассеивания.

English

Reconstructing and relighting objects and scenes under varying lighting conditions is challenging: existing neural rendering methods often cannot handle the complex interactions between materials and light. Incorporating pre-computed radiance transfer techniques enables global illumination, but still struggles with materials with subsurface scattering effects. We propose a novel framework for learning the radiance transfer field via volume rendering and utilizing various appearance cues to refine geometry end-to-end. This framework extends relighting and reconstruction capabilities to handle a wider range of materials in a data-driven fashion. The resulting models produce plausible rendering results in existing and novel conditions. We will release our code and a novel light stage dataset of objects with subsurface scattering effects publicly available.