Reiluminação Neural com Espalhamento Subsuperficial através da Aprendizagem do Gradiente de Transferência de Radiação

Neural Relighting with Subsurface Scattering by Learning the Radiance Transfer Gradient

June 15, 2023

Autores: Shizhan Zhu, Shunsuke Saito, Aljaz Bozic, Carlos Aliaga, Trevor Darrell, Christop Lassner

cs.AI

Resumo

Reconstruir e reiluminar objetos e cenas sob diferentes condições de iluminação é um desafio: os métodos existentes de renderização neural frequentemente não conseguem lidar com as interações complexas entre materiais e luz. A incorporação de técnicas de transferência de radiance pré-computadas permite a iluminação global, mas ainda enfrenta dificuldades com materiais que apresentam efeitos de espalhamento subsuperficial. Propomos uma nova estrutura para aprender o campo de transferência de radiance por meio de renderização volumétrica e utilizar diversas pistas de aparência para refinar a geometria de ponta a ponta. Essa estrutura amplia as capacidades de reiluminação e reconstrução para lidar com uma gama mais ampla de materiais de forma orientada por dados. Os modelos resultantes produzem resultados de renderização plausíveis em condições existentes e novas. Disponibilizaremos publicamente nosso código e um novo conjunto de dados de estágio de luz de objetos com efeitos de espalhamento subsuperficial.

English

Reconstructing and relighting objects and scenes under varying lighting conditions is challenging: existing neural rendering methods often cannot handle the complex interactions between materials and light. Incorporating pre-computed radiance transfer techniques enables global illumination, but still struggles with materials with subsurface scattering effects. We propose a novel framework for learning the radiance transfer field via volume rendering and utilizing various appearance cues to refine geometry end-to-end. This framework extends relighting and reconstruction capabilities to handle a wider range of materials in a data-driven fashion. The resulting models produce plausible rendering results in existing and novel conditions. We will release our code and a novel light stage dataset of objects with subsurface scattering effects publicly available.