Reluage neuronal avec diffusion sous-cutanée par apprentissage du gradient de transfert de radiance

Neural Relighting with Subsurface Scattering by Learning the Radiance Transfer Gradient

June 15, 2023

Auteurs: Shizhan Zhu, Shunsuke Saito, Aljaz Bozic, Carlos Aliaga, Trevor Darrell, Christop Lassner

cs.AI

Résumé

La reconstruction et le rééclairage d'objets et de scènes sous des conditions d'éclairage variables posent un défi de taille : les méthodes de rendu neuronal existantes peinent souvent à gérer les interactions complexes entre les matériaux et la lumière. L'intégration de techniques de transfert de radiance précalculé permet d'obtenir une illumination globale, mais rencontre encore des difficultés avec les matériaux présentant des effets de diffusion sous la surface. Nous proposons un nouveau cadre pour apprendre le champ de transfert de radiance via le rendu volumétrique et utiliser divers indices d'apparence pour affiner la géométrie de bout en bout. Ce cadre étend les capacités de rééclairage et de reconstruction pour traiter une plus large gamme de matériaux de manière pilotée par les données. Les modèles résultants produisent des rendus plausibles dans des conditions existantes et nouvelles. Nous rendrons notre code ainsi qu'un nouveau jeu de données de scène lumineuse d'objets avec effets de diffusion sous la surface accessibles au public.

English

Reconstructing and relighting objects and scenes under varying lighting conditions is challenging: existing neural rendering methods often cannot handle the complex interactions between materials and light. Incorporating pre-computed radiance transfer techniques enables global illumination, but still struggles with materials with subsurface scattering effects. We propose a novel framework for learning the radiance transfer field via volume rendering and utilizing various appearance cues to refine geometry end-to-end. This framework extends relighting and reconstruction capabilities to handle a wider range of materials in a data-driven fashion. The resulting models produce plausible rendering results in existing and novel conditions. We will release our code and a novel light stage dataset of objects with subsurface scattering effects publicly available.