Neurale Herbelichting met Ondergrondse Lichtverstrooiing door het Leren van de Radiance Transfer Gradient

Neural Relighting with Subsurface Scattering by Learning the Radiance Transfer Gradient

June 15, 2023

Auteurs: Shizhan Zhu, Shunsuke Saito, Aljaz Bozic, Carlos Aliaga, Trevor Darrell, Christop Lassner

cs.AI

Samenvatting

Het reconstrueren en herbelichten van objecten en scènes onder verschillende lichtomstandigheden is uitdagend: bestaande neurale renderingmethoden kunnen vaak niet omgaan met de complexe interacties tussen materialen en licht. Het integreren van vooraf berekende radiatieoverdrachttechnieken maakt globale verlichting mogelijk, maar heeft nog steeds moeite met materialen die onderhuidse verstrooiingseffecten vertonen. Wij stellen een nieuw raamwerk voor voor het leren van het radiatieoverdrachtsveld via volumetrische rendering en het gebruik van diverse uiterlijke aanwijzingen om de geometrie end-to-end te verfijnen. Dit raamwerk breidt de mogelijkheden voor herbelichting en reconstructie uit om een breder scala aan materialen op een data-gedreven manier te behandelen. De resulterende modellen produceren geloofwaardige renderingresultaten in bestaande en nieuwe omstandigheden. Wij zullen onze code en een nieuwe lichtstagedataset van objecten met onderhuidse verstrooiingseffecten openbaar beschikbaar maken.

English

Reconstructing and relighting objects and scenes under varying lighting conditions is challenging: existing neural rendering methods often cannot handle the complex interactions between materials and light. Incorporating pre-computed radiance transfer techniques enables global illumination, but still struggles with materials with subsurface scattering effects. We propose a novel framework for learning the radiance transfer field via volume rendering and utilizing various appearance cues to refine geometry end-to-end. This framework extends relighting and reconstruction capabilities to handle a wider range of materials in a data-driven fashion. The resulting models produce plausible rendering results in existing and novel conditions. We will release our code and a novel light stage dataset of objects with subsurface scattering effects publicly available.