Neural Relighting con Scattering Sottosuperficiale Apprendendo il Gradiente del Trasferimento di Radianza

Neural Relighting with Subsurface Scattering by Learning the Radiance Transfer Gradient

June 15, 2023

Autori: Shizhan Zhu, Shunsuke Saito, Aljaz Bozic, Carlos Aliaga, Trevor Darrell, Christop Lassner

cs.AI

Abstract

La ricostruzione e la riluminazione di oggetti e scene in condizioni di illuminazione variabile rappresenta una sfida significativa: i metodi esistenti di rendering neurale spesso non sono in grado di gestire le complesse interazioni tra materiali e luce. L'incorporazione di tecniche di trasferimento di radianza pre-calcolate consente l'illuminazione globale, ma continua a presentare difficoltà con materiali che presentano effetti di scattering sottosuperficiale. Proponiamo un nuovo framework per l'apprendimento del campo di trasferimento di radianza attraverso il rendering volumetrico e l'utilizzo di vari indizi di aspetto per affinare la geometria end-to-end. Questo framework estende le capacità di riluminazione e ricostruzione per gestire una gamma più ampia di materiali in modo guidato dai dati. I modelli risultanti producono risultati di rendering plausibili in condizioni esistenti e nuove. Rilasceremo pubblicamente il nostro codice e un nuovo dataset di oggetti con effetti di scattering sottosuperficiale acquisiti in un light stage.

English

Reconstructing and relighting objects and scenes under varying lighting conditions is challenging: existing neural rendering methods often cannot handle the complex interactions between materials and light. Incorporating pre-computed radiance transfer techniques enables global illumination, but still struggles with materials with subsurface scattering effects. We propose a novel framework for learning the radiance transfer field via volume rendering and utilizing various appearance cues to refine geometry end-to-end. This framework extends relighting and reconstruction capabilities to handle a wider range of materials in a data-driven fashion. The resulting models produce plausible rendering results in existing and novel conditions. We will release our code and a novel light stage dataset of objects with subsurface scattering effects publicly available.