Reiluminación Neural con Dispersión Subsuperficial mediante el Aprendizaje del Gradiente de Transferencia de Radiancia

Neural Relighting with Subsurface Scattering by Learning the Radiance Transfer Gradient

June 15, 2023

Autores: Shizhan Zhu, Shunsuke Saito, Aljaz Bozic, Carlos Aliaga, Trevor Darrell, Christop Lassner

cs.AI

Resumen

Reconstruir y reiluminar objetos y escenas bajo condiciones de iluminación variables es un desafío: los métodos existentes de renderizado neuronal a menudo no pueden manejar las complejas interacciones entre materiales y luz. La incorporación de técnicas de transferencia de radiancia precalculadas permite la iluminación global, pero aún tiene dificultades con materiales que presentan efectos de dispersión subsuperficial. Proponemos un marco novedoso para aprender el campo de transferencia de radiancia mediante renderizado volumétrico y utilizar diversas señales de apariencia para refinar la geometría de extremo a extremo. Este marco amplía las capacidades de reiluminación y reconstrucción para manejar una gama más amplia de materiales de manera basada en datos. Los modelos resultantes producen resultados de renderizado plausibles en condiciones existentes y novedosas. Haremos público nuestro código y un nuevo conjunto de datos de escenario de luz con objetos que presentan efectos de dispersión subsuperficial.

English

Reconstructing and relighting objects and scenes under varying lighting conditions is challenging: existing neural rendering methods often cannot handle the complex interactions between materials and light. Incorporating pre-computed radiance transfer techniques enables global illumination, but still struggles with materials with subsurface scattering effects. We propose a novel framework for learning the radiance transfer field via volume rendering and utilizing various appearance cues to refine geometry end-to-end. This framework extends relighting and reconstruction capabilities to handle a wider range of materials in a data-driven fashion. The resulting models produce plausible rendering results in existing and novel conditions. We will release our code and a novel light stage dataset of objects with subsurface scattering effects publicly available.