Neuronales Neubeleuchtung mit Unterflächenstreuung durch Erlernen des Radianztransfergradienten

Neural Relighting with Subsurface Scattering by Learning the Radiance Transfer Gradient

June 15, 2023

Autoren: Shizhan Zhu, Shunsuke Saito, Aljaz Bozic, Carlos Aliaga, Trevor Darrell, Christop Lassner

cs.AI

Zusammenfassung

Die Rekonstruktion und Neubeleuchtung von Objekten und Szenen unter variierenden Lichtbedingungen ist eine Herausforderung: bestehende neuronale Rendering-Methoden können oft die komplexen Wechselwirkungen zwischen Materialien und Licht nicht bewältigen. Die Einbindung von vorberechneten Radiance-Transfer-Techniken ermöglicht zwar globale Beleuchtung, hat jedoch weiterhin Schwierigkeiten mit Materialien, die Subsurface-Scattering-Effekte aufweisen. Wir schlagen ein neuartiges Framework vor, das das Radiance-Transfer-Feld durch Volumenrendering lernt und verschiedene Erscheinungsmerkmale nutzt, um die Geometrie end-to-end zu verfeinern. Dieses Framework erweitert die Fähigkeiten zur Neubeleuchtung und Rekonstruktion, um eine breitere Palette von Materialien auf datengetriebene Weise zu handhaben. Die resultierenden Modelle erzeugen plausible Rendering-Ergebnisse in bestehenden und neuen Bedingungen. Wir werden unseren Code sowie einen neuartigen Light-Stage-Datensatz von Objekten mit Subsurface-Scattering-Effekten öffentlich zugänglich machen.

English

Reconstructing and relighting objects and scenes under varying lighting conditions is challenging: existing neural rendering methods often cannot handle the complex interactions between materials and light. Incorporating pre-computed radiance transfer techniques enables global illumination, but still struggles with materials with subsurface scattering effects. We propose a novel framework for learning the radiance transfer field via volume rendering and utilizing various appearance cues to refine geometry end-to-end. This framework extends relighting and reconstruction capabilities to handle a wider range of materials in a data-driven fashion. The resulting models produce plausible rendering results in existing and novel conditions. We will release our code and a novel light stage dataset of objects with subsurface scattering effects publicly available.