Beheersbare Lichtdiffusie voor Portretten

Controllable Light Diffusion for Portraits

May 8, 2023

Auteurs: David Futschik, Kelvin Ritland, James Vecore, Sean Fanello, Sergio Orts-Escolano, Brian Curless, Daniel Sýkora, Rohit Pandey

cs.AI

Samenvatting

We introduceren lichtdiffusie, een nieuwe methode om de belichting in portretten te verbeteren, waarbij harde schaduwen en spiegelende hooglichten worden verzacht terwijl de algehele scèneverlichting behouden blijft. Geïnspireerd door de diffusers en scrims van professionele fotografen, verzacht onze methode de belichting op basis van slechts één portretfoto. Eerdere benaderingen voor portretherbelichting richten zich op het veranderen van de gehele lichtomgeving, het verwijderen van schaduwen (waarbij sterke spiegelende hooglichten worden genegeerd), of het volledig verwijderen van schaduw. In tegenstelling hiermee stellen we een op leren gebaseerde methode voor waarmee we de mate van lichtdiffusie kunnen beheersen en deze kunnen toepassen op portretten in natuurlijke omgevingen. Daarnaast ontwerpen we een methode om synthetisch plausibele externe schaduwen te genereren met sub-oppervlakte verstrooiingseffecten, die conform zijn aan de vorm van het gezicht van het onderwerp. Tot slot tonen we aan hoe onze aanpak de robuustheid van hogere niveau visuele toepassingen kan vergroten, zoals albedo-schatting, geometrie-schatting en semantische segmentatie.

English

We introduce light diffusion, a novel method to improve lighting in portraits, softening harsh shadows and specular highlights while preserving overall scene illumination. Inspired by professional photographers' diffusers and scrims, our method softens lighting given only a single portrait photo. Previous portrait relighting approaches focus on changing the entire lighting environment, removing shadows (ignoring strong specular highlights), or removing shading entirely. In contrast, we propose a learning based method that allows us to control the amount of light diffusion and apply it on in-the-wild portraits. Additionally, we design a method to synthetically generate plausible external shadows with sub-surface scattering effects while conforming to the shape of the subject's face. Finally, we show how our approach can increase the robustness of higher level vision applications, such as albedo estimation, geometry estimation and semantic segmentation.