Diffusion lumineuse contrôlable pour les portraits

Controllable Light Diffusion for Portraits

May 8, 2023

Auteurs: David Futschik, Kelvin Ritland, James Vecore, Sean Fanello, Sergio Orts-Escolano, Brian Curless, Daniel Sýkora, Rohit Pandey

cs.AI

Résumé

Nous introduisons la diffusion lumineuse, une méthode novatrice pour améliorer l'éclairage dans les portraits, adoucissant les ombres dures et les reflets spéculaires tout en préservant l'illumination globale de la scène. Inspirée par les diffuseurs et les écrans utilisés par les photographes professionnels, notre méthode adoucit l'éclairage à partir d'une seule photo de portrait. Les approches précédentes de rééclairage de portraits se concentrent sur la modification de l'ensemble de l'environnement lumineux, la suppression des ombres (en ignorant les reflets spéculaires intenses) ou la suppression totale des ombrages. En revanche, nous proposons une méthode basée sur l'apprentissage qui nous permet de contrôler le degré de diffusion lumineuse et de l'appliquer à des portraits pris en conditions réelles. De plus, nous concevons une méthode pour générer synthétiquement des ombres externes plausibles avec des effets de diffusion sous-cutanée tout en respectant la forme du visage du sujet. Enfin, nous montrons comment notre approche peut augmenter la robustesse des applications de vision de haut niveau, telles que l'estimation de l'albédo, l'estimation de la géométrie et la segmentation sémantique.

English

We introduce light diffusion, a novel method to improve lighting in portraits, softening harsh shadows and specular highlights while preserving overall scene illumination. Inspired by professional photographers' diffusers and scrims, our method softens lighting given only a single portrait photo. Previous portrait relighting approaches focus on changing the entire lighting environment, removing shadows (ignoring strong specular highlights), or removing shading entirely. In contrast, we propose a learning based method that allows us to control the amount of light diffusion and apply it on in-the-wild portraits. Additionally, we design a method to synthetically generate plausible external shadows with sub-surface scattering effects while conforming to the shape of the subject's face. Finally, we show how our approach can increase the robustness of higher level vision applications, such as albedo estimation, geometry estimation and semantic segmentation.