Diffusione della Luce Controllabile per Ritratti

Controllable Light Diffusion for Portraits

May 8, 2023

Autori: David Futschik, Kelvin Ritland, James Vecore, Sean Fanello, Sergio Orts-Escolano, Brian Curless, Daniel Sýkora, Rohit Pandey

cs.AI

Abstract

Introduciamo la diffusione luminosa, un metodo innovativo per migliorare l'illuminazione nei ritratti, ammorbidendo ombre dure e riflessi speculari preservando al contempo l'illuminazione complessiva della scena. Ispirati dai diffusori e dalle velature utilizzati dai fotografi professionisti, il nostro metodo ammorbidisce l'illuminazione partendo da una singola foto ritratto. I precedenti approcci di riluminazione dei ritratti si concentrano sul cambiamento dell'intero ambiente luminoso, sulla rimozione delle ombre (ignorando i forti riflessi speculari) o sull'eliminazione completa delle ombreggiature. Al contrario, proponiamo un metodo basato sull'apprendimento che ci permette di controllare la quantità di diffusione luminosa e applicarla a ritratti scattati in condizioni reali. Inoltre, progettiamo un metodo per generare sinteticamente ombre esterne plausibili con effetti di scattering sub-superficiale, conformandosi alla forma del volto del soggetto. Infine, dimostriamo come il nostro approccio possa aumentare la robustezza di applicazioni di visione di livello superiore, come la stima dell'albedo, la stima della geometria e la segmentazione semantica.

English

We introduce light diffusion, a novel method to improve lighting in portraits, softening harsh shadows and specular highlights while preserving overall scene illumination. Inspired by professional photographers' diffusers and scrims, our method softens lighting given only a single portrait photo. Previous portrait relighting approaches focus on changing the entire lighting environment, removing shadows (ignoring strong specular highlights), or removing shading entirely. In contrast, we propose a learning based method that allows us to control the amount of light diffusion and apply it on in-the-wild portraits. Additionally, we design a method to synthetically generate plausible external shadows with sub-surface scattering effects while conforming to the shape of the subject's face. Finally, we show how our approach can increase the robustness of higher level vision applications, such as albedo estimation, geometry estimation and semantic segmentation.