Управляемая световая диффузия для портретов

Controllable Light Diffusion for Portraits

May 8, 2023

Авторы: David Futschik, Kelvin Ritland, James Vecore, Sean Fanello, Sergio Orts-Escolano, Brian Curless, Daniel Sýkora, Rohit Pandey

cs.AI

Аннотация

Мы представляем метод световой диффузии — новый подход к улучшению освещения на портретах, смягчающий резкие тени и блики при сохранении общей освещённости сцены. Вдохновлённый профессиональными фотографическими диффузорами и рассеивающими экранами, наш метод смягчает освещение, используя лишь одно портретное фото. Предыдущие подходы к изменению освещения на портретах сосредоточены на полной смене световой среды, удалении теней (игнорируя сильные блики) или полном устранении затенения. В отличие от них, мы предлагаем метод на основе машинного обучения, который позволяет контролировать степень световой диффузии и применять его к портретам, сделанным в естественных условиях. Кроме того, мы разработали способ синтетической генерации правдоподобных внешних теней с эффектами подповерхностного рассеяния, соответствующих форме лица объекта. Наконец, мы демонстрируем, как наш подход может повысить устойчивость более сложных задач компьютерного зрения, таких как оценка альбедо, оценка геометрии и семантическая сегментация.

English

We introduce light diffusion, a novel method to improve lighting in portraits, softening harsh shadows and specular highlights while preserving overall scene illumination. Inspired by professional photographers' diffusers and scrims, our method softens lighting given only a single portrait photo. Previous portrait relighting approaches focus on changing the entire lighting environment, removing shadows (ignoring strong specular highlights), or removing shading entirely. In contrast, we propose a learning based method that allows us to control the amount of light diffusion and apply it on in-the-wild portraits. Additionally, we design a method to synthetically generate plausible external shadows with sub-surface scattering effects while conforming to the shape of the subject's face. Finally, we show how our approach can increase the robustness of higher level vision applications, such as albedo estimation, geometry estimation and semantic segmentation.