초상화를 위한 제어 가능한 광확산

초록

우리는 초상화 조명 개선을 위한 새로운 방법인 빛 확산(light diffusion)을 소개한다. 이 방법은 전체 장면 조명을 보존하면서도 거친 그림자와 반사 하이라이트를 부드럽게 만든다. 전문 사진작가들이 사용하는 디퓨저와 스크림에서 영감을 받은 우리의 방법은 단일 초상화 사진만으로도 조명을 부드럽게 만든다. 기존의 초상화 재조명 접근법은 전체 조명 환경을 변경하거나, 그림자를 제거(강한 반사 하이라이트는 무시)하거나, 혹은 음영을 완전히 제거하는 데 초점을 맞추었다. 반면, 우리는 학습 기반 방법을 제안하여 빛 확산의 양을 제어하고 실제 환경에서 촬영된 초상화에 적용할 수 있도록 한다. 또한, 피사체의 얼굴 형태에 맞추면서도 하위 표면 산란 효과를 포함한 그럴듯한 외부 그림자를 합성적으로 생성하는 방법을 설계한다. 마지막으로, 우리의 접근법이 알베도 추정, 기하학적 구조 추정, 의미론적 분할과 같은 상위 수준의 시각 응용 분야의 견고성을 높일 수 있음을 보여준다.

English

We introduce light diffusion, a novel method to improve lighting in portraits, softening harsh shadows and specular highlights while preserving overall scene illumination. Inspired by professional photographers' diffusers and scrims, our method softens lighting given only a single portrait photo. Previous portrait relighting approaches focus on changing the entire lighting environment, removing shadows (ignoring strong specular highlights), or removing shading entirely. In contrast, we propose a learning based method that allows us to control the amount of light diffusion and apply it on in-the-wild portraits. Additionally, we design a method to synthetically generate plausible external shadows with sub-surface scattering effects while conforming to the shape of the subject's face. Finally, we show how our approach can increase the robustness of higher level vision applications, such as albedo estimation, geometry estimation and semantic segmentation.

초상화를 위한 제어 가능한 광확산

Controllable Light Diffusion for Portraits

초록

Support