Decomposição de Imagem Intrínseca Difusa Colorida em Ambientes Naturais

Colorful Diffuse Intrinsic Image Decomposition in the Wild

September 20, 2024

Autores: Chris Careaga, Yağız Aksoy

cs.AI

Resumo

A decomposição de imagem intrínseca tem como objetivo separar a reflectância da superfície e os efeitos da iluminação em uma única fotografia. Devido à complexidade do problema, a maioria dos trabalhos anteriores assume uma iluminação de cor única e um mundo lambertiano, o que limita sua utilização em aplicações de edição de imagem sensíveis à iluminação. Neste trabalho, separamos uma imagem de entrada em seu albedo difuso, sombreamento difuso colorido e componentes residuais especulares. Chegamos ao nosso resultado removendo gradualmente primeiro a iluminação de cor única e depois as suposições do mundo lambertiano. Mostramos que, dividindo o problema em subproblemas mais simples, a estimativa de sombreamento difuso colorido em ambientes naturais pode ser alcançada, apesar dos conjuntos de dados limitados de verdade terrestre. Nosso modelo intrínseco estendido permite a análise sensível à iluminação de fotografias e pode ser usado para aplicações de edição de imagem, como remoção de especularidade e balanceamento de branco por pixel.

English

Intrinsic image decomposition aims to separate the surface reflectance and the effects from the illumination given a single photograph. Due to the complexity of the problem, most prior works assume a single-color illumination and a Lambertian world, which limits their use in illumination-aware image editing applications. In this work, we separate an input image into its diffuse albedo, colorful diffuse shading, and specular residual components. We arrive at our result by gradually removing first the single-color illumination and then the Lambertian-world assumptions. We show that by dividing the problem into easier sub-problems, in-the-wild colorful diffuse shading estimation can be achieved despite the limited ground-truth datasets. Our extended intrinsic model enables illumination-aware analysis of photographs and can be used for image editing applications such as specularity removal and per-pixel white balancing.