Descomposición de Imágenes Intrínsecas Difusas en Entornos Variados

Colorful Diffuse Intrinsic Image Decomposition in the Wild

September 20, 2024

Autores: Chris Careaga, Yağız Aksoy

cs.AI

Resumen

La descomposición de la imagen intrínseca tiene como objetivo separar la reflectancia superficial y los efectos de la iluminación dada una sola fotografía. Debido a la complejidad del problema, la mayoría de los trabajos previos asumen una iluminación de un solo color y un mundo lambertiano, lo que limita su uso en aplicaciones de edición de imágenes conscientes de la iluminación. En este trabajo, separamos una imagen de entrada en su albedo difuso, sombreado difuso colorido y componentes residuales especulares. Llegamos a nuestro resultado eliminando gradualmente primero la iluminación de un solo color y luego las suposiciones del mundo lambertiano. Mostramos que al dividir el problema en subproblemas más simples, se puede lograr la estimación de sombreado difuso colorido en entornos no controlados a pesar de los conjuntos de datos de referencia limitados. Nuestro modelo intrínseco extendido permite el análisis consciente de la iluminación de fotografías y puede utilizarse para aplicaciones de edición de imágenes como la eliminación de la especularidad y el equilibrio de blancos píxel por píxel.

English

Intrinsic image decomposition aims to separate the surface reflectance and the effects from the illumination given a single photograph. Due to the complexity of the problem, most prior works assume a single-color illumination and a Lambertian world, which limits their use in illumination-aware image editing applications. In this work, we separate an input image into its diffuse albedo, colorful diffuse shading, and specular residual components. We arrive at our result by gradually removing first the single-color illumination and then the Lambertian-world assumptions. We show that by dividing the problem into easier sub-problems, in-the-wild colorful diffuse shading estimation can be achieved despite the limited ground-truth datasets. Our extended intrinsic model enables illumination-aware analysis of photographs and can be used for image editing applications such as specularity removal and per-pixel white balancing.