Décomposition d'image intrinsèque diffuse colorée dans la nature

Colorful Diffuse Intrinsic Image Decomposition in the Wild

September 20, 2024

Auteurs: Chris Careaga, Yağız Aksoy

cs.AI

Résumé

La décomposition d'image intrinsèque vise à séparer la réflectance de surface des effets de l'éclairage à partir d'une seule photographie. En raison de la complexité du problème, la plupart des travaux antérieurs supposent un éclairage monochrome et un monde lambertien, ce qui limite leur utilisation dans les applications d'édition d'images conscientes de l'éclairage. Dans ce travail, nous séparons une image d'entrée en son albédo diffus, son ombrage diffus coloré et ses composantes résiduelles spéculaires. Nous parvenons à notre résultat en éliminant progressivement d'abord l'éclairage monochrome, puis les hypothèses du monde lambertien. Nous montrons qu'en divisant le problème en sous-problèmes plus simples, une estimation de l'ombrage diffus coloré en conditions réelles peut être obtenue malgré les ensembles de données de vérité terrain limités. Notre modèle intrinsèque étendu permet une analyse consciente de l'éclairage des photographies et peut être utilisé pour des applications d'édition d'images telles que la suppression de la spécularité et l'équilibrage des blancs par pixel.

English

Intrinsic image decomposition aims to separate the surface reflectance and the effects from the illumination given a single photograph. Due to the complexity of the problem, most prior works assume a single-color illumination and a Lambertian world, which limits their use in illumination-aware image editing applications. In this work, we separate an input image into its diffuse albedo, colorful diffuse shading, and specular residual components. We arrive at our result by gradually removing first the single-color illumination and then the Lambertian-world assumptions. We show that by dividing the problem into easier sub-problems, in-the-wild colorful diffuse shading estimation can be achieved despite the limited ground-truth datasets. Our extended intrinsic model enables illumination-aware analysis of photographs and can be used for image editing applications such as specularity removal and per-pixel white balancing.