野生環境におけるカラフルな拡散固有画像分解

Colorful Diffuse Intrinsic Image Decomposition in the Wild

September 20, 2024

著者: Chris Careaga, Yağız Aksoy

cs.AI

要旨

固有画像分解は、単一の写真から表面反射率と照明効果を分離することを目指しています。問題の複雑さから、従来の多くの研究は単色の照明とランベルトワールドを仮定しており、これにより照明を考慮した画像編集アプリケーションでの使用が制限されています。本研究では、入力画像を拡散反射率、カラフルな拡散シェーディング、および鏡面残留成分に分離します。我々は、まず単色の照明を、次にランベルトワールドの仮定を段階的に取り除くことで結果を導き出します。問題をより簡単なサブ問題に分割することで、限られた正解データセットにもかかわらず、野生のカラフルな拡散シェーディングの推定が可能であることを示します。拡張された固有モデルにより、写真の照明を考慮した分析が可能となり、スペキュラリティの除去やピクセルごとのホワイトバランス調整などの画像編集アプリケーションに使用できます。

English

Intrinsic image decomposition aims to separate the surface reflectance and the effects from the illumination given a single photograph. Due to the complexity of the problem, most prior works assume a single-color illumination and a Lambertian world, which limits their use in illumination-aware image editing applications. In this work, we separate an input image into its diffuse albedo, colorful diffuse shading, and specular residual components. We arrive at our result by gradually removing first the single-color illumination and then the Lambertian-world assumptions. We show that by dividing the problem into easier sub-problems, in-the-wild colorful diffuse shading estimation can be achieved despite the limited ground-truth datasets. Our extended intrinsic model enables illumination-aware analysis of photographs and can be used for image editing applications such as specularity removal and per-pixel white balancing.