Kleurrijke Diffuse Intrinsieke Beeldontbinding in het Wild

Colorful Diffuse Intrinsic Image Decomposition in the Wild

September 20, 2024

Auteurs: Chris Careaga, Yağız Aksoy

cs.AI

Samenvatting

Intrinsieke beelddecompositie heeft als doel het oppervlaktereflectie en de effecten van de belichting te scheiden op basis van een enkele foto. Vanwege de complexiteit van het probleem gaan de meeste eerdere werken uit van een enkelkleurige verlichting en een Lambertiaanse wereld, wat hun toepassing beperkt in belichtingsbewuste beeldbewerkingsapplicaties. In dit onderzoek splitsen we een invoerbeeld op in zijn diffuse albedo, kleurrijke diffuse schaduw en speculaire restcomponenten. We komen tot ons resultaat door eerst de enkelkleurige belichting en vervolgens de Lambertiaanse wereld aannames geleidelijk te verwijderen. We tonen aan dat door het probleem op te delen in eenvoudigere subproblemen, schattingen van kleurrijke diffuse schaduwen in natuurlijke omgevingen kunnen worden bereikt ondanks de beperkte datasets met ware gegevens. Ons uitgebreide intrinsieke model maakt belichtingsbewuste analyse van foto's mogelijk en kan worden gebruikt voor beeldbewerkingsapplicaties zoals het verwijderen van spiegelende effecten en per-pixel witbalans.

English

Intrinsic image decomposition aims to separate the surface reflectance and the effects from the illumination given a single photograph. Due to the complexity of the problem, most prior works assume a single-color illumination and a Lambertian world, which limits their use in illumination-aware image editing applications. In this work, we separate an input image into its diffuse albedo, colorful diffuse shading, and specular residual components. We arrive at our result by gradually removing first the single-color illumination and then the Lambertian-world assumptions. We show that by dividing the problem into easier sub-problems, in-the-wild colorful diffuse shading estimation can be achieved despite the limited ground-truth datasets. Our extended intrinsic model enables illumination-aware analysis of photographs and can be used for image editing applications such as specularity removal and per-pixel white balancing.