Farbenfrohe diffuse intrinsische Bildzerlegung in freier Wildbahn

Colorful Diffuse Intrinsic Image Decomposition in the Wild

September 20, 2024

Autoren: Chris Careaga, Yağız Aksoy

cs.AI

Zusammenfassung

Die intrinsische Bildzerlegung zielt darauf ab, die Oberflächenreflexion und die Effekte der Beleuchtung in einem einzigen Foto zu trennen. Aufgrund der Komplexität des Problems gehen die meisten früheren Arbeiten von einer einfarbigen Beleuchtung und einer lambertschen Welt aus, was ihre Verwendung in Beleuchtungs-bewussten Bildbearbeitungsanwendungen einschränkt. In dieser Arbeit trennen wir ein Eingangsbild in seine diffuse Albedo, farbenfrohe diffuse Schattierung und spekuläre Restkomponenten auf. Wir gelangen zu unserem Ergebnis, indem wir zuerst die einfarbige Beleuchtung und dann die lambertschen Weltannahmen schrittweise entfernen. Wir zeigen, dass durch die Aufteilung des Problems in einfachere Teilprobleme eine präzise Schätzung der farbenfrohen diffusen Schattierung in natürlichen Umgebungen trotz begrenzter Ground-Truth-Datensätze erreicht werden kann. Unser erweitertes intrinsisches Modell ermöglicht eine Beleuchtungs-bewusste Analyse von Fotos und kann für Bildbearbeitungsanwendungen wie die Entfernung von Spekularreflexionen und das Pixel-weise Weißabgleich verwendet werden.

English

Intrinsic image decomposition aims to separate the surface reflectance and the effects from the illumination given a single photograph. Due to the complexity of the problem, most prior works assume a single-color illumination and a Lambertian world, which limits their use in illumination-aware image editing applications. In this work, we separate an input image into its diffuse albedo, colorful diffuse shading, and specular residual components. We arrive at our result by gradually removing first the single-color illumination and then the Lambertian-world assumptions. We show that by dividing the problem into easier sub-problems, in-the-wild colorful diffuse shading estimation can be achieved despite the limited ground-truth datasets. Our extended intrinsic model enables illumination-aware analysis of photographs and can be used for image editing applications such as specularity removal and per-pixel white balancing.