Decomposizione dell'Immagine Intrinseca Diffusa a Colori in Ambienti Naturali

Colorful Diffuse Intrinsic Image Decomposition in the Wild

September 20, 2024

Autori: Chris Careaga, Yağız Aksoy

cs.AI

Abstract

La decomposizione dell'immagine intrinseca mira a separare la riflettanza superficiale dagli effetti dell'illuminazione data una singola fotografia. A causa della complessità del problema, la maggior parte dei lavori precedenti assume un'illuminazione monocromatica e un mondo lambertiano, il che limita il loro utilizzo nelle applicazioni di editing delle immagini consapevoli dell'illuminazione. In questo lavoro, suddividiamo un'immagine di input nei suoi componenti di albedo diffusa, sfumature diffuse colorate e residui speculari. Otteniamo il nostro risultato rimuovendo gradualmente prima l'illuminazione monocromatica e poi le assunzioni sul mondo lambertiano. Dimostriamo che dividendo il problema in sotto-problemi più semplici, è possibile ottenere una stima delle sfumature diffuse colorate in ambienti reali nonostante i limitati dataset di ground-truth. Il nostro modello intrinseco esteso consente un'analisi consapevole dell'illuminazione delle fotografie e può essere utilizzato per applicazioni di editing delle immagini come la rimozione della specularità e il bilanciamento del bianco per pixel.

English

Intrinsic image decomposition aims to separate the surface reflectance and the effects from the illumination given a single photograph. Due to the complexity of the problem, most prior works assume a single-color illumination and a Lambertian world, which limits their use in illumination-aware image editing applications. In this work, we separate an input image into its diffuse albedo, colorful diffuse shading, and specular residual components. We arrive at our result by gradually removing first the single-color illumination and then the Lambertian-world assumptions. We show that by dividing the problem into easier sub-problems, in-the-wild colorful diffuse shading estimation can be achieved despite the limited ground-truth datasets. Our extended intrinsic model enables illumination-aware analysis of photographs and can be used for image editing applications such as specularity removal and per-pixel white balancing.