Разноцветное диффузное внутреннее разложение изображения в естественных условиях

Colorful Diffuse Intrinsic Image Decomposition in the Wild

September 20, 2024

Авторы: Chris Careaga, Yağız Aksoy

cs.AI

Аннотация

Декомпозиция внутреннего изображения направлена на разделение поверхностной отражательной способности и эффектов от освещения на основе одного фотографии. Из-за сложности проблемы большинство предыдущих работ предполагают одноцветное освещение и мир Ламберта, что ограничивает их использование в приложениях редактирования изображений, учитывающих освещение. В данной работе мы разделяем входное изображение на его диффузную альбедо, разноцветное диффузное теневое освещение и спекулярные остаточные компоненты. Мы приходим к нашему результату, постепенно удаляя сначала одноцветное освещение, а затем предположения о мире Ламберта. Мы показываем, что, разделив проблему на более простые подзадачи, оценка разноцветного диффузного теневого освещения "на ходу" может быть достигнута несмотря на ограниченные наборы истинных данных. Наше расширенное внутреннее моделирование позволяет проводить анализ фотографий с учетом освещения и может использоваться для приложений редактирования изображений, таких как удаление бликов и балансировка белого пикселя.

English

Intrinsic image decomposition aims to separate the surface reflectance and the effects from the illumination given a single photograph. Due to the complexity of the problem, most prior works assume a single-color illumination and a Lambertian world, which limits their use in illumination-aware image editing applications. In this work, we separate an input image into its diffuse albedo, colorful diffuse shading, and specular residual components. We arrive at our result by gradually removing first the single-color illumination and then the Lambertian-world assumptions. We show that by dividing the problem into easier sub-problems, in-the-wild colorful diffuse shading estimation can be achieved despite the limited ground-truth datasets. Our extended intrinsic model enables illumination-aware analysis of photographs and can be used for image editing applications such as specularity removal and per-pixel white balancing.