Tokenize Beeldpatches: Globale Contextfusie voor Effectieve Nevelverwijdering in Grote Beelden

Tokenize Image Patches: Global Context Fusion for Effective Haze Removal in Large Images

April 13, 2025

Auteurs: Jiuchen Chen, Xinyu Yan, Qizhi Xu, Kaiqi Li

cs.AI

Samenvatting

Globale contextuele informatie en lokale detailkenmerken zijn essentieel voor taken gericht op het verwijderen van mist. Deep learning-modellen presteren goed op kleine, laagresolutie afbeeldingen, maar ondervinden problemen met grote, hoogresolutie afbeeldingen vanwege beperkingen in GPU-geheugen. Als compromis nemen ze vaak hun toevlucht tot het opdelen van afbeeldingen of het verlagen van de resolutie. Het eerste vermindert de globale informatie, terwijl het laatste hoogfrequente details weglaat. Om deze uitdagingen aan te pakken, stellen we DehazeXL voor, een methode voor het verwijderen van mist die effectief een balans vindt tussen globale context en lokale feature-extractie, waardoor end-to-end modellering van grote afbeeldingen op gangbare GPU-hardware mogelijk wordt. Daarnaast hebben we, om de efficiëntie van het gebruik van globale context bij het verwijderen van mist te evalueren, een visuele attributiemethode ontworpen die is afgestemd op de kenmerken van mistverwijderingstaken. Tot slot, erkennend dat er een gebrek is aan benchmarkdatasets voor het verwijderen van mist in grote afbeeldingen, hebben we een ultrahoogresolutie dataset voor mistverwijdering ontwikkeld (8KDehaze) om modeltraining en -testen te ondersteunen. Deze bevat 10.000 paren van heldere en mistige remote sensing-afbeeldingen, elk met een grootte van 8192 bij 8192 pixels. Uitgebreide experimenten tonen aan dat DehazeXL afbeeldingen tot 10240 bij 10240 pixels kan verwerken met slechts 21 GB geheugen, waarbij het state-of-the-art resultaten behaalt onder alle geëvalueerde methoden. De broncode en het experimentele dataset zijn beschikbaar op https://github.com/CastleChen339/DehazeXL.

English

Global contextual information and local detail features are essential for haze removal tasks. Deep learning models perform well on small, low-resolution images, but they encounter difficulties with large, high-resolution ones due to GPU memory limitations. As a compromise, they often resort to image slicing or downsampling. The former diminishes global information, while the latter discards high-frequency details. To address these challenges, we propose DehazeXL, a haze removal method that effectively balances global context and local feature extraction, enabling end-to-end modeling of large images on mainstream GPU hardware. Additionally, to evaluate the efficiency of global context utilization in haze removal performance, we design a visual attribution method tailored to the characteristics of haze removal tasks. Finally, recognizing the lack of benchmark datasets for haze removal in large images, we have developed an ultra-high-resolution haze removal dataset (8KDehaze) to support model training and testing. It includes 10000 pairs of clear and hazy remote sensing images, each sized at 8192 times 8192 pixels. Extensive experiments demonstrate that DehazeXL can infer images up to 10240 times 10240 pixels with only 21 GB of memory, achieving state-of-the-art results among all evaluated methods. The source code and experimental dataset are available at https://github.com/CastleChen339/DehazeXL.