Universele Voorbereiding op Beeldherstel via Gemaskeerde Degradatieclassificatie

Universal Image Restoration Pre-training via Masked Degradation Classification

October 15, 2025

Auteurs: JiaKui Hu, Zhengjian Yao, Lujia Jin, Yinghao Chen, Yanye Lu

cs.AI

Samenvatting

Dit onderzoek introduceert een Masked Degradation Classification Pre-Training methode (MaskDCPT), ontworpen om de classificatie van degradatietypen in invoerbeelden te vergemakkelijken, wat leidt tot een uitgebreide voorafgaande training voor beeldherstel. In tegenstelling tot conventionele voorafgaande trainingsmethoden, gebruikt MaskDCPT het degradatietype van het beeld als een extreem zwakke supervisie, terwijl tegelijkertijd beeldreconstructie wordt benut om de prestaties en robuustheid te verbeteren. MaskDCPT omvat een encoder en twee decoders: de encoder extraheert kenmerken uit het gemaskeerde laagkwaliteitsinvoerbeeld. De classificatiedecoder gebruikt deze kenmerken om het degradatietype te identificeren, terwijl de reconstructiedecoder streeft naar het reconstrueren van een corresponderend hoogkwaliteitsbeeld. Dit ontwerp stelt de voorafgaande training in staat te profiteren van zowel gemaskeerde beeldmodellering als contrastief leren, wat resulteert in een gegeneraliseerde representatie die geschikt is voor hersteltaken. Dankzij de eenvoudige maar krachtige MaskDCPT kan de vooraf getrainde encoder worden gebruikt voor universeel beeldherstel en uitstekende prestaties behalen. De implementatie van MaskDCPT verbetert de prestaties aanzienlijk voor zowel convolutionele neurale netwerken (CNN's) als Transformers, met een minimale toename van 3,77 dB in PSNR bij de 5D all-in-one hersteltaak en een reductie van 34,8% in PIQE vergeleken met de baseline in realistische degradatiescenario's. Het vertoont ook een sterke generalisatie naar voorheen onbekende degradatietypen en -niveaus. Daarnaast hebben we de UIR-2.5M dataset samengesteld en vrijgegeven, die 2,5 miljoen gepaarde herstelvoorbeelden bevat over 19 degradatietypen en meer dan 200 degradatieniveaus, waarbij zowel synthetische als realistische data zijn opgenomen. De dataset, broncode en modellen zijn beschikbaar op https://github.com/MILab-PKU/MaskDCPT.

English

This study introduces a Masked Degradation Classification Pre-Training method (MaskDCPT), designed to facilitate the classification of degradation types in input images, leading to comprehensive image restoration pre-training. Unlike conventional pre-training methods, MaskDCPT uses the degradation type of the image as an extremely weak supervision, while simultaneously leveraging the image reconstruction to enhance performance and robustness. MaskDCPT includes an encoder and two decoders: the encoder extracts features from the masked low-quality input image. The classification decoder uses these features to identify the degradation type, whereas the reconstruction decoder aims to reconstruct a corresponding high-quality image. This design allows the pre-training to benefit from both masked image modeling and contrastive learning, resulting in a generalized representation suited for restoration tasks. Benefit from the straightforward yet potent MaskDCPT, the pre-trained encoder can be used to address universal image restoration and achieve outstanding performance. Implementing MaskDCPT significantly improves performance for both convolution neural networks (CNNs) and Transformers, with a minimum increase in PSNR of 3.77 dB in the 5D all-in-one restoration task and a 34.8% reduction in PIQE compared to baseline in real-world degradation scenarios. It also emergences strong generalization to previously unseen degradation types and levels. In addition, we curate and release the UIR-2.5M dataset, which includes 2.5 million paired restoration samples across 19 degradation types and over 200 degradation levels, incorporating both synthetic and real-world data. The dataset, source code, and models are available at https://github.com/MILab-PKU/MaskDCPT.