Pre-addestramento Universale per il Restauro di Immagini tramite Classificazione di Degradazione Maschera

Universal Image Restoration Pre-training via Masked Degradation Classification

October 15, 2025

Autori: JiaKui Hu, Zhengjian Yao, Lujia Jin, Yinghao Chen, Yanye Lu

cs.AI

Abstract

Questo studio introduce un metodo di pre-addestramento per la classificazione del degrado mascherato (MaskDCPT), progettato per facilitare la classificazione dei tipi di degrado nelle immagini di input, portando a un pre-addestramento completo per il ripristino delle immagini. A differenza dei metodi di pre-addestramento convenzionali, MaskDCPT utilizza il tipo di degrado dell'immagine come una supervisione estremamente debole, sfruttando contemporaneamente la ricostruzione dell'immagine per migliorare le prestazioni e la robustezza. MaskDCPT include un encoder e due decoder: l'encoder estrae le caratteristiche dall'immagine di input di bassa qualità mascherata. Il decoder di classificazione utilizza queste caratteristiche per identificare il tipo di degrado, mentre il decoder di ricostruzione mira a ricostruire un'immagine di alta qualità corrispondente. Questo design consente al pre-addestramento di beneficiare sia della modellazione delle immagini mascherate che dell'apprendimento contrastivo, ottenendo una rappresentazione generalizzata adatta ai compiti di ripristino. Grazie alla semplicità e alla potenza di MaskDCPT, l'encoder pre-addestrato può essere utilizzato per affrontare il ripristino universale delle immagini e ottenere prestazioni eccezionali. L'implementazione di MaskDCPT migliora significativamente le prestazioni sia delle reti neurali convoluzionali (CNN) che dei Transformer, con un aumento minimo del PSNR di 3.77 dB nel compito di ripristino all-in-one 5D e una riduzione del 34.8% nel PIQE rispetto alla baseline negli scenari di degrado del mondo reale. Emerge inoltre una forte generalizzazione per tipi e livelli di degrado precedentemente non visti. Inoltre, abbiamo curato e rilasciato il dataset UIR-2.5M, che include 2.5 milioni di campioni di ripristino accoppiati attraverso 19 tipi di degrado e oltre 200 livelli di degrado, incorporando sia dati sintetici che del mondo reale. Il dataset, il codice sorgente e i modelli sono disponibili all'indirizzo https://github.com/MILab-PKU/MaskDCPT.

English

This study introduces a Masked Degradation Classification Pre-Training method (MaskDCPT), designed to facilitate the classification of degradation types in input images, leading to comprehensive image restoration pre-training. Unlike conventional pre-training methods, MaskDCPT uses the degradation type of the image as an extremely weak supervision, while simultaneously leveraging the image reconstruction to enhance performance and robustness. MaskDCPT includes an encoder and two decoders: the encoder extracts features from the masked low-quality input image. The classification decoder uses these features to identify the degradation type, whereas the reconstruction decoder aims to reconstruct a corresponding high-quality image. This design allows the pre-training to benefit from both masked image modeling and contrastive learning, resulting in a generalized representation suited for restoration tasks. Benefit from the straightforward yet potent MaskDCPT, the pre-trained encoder can be used to address universal image restoration and achieve outstanding performance. Implementing MaskDCPT significantly improves performance for both convolution neural networks (CNNs) and Transformers, with a minimum increase in PSNR of 3.77 dB in the 5D all-in-one restoration task and a 34.8% reduction in PIQE compared to baseline in real-world degradation scenarios. It also emergences strong generalization to previously unseen degradation types and levels. In addition, we curate and release the UIR-2.5M dataset, which includes 2.5 million paired restoration samples across 19 degradation types and over 200 degradation levels, incorporating both synthetic and real-world data. The dataset, source code, and models are available at https://github.com/MILab-PKU/MaskDCPT.