Universelles Bildrestaurierungs-Vortraining durch maskierte Degradationsklassifizierung

Universal Image Restoration Pre-training via Masked Degradation Classification

October 15, 2025

papers.authors: JiaKui Hu, Zhengjian Yao, Lujia Jin, Yinghao Chen, Yanye Lu

cs.AI

papers.abstract

Diese Studie stellt eine Methode zur Maskierten Degradationsklassifikations-Vorausbildung (MaskDCPT) vor, die entwickelt wurde, um die Klassifikation von Degradationstypen in Eingabebildern zu erleichtern und somit eine umfassende Vorausbildung für die Bildrestauration zu ermöglichen. Im Gegensatz zu herkömmlichen Vorausbildungsmethoden nutzt MaskDCPT den Degradationstyp des Bildes als äußerst schwache Supervision, während gleichzeitig die Bildrekonstruktion zur Steigerung der Leistung und Robustheit genutzt wird. MaskDCPT besteht aus einem Encoder und zwei Decodern: Der Encoder extrahiert Merkmale aus dem maskierten, qualitativ minderwertigen Eingabebild. Der Klassifikations-Decoder verwendet diese Merkmale, um den Degradationstyp zu identifizieren, während der Rekonstruktions-Decoder darauf abzielt, ein entsprechendes hochwertiges Bild zu rekonstruieren. Dieser Aufbau ermöglicht es der Vorausbildung, sowohl von der maskierten Bildmodellierung als auch vom kontrastiven Lernen zu profitieren, was zu einer generalisierten Darstellung führt, die für Restaurationsaufgaben geeignet ist. Dank der einfachen, aber effektiven MaskDCPT kann der vorausgebildete Encoder für universelle Bildrestauration eingesetzt werden und hervorragende Leistungen erzielen. Die Implementierung von MaskDCPT verbessert die Leistung sowohl von Convolutional Neural Networks (CNNs) als auch von Transformern erheblich, mit einer minimalen Steigerung des PSNR um 3,77 dB bei der 5D All-in-One-Restaurationsaufgabe und einer Reduktion des PIQE um 34,8 % im Vergleich zur Baseline in realen Degradationsszenarien. Es zeigt auch eine starke Generalisierungsfähigkeit gegenüber zuvor unbekannten Degradationstypen und -stufen. Zusätzlich haben wir den UIR-2.5M-Datensatz kuratiert und veröffentlicht, der 2,5 Millionen gepaarte Restaurationsbeispiele über 19 Degradationstypen und mehr als 200 Degradationsstufen umfasst und sowohl synthetische als auch reale Daten enthält. Der Datensatz, der Quellcode und die Modelle sind unter https://github.com/MILab-PKU/MaskDCPT verfügbar.

English

This study introduces a Masked Degradation Classification Pre-Training method (MaskDCPT), designed to facilitate the classification of degradation types in input images, leading to comprehensive image restoration pre-training. Unlike conventional pre-training methods, MaskDCPT uses the degradation type of the image as an extremely weak supervision, while simultaneously leveraging the image reconstruction to enhance performance and robustness. MaskDCPT includes an encoder and two decoders: the encoder extracts features from the masked low-quality input image. The classification decoder uses these features to identify the degradation type, whereas the reconstruction decoder aims to reconstruct a corresponding high-quality image. This design allows the pre-training to benefit from both masked image modeling and contrastive learning, resulting in a generalized representation suited for restoration tasks. Benefit from the straightforward yet potent MaskDCPT, the pre-trained encoder can be used to address universal image restoration and achieve outstanding performance. Implementing MaskDCPT significantly improves performance for both convolution neural networks (CNNs) and Transformers, with a minimum increase in PSNR of 3.77 dB in the 5D all-in-one restoration task and a 34.8% reduction in PIQE compared to baseline in real-world degradation scenarios. It also emergences strong generalization to previously unseen degradation types and levels. In addition, we curate and release the UIR-2.5M dataset, which includes 2.5 million paired restoration samples across 19 degradation types and over 200 degradation levels, incorporating both synthetic and real-world data. The dataset, source code, and models are available at https://github.com/MILab-PKU/MaskDCPT.