과잉 매개변수화된 다중 작업 네트워크의 가지치기를 통한 저하된 웹 이미지 복원

Pruning Overparameterized Multi-Task Networks for Degraded Web Image Restoration

October 16, 2025

저자: Thomas Katraouras, Dimitrios Rafailidis

cs.AI

초록

이미지 품질은 웹 플랫폼에서 시각적으로 매력적인 콘텐츠를 제공하는 데 있어 중요한 요소입니다. 그러나 온라인 소셜 네트워크(OSNs)에서 적용되는 손실 압축 작업으로 인해 이미지가 저하되는 경우가 많아 사용자 경험에 부정적인 영향을 미칩니다. 이미지 복원은 주어진 저하된 입력에서 깨끗한 고품질 이미지를 복구하는 과정입니다. 최근에는 다양한 유형의 이미지 저하를 동시에 처리할 수 있는 다중 작업(올인원) 이미지 복원 모델이 큰 관심을 받고 있습니다. 그러나 이러한 모델들은 훈련 가능한 매개변수의 수가 지나치게 많아 계산적으로 비효율적인 경우가 많습니다. 본 논문에서는 다중 작업 이미지 복원 모델을 압축하기 위한 전략을 제안합니다. 우리는 과매개변수화된 심층 모델 내에서 고밀도의 대응 모델의 성능을 맞추거나 능가할 수 있는 고도로 희소한 서브네트워크를 발견하는 것을 목표로 합니다. 제안된 모델인 MIR-L은 여러 라운드에 걸쳐 낮은 크기의 가중치를 제거하면서 남은 가중치를 원래 초기화 값으로 재설정하는 반복적 가지치기 전략을 활용합니다. 이 반복적 과정은 다중 작업 이미지 복원 모델의 최적화에 중요하며, 높은 희소성 수준에서도 최첨단 성능을 유지하거나 능가하는 "승자 티켓"을 효과적으로 발견합니다. 비 제거, 안개 제거, 노이즈 제거 작업에 대한 벤치마크 데이터셋에서의 실험 평가 결과, MIR-L은 훈련 가능한 매개변수의 10%만을 유지하면서도 높은 이미지 복원 성능을 유지하는 것으로 나타났습니다. 우리의 코드, 데이터셋 및 사전 훈련된 모델은 https://github.com/Thomkat/MIR-L에서 공개되어 있습니다.

English

Image quality is a critical factor in delivering visually appealing content on web platforms. However, images often suffer from degradation due to lossy operations applied by online social networks (OSNs), negatively affecting user experience. Image restoration is the process of recovering a clean high-quality image from a given degraded input. Recently, multi-task (all-in-one) image restoration models have gained significant attention, due to their ability to simultaneously handle different types of image degradations. However, these models often come with an excessively high number of trainable parameters, making them computationally inefficient. In this paper, we propose a strategy for compressing multi-task image restoration models. We aim to discover highly sparse subnetworks within overparameterized deep models that can match or even surpass the performance of their dense counterparts. The proposed model, namely MIR-L, utilizes an iterative pruning strategy that removes low-magnitude weights across multiple rounds, while resetting the remaining weights to their original initialization. This iterative process is important for the multi-task image restoration model's optimization, effectively uncovering "winning tickets" that maintain or exceed state-of-the-art performance at high sparsity levels. Experimental evaluation on benchmark datasets for the deraining, dehazing, and denoising tasks shows that MIR-L retains only 10% of the trainable parameters while maintaining high image restoration performance. Our code, datasets and pre-trained models are made publicly available at https://github.com/Thomkat/MIR-L.