Обрезка перепараметризованных многозадачных сетей для восстановления деградированных веб-изображений

Pruning Overparameterized Multi-Task Networks for Degraded Web Image Restoration

October 16, 2025

Авторы: Thomas Katraouras, Dimitrios Rafailidis

cs.AI

Аннотация

Качество изображений является критически важным фактором для предоставления визуально привлекательного контента на веб-платформах. Однако изображения часто подвергаются ухудшению из-за потерь, вызванных операциями сжатия, применяемыми онлайн-социальными сетями (OSN), что негативно сказывается на пользовательском опыте. Восстановление изображений — это процесс восстановления чистого высококачественного изображения из заданного ухудшенного входного сигнала. В последнее время многофункциональные (все-в-одном) модели восстановления изображений привлекли значительное внимание благодаря своей способности одновременно справляться с различными типами ухудшений изображений. Однако такие модели часто обладают чрезмерно большим количеством обучаемых параметров, что делает их вычислительно неэффективными. В данной статье мы предлагаем стратегию сжатия многофункциональных моделей восстановления изображений. Наша цель — обнаружить высокоразреженные подсети в перепараметризованных глубоких моделях, которые могут соответствовать или даже превосходить производительность их плотных аналогов. Предлагаемая модель, названная MIR-L, использует итеративную стратегию обрезки, которая удаляет веса с низкими значениями в несколько этапов, одновременно сбрасывая оставшиеся веса к их исходной инициализации. Этот итеративный процесс важен для оптимизации многофункциональной модели восстановления изображений, эффективно выявляя "выигрышные билеты", которые сохраняют или превосходят современные показатели производительности при высоких уровнях разреженности. Экспериментальная оценка на эталонных наборах данных для задач удаления дождя, тумана и шума показывает, что MIR-L сохраняет только 10% обучаемых параметров, при этом поддерживая высокую производительность восстановления изображений. Наш код, наборы данных и предобученные модели доступны по адресу https://github.com/Thomkat/MIR-L.

English

Image quality is a critical factor in delivering visually appealing content on web platforms. However, images often suffer from degradation due to lossy operations applied by online social networks (OSNs), negatively affecting user experience. Image restoration is the process of recovering a clean high-quality image from a given degraded input. Recently, multi-task (all-in-one) image restoration models have gained significant attention, due to their ability to simultaneously handle different types of image degradations. However, these models often come with an excessively high number of trainable parameters, making them computationally inefficient. In this paper, we propose a strategy for compressing multi-task image restoration models. We aim to discover highly sparse subnetworks within overparameterized deep models that can match or even surpass the performance of their dense counterparts. The proposed model, namely MIR-L, utilizes an iterative pruning strategy that removes low-magnitude weights across multiple rounds, while resetting the remaining weights to their original initialization. This iterative process is important for the multi-task image restoration model's optimization, effectively uncovering "winning tickets" that maintain or exceed state-of-the-art performance at high sparsity levels. Experimental evaluation on benchmark datasets for the deraining, dehazing, and denoising tasks shows that MIR-L retains only 10% of the trainable parameters while maintaining high image restoration performance. Our code, datasets and pre-trained models are made publicly available at https://github.com/Thomkat/MIR-L.