TAT: Задачно-Адаптивный Трансформер для Универсального Восстановления Медицинских Изображений

TAT: Task-Adaptive Transformer for All-in-One Medical Image Restoration

December 16, 2025

Авторы: Zhiwen Yang, Jiaju Zhang, Yang Yi, Jian Liang, Bingzheng Wei, Yan Xu

cs.AI

Аннотация

Восстановление медицинских изображений (MedIR) направлено на получение высококачественных медицинских изображений из их низкокачественных аналогов. Последние достижения в области MedIR были сосредоточены на универсальных моделях (All-in-One), способных одновременно решать несколько различных задач MedIR. Однако из-за значительных различий как в модальностях, так и в типах деградации, использование общей модели для этих разнородных задач требует тщательного учёта двух критически важных взаимосвязей между задачами: интерференции задач, которая возникает при конфликтующих направлениях обновления градиента для разных задач на одном и том же параметре, и дисбаланса задач, который относится к неравномерной оптимизации, вызванной различной сложностью обучения, присущей каждой задаче. Для решения этих проблем мы предлагаем трансформер с адаптацией к задачам (TAT) — новую архитектуру, которая динамически адаптируется к различным задачам благодаря двум ключевым инновациям. Во-первых,引入了 стратегия генерации адаптивных весов задач для смягчения интерференции задач путём генерации специфичных для задачи параметров весов, что устраняет потенциальные конфликты градиентов на общих параметрах. Во-вторых,引入了 стратегия динамического балансирования потерь, которая регулирует веса функций потерь на основе сложности обучения каждой задачи, предотвращая доминирование или недостаточное обучение отдельных задач. Многочисленные эксперименты демонстрируют, что предложенный метод TAT достигает наилучших результатов в трёх задачах MedIR — синтезе ПЭТ, подавлении шума КТ и супер-разрешении МРТ — как в рамках индивидуального обучения для каждой задачи, так и в универсальном режиме All-in-One. Код доступен по адресу https://github.com/Yaziwel/TAT.

English

Medical image restoration (MedIR) aims to recover high-quality medical images from their low-quality counterparts. Recent advancements in MedIR have focused on All-in-One models capable of simultaneously addressing multiple different MedIR tasks. However, due to significant differences in both modality and degradation types, using a shared model for these diverse tasks requires careful consideration of two critical inter-task relationships: task interference, which occurs when conflicting gradient update directions arise across tasks on the same parameter, and task imbalance, which refers to uneven optimization caused by varying learning difficulties inherent to each task. To address these challenges, we propose a task-adaptive Transformer (TAT), a novel framework that dynamically adapts to different tasks through two key innovations. First, a task-adaptive weight generation strategy is introduced to mitigate task interference by generating task-specific weight parameters for each task, thereby eliminating potential gradient conflicts on shared weight parameters. Second, a task-adaptive loss balancing strategy is introduced to dynamically adjust loss weights based on task-specific learning difficulties, preventing task domination or undertraining. Extensive experiments demonstrate that our proposed TAT achieves state-of-the-art performance in three MedIR tasks--PET synthesis, CT denoising, and MRI super-resolution--both in task-specific and All-in-One settings. Code is available at https://github.com/Yaziwel/TAT.