TAT: Transformer Adaptativo à Tarefa para Restauração de Imagem Médica Tudo-em-Um
TAT: Task-Adaptive Transformer for All-in-One Medical Image Restoration
December 16, 2025
Autores: Zhiwen Yang, Jiaju Zhang, Yang Yi, Jian Liang, Bingzheng Wei, Yan Xu
cs.AI
Resumo
A restauração de imagens médicas (MedIR) visa recuperar imagens médicas de alta qualidade a partir das suas contrapartes de baixa qualidade. Avanços recentes em MedIR têm-se concentrado em modelos All-in-One (Tudo-em-Um) capazes de abordar simultaneamente múltiplas tarefas de MedIR diferentes. No entanto, devido a diferenças significativas tanto na modalidade quanto nos tipos de degradação, a utilização de um modelo partilhado para estas diversas tarefas requer uma consideração cuidadosa de duas relações intertarefas críticas: a interferência entre tarefas, que ocorre quando surgem direções de atualização de gradiente conflituosas entre tarefas no mesmo parâmetro, e o desequilíbrio entre tarefas, que se refere a uma otimização desigual causada pelas diferentes dificuldades de aprendizagem inerentes a cada tarefa. Para enfrentar estes desafios, propomos um Transformer adaptativo a tarefas (TAT), uma nova estrutura que se adapta dinamicamente a diferentes tarefas através de duas inovações-chave. Primeiro, é introduzida uma estratégia de geração de pesos adaptativa à tarefa para mitigar a interferência entre tarefas, gerando parâmetros de peso específicos para cada tarefa, eliminando assim potenciais conflitos de gradiente nos parâmetros de peso partilhados. Segundo, é introduzida uma estratégia de equilíbrio de perdas adaptativa à tarefa para ajustar dinamicamente os pesos da função de perda com base nas dificuldades de aprendizagem específicas de cada tarefa, impedindo a dominação de uma tarefa ou o seu subtreino. Experiências extensivas demonstram que o nosso TAT proposto atinge um desempenho state-of-the-art em três tarefas de MedIR – síntese de PET, redução de ruído em TC e super-resolução em RM – tanto em configurações específicas por tarefa como em configurações All-in-One. O código está disponível em https://github.com/Yaziwel/TAT.
English
Medical image restoration (MedIR) aims to recover high-quality medical images from their low-quality counterparts. Recent advancements in MedIR have focused on All-in-One models capable of simultaneously addressing multiple different MedIR tasks. However, due to significant differences in both modality and degradation types, using a shared model for these diverse tasks requires careful consideration of two critical inter-task relationships: task interference, which occurs when conflicting gradient update directions arise across tasks on the same parameter, and task imbalance, which refers to uneven optimization caused by varying learning difficulties inherent to each task. To address these challenges, we propose a task-adaptive Transformer (TAT), a novel framework that dynamically adapts to different tasks through two key innovations. First, a task-adaptive weight generation strategy is introduced to mitigate task interference by generating task-specific weight parameters for each task, thereby eliminating potential gradient conflicts on shared weight parameters. Second, a task-adaptive loss balancing strategy is introduced to dynamically adjust loss weights based on task-specific learning difficulties, preventing task domination or undertraining. Extensive experiments demonstrate that our proposed TAT achieves state-of-the-art performance in three MedIR tasks--PET synthesis, CT denoising, and MRI super-resolution--both in task-specific and All-in-One settings. Code is available at https://github.com/Yaziwel/TAT.