TAT: Transformer Adaptativo a Tareas para la Restauración Integral de Imágenes Médicas

TAT: Task-Adaptive Transformer for All-in-One Medical Image Restoration

December 16, 2025

Autores: Zhiwen Yang, Jiaju Zhang, Yang Yi, Jian Liang, Bingzheng Wei, Yan Xu

cs.AI

Resumen

La restauración de imágenes médicas (MedIR) tiene como objetivo recuperar imágenes médicas de alta calidad a partir de sus equivalentes de baja calidad. Los avances recientes en MedIR se han centrado en modelos "Todo-en-Uno" capaces de abordar simultáneamente múltiples tareas diferentes de MedIR. Sin embargo, debido a las diferencias significativas tanto en la modalidad como en los tipos de degradación, el uso de un modelo compartido para estas diversas tareas requiere una consideración cuidadosa de dos relaciones críticas entre tareas: la interferencia entre tareas, que ocurre cuando surgen direcciones de actualización de gradientes conflictivas entre tareas en el mismo parámetro, y el desequilibrio entre tareas, que se refiere a una optimización desigual causada por las diferentes dificultades de aprendizaje inherentes a cada tarea. Para abordar estos desafíos, proponemos un Transformer adaptativo a la tarea (TAT), un marco novedoso que se adapta dinámicamente a diferentes tareas mediante dos innovaciones clave. Primero, se introduce una estrategia de generación de pesos adaptativa a la tarea para mitigar la interferencia entre tareas generando parámetros de peso específicos para cada tarea, eliminando así los posibles conflictos de gradiente en los parámetros de peso compartidos. En segundo lugar, se introduce una estrategia de equilibrio de pérdidas adaptativa a la tarea para ajustar dinámicamente los pesos de la pérdida en función de las dificultades de aprendizaje específicas de cada tarea, evitando la dominación de tareas o el subentrenamiento. Experimentos exhaustivos demuestran que nuestro TAT propuesto logra un rendimiento de vanguardia en tres tareas de MedIR (síntesis de PET, reducción de ruido en TC y superresolución en IRM), tanto en configuraciones específicas por tarea como en la configuración Todo-en-Uno. El código está disponible en https://github.com/Yaziwel/TAT.

English

Medical image restoration (MedIR) aims to recover high-quality medical images from their low-quality counterparts. Recent advancements in MedIR have focused on All-in-One models capable of simultaneously addressing multiple different MedIR tasks. However, due to significant differences in both modality and degradation types, using a shared model for these diverse tasks requires careful consideration of two critical inter-task relationships: task interference, which occurs when conflicting gradient update directions arise across tasks on the same parameter, and task imbalance, which refers to uneven optimization caused by varying learning difficulties inherent to each task. To address these challenges, we propose a task-adaptive Transformer (TAT), a novel framework that dynamically adapts to different tasks through two key innovations. First, a task-adaptive weight generation strategy is introduced to mitigate task interference by generating task-specific weight parameters for each task, thereby eliminating potential gradient conflicts on shared weight parameters. Second, a task-adaptive loss balancing strategy is introduced to dynamically adjust loss weights based on task-specific learning difficulties, preventing task domination or undertraining. Extensive experiments demonstrate that our proposed TAT achieves state-of-the-art performance in three MedIR tasks--PET synthesis, CT denoising, and MRI super-resolution--both in task-specific and All-in-One settings. Code is available at https://github.com/Yaziwel/TAT.