TAT : Transformeur Adaptatif aux Tâches pour la Restauration Médicale d'Images Tout-en-Un

TAT: Task-Adaptive Transformer for All-in-One Medical Image Restoration

December 16, 2025

papers.authors: Zhiwen Yang, Jiaju Zhang, Yang Yi, Jian Liang, Bingzheng Wei, Yan Xu

cs.AI

papers.abstract

La restauration d'images médicales (MedIR) vise à reconstruire des images médicales de haute qualité à partir de leurs versions dégradées. Les récents progrès en MedIR se sont concentrés sur des modèles polyvalents capables de traiter simultanément plusieurs tâches de restauration différentes. Cependant, en raison des différences significatives de modalité et de types de dégradation, l'utilisation d'un modèle partagé pour ces tâches diverses nécessite une attention particulière à deux relations inter-tâches critiques : l'interférence entre tâches, qui se produit lorsque des directions de mise à jour du gradient entrent en conflit entre différentes tâches sur un même paramètre, et le déséquilibre entre tâches, qui correspond à une optimisation inégale causée par des difficultés d'apprentissage variables inhérentes à chaque tâche. Pour relever ces défis, nous proposons un Transformer adaptatif aux tâches (TAT), une nouvelle architecture qui s'adapte dynamiquement à différentes tâches grâce à deux innovations clés. Premièrement, une stratégie de génération de poids adaptative aux tâches est introduite pour atténuer l'interférence entre tâches en générant des paramètres de poids spécifiques à chaque tâche, éliminant ainsi les conflits potentiels de gradient sur les paramètres de poids partagés. Deuxièmement, une stratégie d'équilibrage des pertes adaptative aux tâches ajuste dynamiquement les pondérations des fonctions de coût en fonction des difficultés d'apprentissage spécifiques à chaque tâche, évitant ainsi la domination ou le sous-apprentissage de certaines tâches. Des expérimentations approfondies démontrent que notre méthode TAT atteint des performances à l'état de l'art sur trois tâches de MedIR—synthèse d'images TEP, réduction de bruit en scanner et super-résolution en IRM—à la fois dans des configurations dédiées à une tâche unique et polyvalentes. Le code est disponible à l'adresse https://github.com/Yaziwel/TAT.

English

Medical image restoration (MedIR) aims to recover high-quality medical images from their low-quality counterparts. Recent advancements in MedIR have focused on All-in-One models capable of simultaneously addressing multiple different MedIR tasks. However, due to significant differences in both modality and degradation types, using a shared model for these diverse tasks requires careful consideration of two critical inter-task relationships: task interference, which occurs when conflicting gradient update directions arise across tasks on the same parameter, and task imbalance, which refers to uneven optimization caused by varying learning difficulties inherent to each task. To address these challenges, we propose a task-adaptive Transformer (TAT), a novel framework that dynamically adapts to different tasks through two key innovations. First, a task-adaptive weight generation strategy is introduced to mitigate task interference by generating task-specific weight parameters for each task, thereby eliminating potential gradient conflicts on shared weight parameters. Second, a task-adaptive loss balancing strategy is introduced to dynamically adjust loss weights based on task-specific learning difficulties, preventing task domination or undertraining. Extensive experiments demonstrate that our proposed TAT achieves state-of-the-art performance in three MedIR tasks--PET synthesis, CT denoising, and MRI super-resolution--both in task-specific and All-in-One settings. Code is available at https://github.com/Yaziwel/TAT.