TAT: Transformer Adattativo al Compito per il Restauro Medico delle Immagini Tutto-in-Uno

TAT: Task-Adaptive Transformer for All-in-One Medical Image Restoration

December 16, 2025

Autori: Zhiwen Yang, Jiaju Zhang, Yang Yi, Jian Liang, Bingzheng Wei, Yan Xu

cs.AI

Abstract

Il ripristino di immagini mediche (MedIR) mira a recuperare immagini mediche di alta qualità a partire dalle loro controparti di bassa qualità. I recenti progressi nel campo MedIR si sono concentrati su modelli "All-in-One" in grado di affrontare simultaneamente molteplici e diversi compiti di MedIR. Tuttavia, a causa delle significative differenze sia nella modalità che nei tipi di degrado, l'utilizzo di un modello condiviso per questi compiti diversificati richiede un'attenta considerazione di due critiche relazioni inter-compito: l'interferenza tra compiti, che si verifica quando direzioni di aggiornamento del gradiente in conflitto sorgono tra compiti sullo stesso parametro, e lo squilibrio tra compiti, che si riferisce a un'ottimizzazione non uniforme causata dalle diverse difficoltà di apprendimento intrinseche di ciascun compito. Per affrontare queste sfide, proponiamo un Transformer adattivo ai compiti (TAT), un nuovo framework che si adatta dinamicamente a diversi compiti attraverso due innovazioni chiave. In primo luogo, viene introdotta una strategia di generazione di pesi adattativa ai compiti per mitigare l'interferenza tra compiti generando parametri di peso specifici per ogni compito, eliminando così i potenziali conflitti di gradiente sui parametri di peso condivisi. In secondo luogo, viene introdotta una strategia di bilanciamento della loss adattativa ai compiti per regolare dinamicamente i pesi della loss in base alle difficoltà di apprendimento specifiche di ogni compito, prevenendo la dominanza di un compito o un addestramento insufficiente. Esperimenti estensivi dimostrano che il nostro TAT proposto raggiunge prestazioni all'avanguardia in tre compiti di MedIR - sintesi PET, riduzione del rumore in TC e super-risoluzione in risonanza magnetica - sia in configurazioni specifiche per compito che All-in-One. Il codice è disponibile all'indirizzo https://github.com/Yaziwel/TAT.

English

Medical image restoration (MedIR) aims to recover high-quality medical images from their low-quality counterparts. Recent advancements in MedIR have focused on All-in-One models capable of simultaneously addressing multiple different MedIR tasks. However, due to significant differences in both modality and degradation types, using a shared model for these diverse tasks requires careful consideration of two critical inter-task relationships: task interference, which occurs when conflicting gradient update directions arise across tasks on the same parameter, and task imbalance, which refers to uneven optimization caused by varying learning difficulties inherent to each task. To address these challenges, we propose a task-adaptive Transformer (TAT), a novel framework that dynamically adapts to different tasks through two key innovations. First, a task-adaptive weight generation strategy is introduced to mitigate task interference by generating task-specific weight parameters for each task, thereby eliminating potential gradient conflicts on shared weight parameters. Second, a task-adaptive loss balancing strategy is introduced to dynamically adjust loss weights based on task-specific learning difficulties, preventing task domination or undertraining. Extensive experiments demonstrate that our proposed TAT achieves state-of-the-art performance in three MedIR tasks--PET synthesis, CT denoising, and MRI super-resolution--both in task-specific and All-in-One settings. Code is available at https://github.com/Yaziwel/TAT.