TAT: Taak-adaptieve Transformer voor Alles-in-één Medisch Beeldherstel

TAT: Task-Adaptive Transformer for All-in-One Medical Image Restoration

December 16, 2025

Auteurs: Zhiwen Yang, Jiaju Zhang, Yang Yi, Jian Liang, Bingzheng Wei, Yan Xu

cs.AI

Samenvatting

Medische beeldrestauratie (MedIR) heeft als doel hoogwaardige medische beelden te herstellen uit hun kwalitatief mindere tegenhangers. Recente vooruitgang in MedIR richt zich op All-in-One modellen die in staat zijn om meerdere verschillende MedIR-taken gelijktijdig aan te pakken. Echter, vanwege aanzienlijke verschillen in zowel modaliteit als degradatietypes, vereist het gebruik van een gedeeld model voor deze uiteenlopende taken een zorgvuldige afweging van twee kritieke inter-taskrelaties: taakinterferentie, die optreedt wanneer conflicterende gradiëntupdate-richtingen ontstaan tussen taken op dezelfde parameter, en taakonbalans, die verwijst naar ongelijke optimalisatie veroorzaakt door variërende leer moeilijkheden inherent aan elke taak. Om deze uitdagingen aan te pakken, stellen we een taakadaptieve Transformer (TAT) voor, een nieuw framework dat zich dynamisch aanpast aan verschillende taken door twee belangrijke innovaties. Ten eerste wordt een taakadaptieve gewichtsgeneratiestrategie geïntroduceerd om taakinterferentie te verminderen door taakspecifieke gewichtsparameters voor elke taak te genereren, waardoor potentiële gradiëntconflicten op gedeelde gewichtsparameters worden geëlimineerd. Ten tweede wordt een taakadaptief verliesbalanceringsstrategie geïntroduceerd om verliesgewichten dynamisch aan te passen op basis van taakspecifieke leermoeilijkheden, waardoor taakdominantie of ondertraining wordt voorkomen. Uitgebreide experimenten tonen aan dat onze voorgestelde TAT state-of-the-art prestaties bereikt in drie MedIR-taken—PET-synthese, CT-denoising en MRI-superresolutie—zowel in taakspecifieke als All-in-One settings. Code is beschikbaar op https://github.com/Yaziwel/TAT.

English

Medical image restoration (MedIR) aims to recover high-quality medical images from their low-quality counterparts. Recent advancements in MedIR have focused on All-in-One models capable of simultaneously addressing multiple different MedIR tasks. However, due to significant differences in both modality and degradation types, using a shared model for these diverse tasks requires careful consideration of two critical inter-task relationships: task interference, which occurs when conflicting gradient update directions arise across tasks on the same parameter, and task imbalance, which refers to uneven optimization caused by varying learning difficulties inherent to each task. To address these challenges, we propose a task-adaptive Transformer (TAT), a novel framework that dynamically adapts to different tasks through two key innovations. First, a task-adaptive weight generation strategy is introduced to mitigate task interference by generating task-specific weight parameters for each task, thereby eliminating potential gradient conflicts on shared weight parameters. Second, a task-adaptive loss balancing strategy is introduced to dynamically adjust loss weights based on task-specific learning difficulties, preventing task domination or undertraining. Extensive experiments demonstrate that our proposed TAT achieves state-of-the-art performance in three MedIR tasks--PET synthesis, CT denoising, and MRI super-resolution--both in task-specific and All-in-One settings. Code is available at https://github.com/Yaziwel/TAT.