TAT: Task-adaptiver Transformer für All-in-One-Wiederherstellung medizinischer Bilder

TAT: Task-Adaptive Transformer for All-in-One Medical Image Restoration

December 16, 2025

papers.authors: Zhiwen Yang, Jiaju Zhang, Yang Yi, Jian Liang, Bingzheng Wei, Yan Xu

cs.AI

papers.abstract

Medizinische Bildrestauration (MedIR) zielt darauf ab, hochwertige medizinische Bilder aus ihren qualitativ minderwertigen Gegenstücken wiederherzustellen. Jüngste Fortschritte in der MedIR konzentrierten sich auf All-in-One-Modelle, die in der Lage sind, mehrere verschiedene MedIR-Aufgaben gleichzeitig zu bewältigen. Aufgrund erheblicher Unterschiede sowohl in der Modalität als auch in den Degradationsarten erfordert die Verwendung eines gemeinsamen Modells für diese unterschiedlichen Aufgaben jedoch eine sorgfältige Berücksichtigung zweier kritischer intertask-Beziehungen: Task-Interferenz, die auftritt, wenn konfligierende Gradientenaktualisierungsrichtungen für verschiedene Aufgaben auf demselben Parameter entstehen, und Task-Ungleichgewicht, das sich auf eine ungleichmäßige Optimierung bezieht, die durch unterschiedliche, jeder Aufgabe inhärente Lernschwierigkeiten verursacht wird. Um diese Herausforderungen zu bewältigen, schlagen wir einen task-adaptiven Transformer (TAT) vor, ein neuartiges Framework, das sich durch zwei Schlüsselinnovationen dynamisch an verschiedene Aufgaben anpasst. Erstens wird eine task-adaptive Gewichtungsgenerierungsstrategie eingeführt, um Task-Interferenz zu mildern, indem taskspezifische Gewichtungsparameter für jede Aufgabe generiert werden, wodurch potenzielle Gradientenkonflikte auf gemeinsamen Gewichtungsparametern eliminiert werden. Zweitens wird eine task-adaptive Verlustausgleichsstrategie eingeführt, um die Verlustgewichte dynamisch auf der Grundlage taskspezifischer Lernschwierigkeiten anzupassen und so zu verhindern, dass Aufgaben dominieren oder unzureichend trainiert werden. Umfangreiche Experimente belegen, dass unser vorgeschlagener TAT in drei MedIR-Aufgaben – PET-Synthese, CT-Rauschunterdrückung und MRI-Super-Resolution – sowohl in aufgabenspezifischen als auch in All-in-One-Szenarien state-of-the-art Leistung erzielt. Der Code ist verfügbar unter https://github.com/Yaziwel/TAT.

English

Medical image restoration (MedIR) aims to recover high-quality medical images from their low-quality counterparts. Recent advancements in MedIR have focused on All-in-One models capable of simultaneously addressing multiple different MedIR tasks. However, due to significant differences in both modality and degradation types, using a shared model for these diverse tasks requires careful consideration of two critical inter-task relationships: task interference, which occurs when conflicting gradient update directions arise across tasks on the same parameter, and task imbalance, which refers to uneven optimization caused by varying learning difficulties inherent to each task. To address these challenges, we propose a task-adaptive Transformer (TAT), a novel framework that dynamically adapts to different tasks through two key innovations. First, a task-adaptive weight generation strategy is introduced to mitigate task interference by generating task-specific weight parameters for each task, thereby eliminating potential gradient conflicts on shared weight parameters. Second, a task-adaptive loss balancing strategy is introduced to dynamically adjust loss weights based on task-specific learning difficulties, preventing task domination or undertraining. Extensive experiments demonstrate that our proposed TAT achieves state-of-the-art performance in three MedIR tasks--PET synthesis, CT denoising, and MRI super-resolution--both in task-specific and All-in-One settings. Code is available at https://github.com/Yaziwel/TAT.