TAT: オールインワン医用画像復元のためのタスク適応型トランスフォーマー

TAT: Task-Adaptive Transformer for All-in-One Medical Image Restoration

December 16, 2025

著者: Zhiwen Yang, Jiaju Zhang, Yang Yi, Jian Liang, Bingzheng Wei, Yan Xu

cs.AI

要旨

医用画像復元（MedIR）は、低品質な医用画像から高品質な画像を復元することを目的としている。近年のMedIRの進歩は、複数の異なるMedIRタスクを同時に処理可能なAll-in-Oneモデルに焦点が当てられている。しかし、モダリティと劣化タイプの両方に大きな差異があるため、これらの多様なタスクに共有モデルを使用する際には、2つの重要なタスク間関係を慎重に考慮する必要がある。1つはタスク干渉であり、同じパラメータに対する異なるタスク間で競合する勾配更新方向が生じる現象である。もう1つはタスク不均衡であり、各タスクに内在する学習難易度の違いによって引き起こされる最適化の偏りを指す。これらの課題に対処するため、我々はタスク適応型Transformer（TAT）を提案する。これは2つの主要な革新を通じて異なるタスクに動的に適応する新しいフレームワークである。第一に、タスク適応的重み生成戦略を導入し、各タスクに対してタスク固有の重みパラメータを生成することで、共有重みパラメータにおける潜在的な勾配競合を排除し、タスク干渉を軽減する。第二に、タスク適応的損失バランシング戦略を導入し、タスク固有の学習難易度に基づいて損失重みを動的に調整することで、特定タスクの支配や学習不足を防止する。大規模な実験により、提案するTATが、PET合成、CTノイズ除去、MRI超解像の3つのMedIRタスクにおいて、タスク特化設定とAll-in-One設定の両方で最先端の性能を達成することを実証した。コードはhttps://github.com/Yaziwel/TAT で公開されている。

English

Medical image restoration (MedIR) aims to recover high-quality medical images from their low-quality counterparts. Recent advancements in MedIR have focused on All-in-One models capable of simultaneously addressing multiple different MedIR tasks. However, due to significant differences in both modality and degradation types, using a shared model for these diverse tasks requires careful consideration of two critical inter-task relationships: task interference, which occurs when conflicting gradient update directions arise across tasks on the same parameter, and task imbalance, which refers to uneven optimization caused by varying learning difficulties inherent to each task. To address these challenges, we propose a task-adaptive Transformer (TAT), a novel framework that dynamically adapts to different tasks through two key innovations. First, a task-adaptive weight generation strategy is introduced to mitigate task interference by generating task-specific weight parameters for each task, thereby eliminating potential gradient conflicts on shared weight parameters. Second, a task-adaptive loss balancing strategy is introduced to dynamically adjust loss weights based on task-specific learning difficulties, preventing task domination or undertraining. Extensive experiments demonstrate that our proposed TAT achieves state-of-the-art performance in three MedIR tasks--PET synthesis, CT denoising, and MRI super-resolution--both in task-specific and All-in-One settings. Code is available at https://github.com/Yaziwel/TAT.