TAT: 올인원 의료 영상 복원을 위한 작업 적응형 트랜스포머

초록

의료 영상 복원(MedIR)은 저품질 의료 영상을 고품질로 복원하는 것을 목표로 합니다. 최근 MedIR 분야의 발전은 여러 가지 다른 MedIR 작업을 동시에 처리할 수 있는 All-in-One 모델에 집중되고 있습니다. 그러나 모달리티와 열화 유형 모두에서 상당한 차이가 존재하기 때문에, 이러한 다양한 작업에 공유 모델을 사용하려면 두 가지 중요한 작업 간 관계를 신중하게 고려해야 합니다. 첫째, 동일한 매개변수에 대한 여러 작업 간에 충돌하는 그래디언트 업데이트 방향이 발생하는 작업 간섭(task interference)과, 둘째, 각 작업固有的 학습 난이도 차이로 인한 불균형한 최적화인 작업 불균형(task imbalance)이 그것입니다. 이러한 과제를 해결하기 위해 우리는 두 가지 핵심 혁신을 통해 다양한 작업에 동적으로 적응하는 새로운 프레임워크인 작업 적응형 트랜스포머(TAT)를 제안합니다. 첫째, 작업 간섭을 완화하기 위해 각 작업별로 특화된 가중치 매개변수를 생성하여 공유 가중치 매개변수에 대한 잠재적 그래디언트 충돌을 제거하는 작업 적응형 가중치 생성 전략을 도입했습니다. 둘째, 작업별 학습 난이도를 기반으로 손실 가중치를 동적으로 조정하여 특정 작업이 지배되거나 학습이 부족해지는 것을 방지하는 작업 적응형 손실 균형 조정 전략을 도입했습니다. 폭넓은 실험을 통해 제안된 TAT가 PET 합성, CT 노이즈 제거, MRI 초해상화라는 세 가지 MedIR 작업에서 작업별 및 All-in-One 설정 모두에서 최첨단 성능을 달성함을 입증했습니다. 코드는 https://github.com/Yaziwel/TAT에서 확인할 수 있습니다.

English

Medical image restoration (MedIR) aims to recover high-quality medical images from their low-quality counterparts. Recent advancements in MedIR have focused on All-in-One models capable of simultaneously addressing multiple different MedIR tasks. However, due to significant differences in both modality and degradation types, using a shared model for these diverse tasks requires careful consideration of two critical inter-task relationships: task interference, which occurs when conflicting gradient update directions arise across tasks on the same parameter, and task imbalance, which refers to uneven optimization caused by varying learning difficulties inherent to each task. To address these challenges, we propose a task-adaptive Transformer (TAT), a novel framework that dynamically adapts to different tasks through two key innovations. First, a task-adaptive weight generation strategy is introduced to mitigate task interference by generating task-specific weight parameters for each task, thereby eliminating potential gradient conflicts on shared weight parameters. Second, a task-adaptive loss balancing strategy is introduced to dynamically adjust loss weights based on task-specific learning difficulties, preventing task domination or undertraining. Extensive experiments demonstrate that our proposed TAT achieves state-of-the-art performance in three MedIR tasks--PET synthesis, CT denoising, and MRI super-resolution--both in task-specific and All-in-One settings. Code is available at https://github.com/Yaziwel/TAT.

TAT: 올인원 의료 영상 복원을 위한 작업 적응형 트랜스포머

TAT: Task-Adaptive Transformer for All-in-One Medical Image Restoration

초록

Support