MedSAMix: 의료 영상 분할을 위한 학습 없이 모델을 병합하는 접근법

초록

범용 의료 영상 분할 모델은 다양한 작업에 걸친 강력한 일반화 능력으로 인해 다양한 임상 응용 분야에서 큰 잠재력을 보이며 유망한 패러다임으로 부상하고 있습니다. 이러한 잠재력은 Segment Anything Model (SAM)과 같은 범용 비전 모델의 성공에 부분적으로 기인하며, 이는 의료 분할 작업을 위한 다양한 미세 조정 변형 모델의 개발에 영감을 주었습니다. 그러나 MedSAM과 같은 미세 조정 변형 모델은 비교적 제한된 의료 영상 데이터로 학습되며, 이 데이터는 종종 이질성, 부족한 주석, 그리고 분포 변화로 인해 어려움을 겪습니다. 이러한 문제들은 다양한 의료 분할 작업에 걸친 일반화 능력을 제한합니다. 이러한 점을 고려하여, 우리는 의료 영상 분할을 위해 범용 모델(예: SAM)과 전문가 모델(예: MedSAM)의 강점을 통합한 학습이 필요 없는 모델 병합 방법인 MedSAMix를 제안합니다. 수동 구성에 의존하며 종종 최적이 아닌 결과를 초래하는 전통적인 모델 병합 접근법과 달리, 우리는 최적의 계층별 병합 솔루션을 자동으로 발견하기 위한 제로-오더 최적화 방법을 제안합니다. 더 나아가, 임상 응용을 위해, 단일 작업 최적화와 다중 목표 최적화를 각각 통해 도메인 특수성과 일반화 능력의 요구를 충족시키는 두 가지 체계를 개발합니다. 25개의 의료 분할 작업에 대한 광범위한 평가를 통해 MedSAMix가 모델 편향을 효과적으로 완화하고 도메인 특수 정확도와 일반화 모두에서 성능을 지속적으로 개선하며, 전문 작업에서 6.67%, 다중 작업 평가에서 4.37%의 성능 향상을 달성함을 입증합니다.

English

Universal medical image segmentation models have emerged as a promising paradigm due to their strong generalizability across diverse tasks, showing great potential for a wide range of clinical applications. This potential has been partly driven by the success of general-purpose vision models such as the Segment Anything Model (SAM), which has inspired the development of various fine-tuned variants for medical segmentation tasks. However, fine-tuned variants like MedSAM are trained on comparatively limited medical imaging data that often suffers from heterogeneity, scarce annotations, and distributional shifts. These challenges limit their ability to generalize across a wide range of medical segmentation tasks. In this regard, we propose MedSAMix, a training-free model merging method that integrates the strengths of both generalist models (e.g., SAM) and specialist models (e.g., MedSAM) for medical image segmentation. In contrast to traditional model merging approaches that rely on manual configuration and often result in suboptimal outcomes, we propose a zero-order optimization method to automatically discover optimal layer-wise merging solutions. Furthermore, for clinical applications, we develop two regimes to meet the demand of domain-specificity and generalizability in different scenarios by single-task optimization and multi-objective optimization respectively. Extensive evaluations on 25 medical segmentation tasks demonstrate that MedSAMix effectively mitigates model bias and consistently improves performance in both domain-specific accuracy and generalization, achieving improvements of 6.67% on specialized tasks and 4.37% on multi-task evaluations.

MedSAMix: 의료 영상 분할을 위한 학습 없이 모델을 병합하는 접근법

MedSAMix: A Training-Free Model Merging Approach for Medical Image Segmentation

초록

Support