MedSAMix: Een Trainingsvrije Modelintegratiebenadering voor Medische Beeldsegmentatie
MedSAMix: A Training-Free Model Merging Approach for Medical Image Segmentation
August 14, 2025
Auteurs: Yanwu Yang, Guinan Su, Jiesi Hu, Francesco Sammarco, Jonas Geiping, Thomas Wolfers
cs.AI
Samenvatting
Universele modellen voor medische beeldsegmentatie zijn naar voren gekomen als een veelbelovend paradigma vanwege hun sterke generaliseerbaarheid over diverse taken, wat een groot potentieel biedt voor een breed scala aan klinische toepassingen. Dit potentieel is deels gedreven door het succes van algemene visionmodellen zoals het Segment Anything Model (SAM), dat de ontwikkeling van verschillende fijn afgestemde varianten voor medische segmentatietaken heeft geïnspireerd. Fijn afgestemde varianten zoals MedSAM zijn echter getraind op relatief beperkte medische beeldgegevens die vaak te lijden hebben onder heterogeniteit, schaarse annotaties en distributieverschuivingen. Deze uitdagingen beperken hun vermogen om te generaliseren over een breed scala aan medische segmentatietaken. In dit opzicht stellen wij MedSAMix voor, een trainingsvrije modelmergemethode die de sterke punten van zowel generalistische modellen (bijv. SAM) als specialistische modellen (bijv. MedSAM) integreert voor medische beeldsegmentatie. In tegenstelling tot traditionele modelmergebenaderingen die afhankelijk zijn van handmatige configuratie en vaak resulteren in suboptimale uitkomsten, stellen wij een zero-order optimalisatiemethode voor om automatisch optimale laagsgewijze mergeoplossingen te ontdekken. Verder ontwikkelen wij voor klinische toepassingen twee regimes om te voldoen aan de vraag naar domeinspecificiteit en generaliseerbaarheid in verschillende scenario's, respectievelijk door single-task optimalisatie en multi-objectieve optimalisatie. Uitgebreide evaluaties op 25 medische segmentatietaken tonen aan dat MedSAMix modelbias effectief vermindert en consistent de prestaties verbetert in zowel domeinspecifieke nauwkeurigheid als generalisatie, met verbeteringen van 6,67% op gespecialiseerde taken en 4,37% op multi-task evaluaties.
English
Universal medical image segmentation models have emerged as a promising
paradigm due to their strong generalizability across diverse tasks, showing
great potential for a wide range of clinical applications. This potential has
been partly driven by the success of general-purpose vision models such as the
Segment Anything Model (SAM), which has inspired the development of various
fine-tuned variants for medical segmentation tasks. However, fine-tuned
variants like MedSAM are trained on comparatively limited medical imaging data
that often suffers from heterogeneity, scarce annotations, and distributional
shifts. These challenges limit their ability to generalize across a wide range
of medical segmentation tasks. In this regard, we propose MedSAMix, a
training-free model merging method that integrates the strengths of both
generalist models (e.g., SAM) and specialist models (e.g., MedSAM) for medical
image segmentation. In contrast to traditional model merging approaches that
rely on manual configuration and often result in suboptimal outcomes, we
propose a zero-order optimization method to automatically discover optimal
layer-wise merging solutions. Furthermore, for clinical applications, we
develop two regimes to meet the demand of domain-specificity and
generalizability in different scenarios by single-task optimization and
multi-objective optimization respectively. Extensive evaluations on 25 medical
segmentation tasks demonstrate that MedSAMix effectively mitigates model bias
and consistently improves performance in both domain-specific accuracy and
generalization, achieving improvements of 6.67% on specialized tasks and 4.37%
on multi-task evaluations.