MedSAMix: Ein trainingsfreier Modellzusammenführungsansatz für die Segmentierung medizinischer Bilder

MedSAMix: A Training-Free Model Merging Approach for Medical Image Segmentation

August 14, 2025

papers.authors: Yanwu Yang, Guinan Su, Jiesi Hu, Francesco Sammarco, Jonas Geiping, Thomas Wolfers

cs.AI

papers.abstract

Universelle Modelle für die medizinische Bildsegmentierung haben sich als vielversprechendes Paradigma etabliert, da sie eine starke Generalisierbarkeit über verschiedene Aufgaben hinweg aufweisen und großes Potenzial für ein breites Spektrum klinischer Anwendungen bieten. Dieses Potenzial wurde teilweise durch den Erfolg von universellen Bildverarbeitungsmodellen wie dem Segment Anything Model (SAM) vorangetrieben, das die Entwicklung verschiedener feinabgestimmter Varianten für medizinische Segmentierungsaufgaben inspiriert hat. Allerdings werden feinabgestimmte Varianten wie MedSAM auf vergleichsweise begrenzten medizinischen Bilddaten trainiert, die oft unter Heterogenität, knappen Annotationen und Verteilungsverschiebungen leiden. Diese Herausforderungen schränken ihre Fähigkeit ein, über ein breites Spektrum medizinischer Segmentierungsaufgaben hinweg zu generalisieren. In diesem Zusammenhang schlagen wir MedSAMix vor, eine trainingsfreie Methode zur Modellfusion, die die Stärken sowohl von Generalistenmodellen (z.B. SAM) als auch von Spezialistenmodellen (z.B. MedSAM) für die medizinische Bildsegmentierung integriert. Im Gegensatz zu traditionellen Modellfusionsansätzen, die auf manuelle Konfiguration angewiesen sind und oft suboptimale Ergebnisse liefern, schlagen wir eine Optimierungsmethode nullter Ordnung vor, um automatisch optimale schichtweise Fusionslösungen zu ermitteln. Darüber hinaus entwickeln wir für klinische Anwendungen zwei Regime, um den Anforderungen an Domänenspezifität und Generalisierbarkeit in verschiedenen Szenarien gerecht zu werden, und zwar durch Einzelaufgabenoptimierung und Multi-Objective-Optimierung. Umfangreiche Bewertungen an 25 medizinischen Segmentierungsaufgaben zeigen, dass MedSAMix Modellverzerrungen effektiv reduziert und die Leistung sowohl in Bezug auf domänenspezifische Genauigkeit als auch auf Generalisierung konsequent verbessert, mit Steigerungen von 6,67 % bei spezialisierten Aufgaben und 4,37 % bei Multi-Task-Bewertungen.

English

Universal medical image segmentation models have emerged as a promising paradigm due to their strong generalizability across diverse tasks, showing great potential for a wide range of clinical applications. This potential has been partly driven by the success of general-purpose vision models such as the Segment Anything Model (SAM), which has inspired the development of various fine-tuned variants for medical segmentation tasks. However, fine-tuned variants like MedSAM are trained on comparatively limited medical imaging data that often suffers from heterogeneity, scarce annotations, and distributional shifts. These challenges limit their ability to generalize across a wide range of medical segmentation tasks. In this regard, we propose MedSAMix, a training-free model merging method that integrates the strengths of both generalist models (e.g., SAM) and specialist models (e.g., MedSAM) for medical image segmentation. In contrast to traditional model merging approaches that rely on manual configuration and often result in suboptimal outcomes, we propose a zero-order optimization method to automatically discover optimal layer-wise merging solutions. Furthermore, for clinical applications, we develop two regimes to meet the demand of domain-specificity and generalizability in different scenarios by single-task optimization and multi-objective optimization respectively. Extensive evaluations on 25 medical segmentation tasks demonstrate that MedSAMix effectively mitigates model bias and consistently improves performance in both domain-specific accuracy and generalization, achieving improvements of 6.67% on specialized tasks and 4.37% on multi-task evaluations.