MedSAMix : Une approche de fusion de modèles sans entraînement pour la segmentation d'images médicales

papers.abstract

Les modèles universels de segmentation d'images médicales sont apparus comme un paradigme prometteur grâce à leur forte généralisabilité sur des tâches variées, montrant un grand potentiel pour un large éventail d'applications cliniques. Ce potentiel a été en partie stimulé par le succès des modèles de vision à usage général tels que le Segment Anything Model (SAM), qui a inspiré le développement de diverses variantes affinées pour les tâches de segmentation médicale. Cependant, les variantes affinées comme MedSAM sont entraînées sur des données d'imagerie médicale relativement limitées, souvent confrontées à l'hétérogénéité, aux annotations rares et aux décalages de distribution. Ces défis limitent leur capacité à généraliser sur une large gamme de tâches de segmentation médicale. À cet égard, nous proposons MedSAMix, une méthode de fusion de modèles sans entraînement qui intègre les forces des modèles généralistes (par exemple, SAM) et des modèles spécialistes (par exemple, MedSAM) pour la segmentation d'images médicales. Contrairement aux approches traditionnelles de fusion de modèles qui reposent sur une configuration manuelle et aboutissent souvent à des résultats sous-optimaux, nous proposons une méthode d'optimisation d'ordre zéro pour découvrir automatiquement des solutions optimales de fusion couche par couche. De plus, pour les applications cliniques, nous développons deux régimes pour répondre aux besoins de spécificité de domaine et de généralisabilité dans différents scénarios, respectivement par optimisation mono-tâche et optimisation multi-objectifs. Des évaluations approfondies sur 25 tâches de segmentation médicale démontrent que MedSAMix atténue efficacement les biais des modèles et améliore de manière constante les performances en termes de précision spécifique au domaine et de généralisation, avec des améliorations de 6,67 % sur les tâches spécialisées et de 4,37 % sur les évaluations multi-tâches.

English

Universal medical image segmentation models have emerged as a promising paradigm due to their strong generalizability across diverse tasks, showing great potential for a wide range of clinical applications. This potential has been partly driven by the success of general-purpose vision models such as the Segment Anything Model (SAM), which has inspired the development of various fine-tuned variants for medical segmentation tasks. However, fine-tuned variants like MedSAM are trained on comparatively limited medical imaging data that often suffers from heterogeneity, scarce annotations, and distributional shifts. These challenges limit their ability to generalize across a wide range of medical segmentation tasks. In this regard, we propose MedSAMix, a training-free model merging method that integrates the strengths of both generalist models (e.g., SAM) and specialist models (e.g., MedSAM) for medical image segmentation. In contrast to traditional model merging approaches that rely on manual configuration and often result in suboptimal outcomes, we propose a zero-order optimization method to automatically discover optimal layer-wise merging solutions. Furthermore, for clinical applications, we develop two regimes to meet the demand of domain-specificity and generalizability in different scenarios by single-task optimization and multi-objective optimization respectively. Extensive evaluations on 25 medical segmentation tasks demonstrate that MedSAMix effectively mitigates model bias and consistently improves performance in both domain-specific accuracy and generalization, achieving improvements of 6.67% on specialized tasks and 4.37% on multi-task evaluations.

MedSAMix : Une approche de fusion de modèles sans entraînement pour la segmentation d'images médicales

MedSAMix: A Training-Free Model Merging Approach for Medical Image Segmentation

papers.abstract

Support