MedSAMix: Un enfoque de fusión de modelos sin entrenamiento para la segmentación de imágenes médicas

Resumen

Los modelos universales de segmentación de imágenes médicas han surgido como un paradigma prometedor debido a su fuerte capacidad de generalización en diversas tareas, mostrando un gran potencial para una amplia gama de aplicaciones clínicas. Este potencial ha sido impulsado en parte por el éxito de modelos de visión de propósito general, como el Segment Anything Model (SAM), que ha inspirado el desarrollo de varias variantes ajustadas para tareas de segmentación médica. Sin embargo, variantes ajustadas como MedSAM se entrenan con datos de imágenes médicas comparativamente limitados que a menudo sufren de heterogeneidad, anotaciones escasas y cambios distribucionales. Estos desafíos limitan su capacidad para generalizar en una amplia gama de tareas de segmentación médica. En este sentido, proponemos MedSAMix, un método de fusión de modelos sin entrenamiento que integra las fortalezas de los modelos generalistas (por ejemplo, SAM) y los modelos especializados (por ejemplo, MedSAM) para la segmentación de imágenes médicas. A diferencia de los enfoques tradicionales de fusión de modelos que dependen de la configuración manual y a menudo resultan en resultados subóptimos, proponemos un método de optimización de orden cero para descubrir automáticamente soluciones óptimas de fusión capa por capa. Además, para aplicaciones clínicas, desarrollamos dos regímenes para satisfacer la demanda de especificidad de dominio y generalización en diferentes escenarios mediante optimización de tarea única y optimización multiobjetivo, respectivamente. Evaluaciones extensas en 25 tareas de segmentación médica demuestran que MedSAMix mitiga eficazmente el sesgo del modelo y mejora consistentemente el rendimiento tanto en precisión específica del dominio como en generalización, logrando mejoras del 6.67% en tareas especializadas y del 4.37% en evaluaciones multitarea.

English

Universal medical image segmentation models have emerged as a promising paradigm due to their strong generalizability across diverse tasks, showing great potential for a wide range of clinical applications. This potential has been partly driven by the success of general-purpose vision models such as the Segment Anything Model (SAM), which has inspired the development of various fine-tuned variants for medical segmentation tasks. However, fine-tuned variants like MedSAM are trained on comparatively limited medical imaging data that often suffers from heterogeneity, scarce annotations, and distributional shifts. These challenges limit their ability to generalize across a wide range of medical segmentation tasks. In this regard, we propose MedSAMix, a training-free model merging method that integrates the strengths of both generalist models (e.g., SAM) and specialist models (e.g., MedSAM) for medical image segmentation. In contrast to traditional model merging approaches that rely on manual configuration and often result in suboptimal outcomes, we propose a zero-order optimization method to automatically discover optimal layer-wise merging solutions. Furthermore, for clinical applications, we develop two regimes to meet the demand of domain-specificity and generalizability in different scenarios by single-task optimization and multi-objective optimization respectively. Extensive evaluations on 25 medical segmentation tasks demonstrate that MedSAMix effectively mitigates model bias and consistently improves performance in both domain-specific accuracy and generalization, achieving improvements of 6.67% on specialized tasks and 4.37% on multi-task evaluations.

MedSAMix: Un enfoque de fusión de modelos sin entrenamiento para la segmentación de imágenes médicas

MedSAMix: A Training-Free Model Merging Approach for Medical Image Segmentation

Resumen

Support