MedSAMix: Un approccio di fusione di modelli senza addestramento per la segmentazione di immagini mediche

MedSAMix: A Training-Free Model Merging Approach for Medical Image Segmentation

August 14, 2025

Autori: Yanwu Yang, Guinan Su, Jiesi Hu, Francesco Sammarco, Jonas Geiping, Thomas Wolfers

cs.AI

Abstract

I modelli universali per la segmentazione di immagini mediche sono emersi come un paradigma promettente grazie alla loro forte generalizzabilità su una vasta gamma di compiti, dimostrando un grande potenziale per un'ampia varietà di applicazioni cliniche. Questo potenziale è stato in parte favorito dal successo di modelli visivi generici come il Segment Anything Model (SAM), che ha ispirato lo sviluppo di varie varianti ottimizzate per compiti di segmentazione medica. Tuttavia, varianti ottimizzate come MedSAM sono addestrate su dati di imaging medico relativamente limitati, che spesso presentano eterogeneità, annotazioni scarse e spostamenti distribuzionali. Queste sfide limitano la loro capacità di generalizzare su un'ampia gamma di compiti di segmentazione medica. A tal proposito, proponiamo MedSAMix, un metodo di fusione di modelli senza addestramento che integra i punti di forza sia dei modelli generalisti (ad esempio, SAM) che dei modelli specialistici (ad esempio, MedSAM) per la segmentazione di immagini mediche. A differenza degli approcci tradizionali di fusione di modelli che si basano su configurazioni manuali e spesso producono risultati subottimali, proponiamo un metodo di ottimizzazione di ordine zero per scoprire automaticamente soluzioni ottimali di fusione a livello di strato. Inoltre, per le applicazioni cliniche, sviluppiamo due regimi per soddisfare la necessità di specificità di dominio e generalizzabilità in diversi scenari, rispettivamente attraverso l'ottimizzazione a singolo compito e l'ottimizzazione multi-obiettivo. Valutazioni estese su 25 compiti di segmentazione medica dimostrano che MedSAMix mitiga efficacemente il bias del modello e migliora costantemente le prestazioni sia in termini di accuratezza specifica del dominio che di generalizzazione, ottenendo miglioramenti del 6,67% su compiti specialistici e del 4,37% su valutazioni multi-compito.

English

Universal medical image segmentation models have emerged as a promising paradigm due to their strong generalizability across diverse tasks, showing great potential for a wide range of clinical applications. This potential has been partly driven by the success of general-purpose vision models such as the Segment Anything Model (SAM), which has inspired the development of various fine-tuned variants for medical segmentation tasks. However, fine-tuned variants like MedSAM are trained on comparatively limited medical imaging data that often suffers from heterogeneity, scarce annotations, and distributional shifts. These challenges limit their ability to generalize across a wide range of medical segmentation tasks. In this regard, we propose MedSAMix, a training-free model merging method that integrates the strengths of both generalist models (e.g., SAM) and specialist models (e.g., MedSAM) for medical image segmentation. In contrast to traditional model merging approaches that rely on manual configuration and often result in suboptimal outcomes, we propose a zero-order optimization method to automatically discover optimal layer-wise merging solutions. Furthermore, for clinical applications, we develop two regimes to meet the demand of domain-specificity and generalizability in different scenarios by single-task optimization and multi-objective optimization respectively. Extensive evaluations on 25 medical segmentation tasks demonstrate that MedSAMix effectively mitigates model bias and consistently improves performance in both domain-specific accuracy and generalization, achieving improvements of 6.67% on specialized tasks and 4.37% on multi-task evaluations.