MedSAMix: 医療画像セグメンテーションのためのトレーニング不要なモデル統合アプローチ

要旨

ユニバーサル医療画像セグメンテーションモデルは、多様なタスクにわたる強力な汎用性を示し、幅広い臨床応用において大きな可能性を秘めたパラダイムとして登場しました。この可能性は、Segment Anything Model（SAM）のような汎用視覚モデルの成功によって部分的に推進されており、医療セグメンテーションタスク向けの様々なファインチューニングバリアントの開発を促しています。しかし、MedSAMのようなファインチューニングバリアントは、異質性、注釈の不足、分布シフトに悩まされる比較的限られた医療画像データで訓練されており、これが広範な医療セグメンテーションタスクへの汎用性を制限しています。この点を踏まえ、我々はMedSAMixを提案します。これは、汎用モデル（例：SAM）と専門モデル（例：MedSAM）の強みを統合した、訓練不要なモデル統合手法であり、医療画像セグメンテーションに適用されます。従来のモデル統合手法が手動設定に依存し、しばしば最適でない結果をもたらすのに対し、我々はゼロ次最適化手法を提案し、層ごとの最適な統合解を自動的に発見します。さらに、臨床応用に向けて、単一タスク最適化と多目的最適化をそれぞれ用いることで、異なるシナリオにおけるドメイン特異性と汎用性の要求に応える2つのレジームを開発しました。25の医療セグメンテーションタスクでの広範な評価により、MedSAMixがモデルのバイアスを効果的に軽減し、ドメイン特異的な精度と汎用性の両面で性能を一貫して向上させることが示されました。専門タスクでは6.67%、マルチタスク評価では4.37%の改善を達成しています。

English

Universal medical image segmentation models have emerged as a promising paradigm due to their strong generalizability across diverse tasks, showing great potential for a wide range of clinical applications. This potential has been partly driven by the success of general-purpose vision models such as the Segment Anything Model (SAM), which has inspired the development of various fine-tuned variants for medical segmentation tasks. However, fine-tuned variants like MedSAM are trained on comparatively limited medical imaging data that often suffers from heterogeneity, scarce annotations, and distributional shifts. These challenges limit their ability to generalize across a wide range of medical segmentation tasks. In this regard, we propose MedSAMix, a training-free model merging method that integrates the strengths of both generalist models (e.g., SAM) and specialist models (e.g., MedSAM) for medical image segmentation. In contrast to traditional model merging approaches that rely on manual configuration and often result in suboptimal outcomes, we propose a zero-order optimization method to automatically discover optimal layer-wise merging solutions. Furthermore, for clinical applications, we develop two regimes to meet the demand of domain-specificity and generalizability in different scenarios by single-task optimization and multi-objective optimization respectively. Extensive evaluations on 25 medical segmentation tasks demonstrate that MedSAMix effectively mitigates model bias and consistently improves performance in both domain-specific accuracy and generalization, achieving improvements of 6.67% on specialized tasks and 4.37% on multi-task evaluations.

MedSAMix: 医療画像セグメンテーションのためのトレーニング不要なモデル統合アプローチ

MedSAMix: A Training-Free Model Merging Approach for Medical Image Segmentation

要旨

Support