MedSAM-Agent : Renforcer la segmentation interactive d'images médicales par un apprentissage par renforcement agentique multi-tours

MedSAM-Agent: Empowering Interactive Medical Image Segmentation with Multi-turn Agentic Reinforcement Learning

February 3, 2026

papers.authors: Shengyuan Liu, Liuxin Bao, Qi Yang, Wanting Geng, Boyun Zheng, Chenxin Li, Wenting Chen, Houwen Peng, Yixuan Yuan

cs.AI

papers.abstract

La segmentation d'images médicales évolue des modèles spécifiques à une tâche vers des cadres généralisables. Des recherches récentes exploitent les modèles de langage multimodaux de grande taille (MLLM) en tant qu'agents autonomes, utilisant l'apprentissage par renforcement avec récompense vérifiable (RLVR) pour orchestrer des outils spécialisés comme le Segment Anything Model (SAM). Cependant, ces approches reposent souvent sur des stratégies d'interaction rigides en un seul tour et manquent de supervision au niveau du processus pendant l'entraînement, ce qui limite leur capacité à exploiter pleinement le potentiel dynamique des outils interactifs et conduit à des actions redondantes. Pour combler cette lacune, nous proposons MedSAM-Agent, un cadre qui reformule la segmentation interactive comme un processus décisionnel autonome en plusieurs étapes. Premièrement, nous introduisons une stratégie d'incitation hybride pour la génération de trajectoires expertes, permettant au modèle d'intérioriser des heuristiques décisionnelles similaires à celles des humains et des stratégies d'affinage adaptatives. De plus, nous développons un pipeline d'entraînement en deux étapes qui intègre une vérification des résultats multi-tours de bout en bout avec une conception de récompense de processus à fidélité clinique pour promouvoir la parcimonie interactionnelle et l'efficacité décisionnelle. Des expériences approfondies sur 6 modalités médicales et 21 jeux de données démontrent que MedSAM-Agent atteint des performances de pointe, unifiant efficacement le raisonnement médical autonome avec une optimisation itérative robuste. Le code est disponible {ici} : https://github.com/CUHK-AIM-Group/MedSAM-Agent.

English

Medical image segmentation is evolving from task-specific models toward generalizable frameworks. Recent research leverages Multi-modal Large Language Models (MLLMs) as autonomous agents, employing reinforcement learning with verifiable reward (RLVR) to orchestrate specialized tools like the Segment Anything Model (SAM). However, these approaches often rely on single-turn, rigid interaction strategies and lack process-level supervision during training, which hinders their ability to fully exploit the dynamic potential of interactive tools and leads to redundant actions. To bridge this gap, we propose MedSAM-Agent, a framework that reformulates interactive segmentation as a multi-step autonomous decision-making process. First, we introduce a hybrid prompting strategy for expert-curated trajectory generation, enabling the model to internalize human-like decision heuristics and adaptive refinement strategies. Furthermore, we develop a two-stage training pipeline that integrates multi-turn, end-to-end outcome verification with a clinical-fidelity process reward design to promote interaction parsimony and decision efficiency. Extensive experiments across 6 medical modalities and 21 datasets demonstrate that MedSAM-Agent achieves state-of-the-art performance, effectively unifying autonomous medical reasoning with robust, iterative optimization. Code is available https://github.com/CUHK-AIM-Group/MedSAM-Agent{here}.