MedSAM-Agent: Potenziamento della Segmentazione Interattiva di Immagini Mediche con Apprendimento per Rinforzo Agente a Turni Multipli
MedSAM-Agent: Empowering Interactive Medical Image Segmentation with Multi-turn Agentic Reinforcement Learning
February 3, 2026
Autori: Shengyuan Liu, Liuxin Bao, Qi Yang, Wanting Geng, Boyun Zheng, Chenxin Li, Wenting Chen, Houwen Peng, Yixuan Yuan
cs.AI
Abstract
La segmentazione di immagini mediche sta evolvendo da modelli specifici per task verso framework generalizzabili. Ricerche recenti sfruttano i Modelli Linguistici Multimodali (MLLM) come agenti autonomi, impiegando il reinforcement learning con ricompensa verificabile (RLVR) per orchestrare strumenti specializzati come il Segment Anything Model (SAM). Tuttavia, questi approcci spesso si basano su strategie di interazione rigide e a turno singolo, e mancano di supervisione a livello di processo durante l'addestramento, il che ne limita la capacità di sfruttare appieno il potenziale dinamico degli strumenti interattivi e porta ad azioni ridondanti.
Per colmare questa lacuna, proponiamo MedSAM-Agent, un framework che riformula la segmentazione interattiva come un processo decisionale autonomo multi-step. In primo luogo, introduciamo una strategia di prompting ibrida per la generazione di traiettorie curate da esperti, consentendo al modello di interiorizzare euristiche decisionali simili a quelle umane e strategie di raffinamento adattive. Inoltre, sviluppiamo una pipeline di addestramento a due stadi che integra una verifica end-to-end multi-turno dei risultati con un design di ricompensa di processo a fedeltà clinica, per promuovere la parsimonia interattiva e l'efficienza decisionale.
Esperimenti estesi su 6 modalità mediche e 21 dataset dimostrano che MedSAM-Agent raggiunge prestazioni allo stato dell'arte, unificando efficacemente il ragionamento medico autonomo con un'ottimizzazione iterativa e robusta. Il codice è disponibile https://github.com/CUHK-AIM-Group/MedSAM-Agent{qui}.
English
Medical image segmentation is evolving from task-specific models toward generalizable frameworks. Recent research leverages Multi-modal Large Language Models (MLLMs) as autonomous agents, employing reinforcement learning with verifiable reward (RLVR) to orchestrate specialized tools like the Segment Anything Model (SAM). However, these approaches often rely on single-turn, rigid interaction strategies and lack process-level supervision during training, which hinders their ability to fully exploit the dynamic potential of interactive tools and leads to redundant actions. To bridge this gap, we propose MedSAM-Agent, a framework that reformulates interactive segmentation as a multi-step autonomous decision-making process. First, we introduce a hybrid prompting strategy for expert-curated trajectory generation, enabling the model to internalize human-like decision heuristics and adaptive refinement strategies. Furthermore, we develop a two-stage training pipeline that integrates multi-turn, end-to-end outcome verification with a clinical-fidelity process reward design to promote interaction parsimony and decision efficiency. Extensive experiments across 6 medical modalities and 21 datasets demonstrate that MedSAM-Agent achieves state-of-the-art performance, effectively unifying autonomous medical reasoning with robust, iterative optimization. Code is available https://github.com/CUHK-AIM-Group/MedSAM-Agent{here}.