MedSAM-Agent: Potenciando la Segmentación Interactiva de Imágenes Médicas con Aprendizaje por Refuerzo Agéntico de Múltiples Turnos
MedSAM-Agent: Empowering Interactive Medical Image Segmentation with Multi-turn Agentic Reinforcement Learning
February 3, 2026
Autores: Shengyuan Liu, Liuxin Bao, Qi Yang, Wanting Geng, Boyun Zheng, Chenxin Li, Wenting Chen, Houwen Peng, Yixuan Yuan
cs.AI
Resumen
La segmentación de imágenes médicas está evolucionando desde modelos específicos por tarea hacia marcos generalizables. Investigaciones recientes aprovechan los Modelos de Lenguaje Grandes Multimodales (MLLMs) como agentes autónomos, empleando aprendizaje por refuerzo con recompensa verificable (RLVR) para orquestar herramientas especializadas como el Segment Anything Model (SAM). Sin embargo, estos enfoques a menudo dependen de estrategias de interacción rígidas y de un solo turno, y carecen de supervisión a nivel de proceso durante el entrenamiento, lo que limita su capacidad para explotar plenamente el potencial dinámico de las herramientas interactivas y conduce a acciones redundantes. Para salvar esta brecha, proponemos MedSAM-Agent, un marco que reformula la segmentación interactiva como un proceso de toma de decisiones autónoma en múltiples pasos. En primer lugar, introducimos una estrategia de *prompting* híbrida para la generación de trayectorias curadas por expertos, permitiendo que el modelo internalice heurísticas de decisión similares a las humanas y estrategias de refinamiento adaptativas. Además, desarrollamos un pipeline de entrenamiento en dos etapas que integra la verificación de resultados multi-turno de extremo a extremo con un diseño de recompensa de proceso con fidelidad clínica para promover la parsimonia en la interacción y la eficiencia decisional. Experimentos exhaustivos en 6 modalidades médicas y 21 conjuntos de datos demuestran que MedSAM-Agent logra un rendimiento de vanguardia, unificando efectivamente el razonamiento médico autónomo con una optimización iterativa y robusta. El código está disponible https://github.com/CUHK-AIM-Group/MedSAM-Agent{aquí}.
English
Medical image segmentation is evolving from task-specific models toward generalizable frameworks. Recent research leverages Multi-modal Large Language Models (MLLMs) as autonomous agents, employing reinforcement learning with verifiable reward (RLVR) to orchestrate specialized tools like the Segment Anything Model (SAM). However, these approaches often rely on single-turn, rigid interaction strategies and lack process-level supervision during training, which hinders their ability to fully exploit the dynamic potential of interactive tools and leads to redundant actions. To bridge this gap, we propose MedSAM-Agent, a framework that reformulates interactive segmentation as a multi-step autonomous decision-making process. First, we introduce a hybrid prompting strategy for expert-curated trajectory generation, enabling the model to internalize human-like decision heuristics and adaptive refinement strategies. Furthermore, we develop a two-stage training pipeline that integrates multi-turn, end-to-end outcome verification with a clinical-fidelity process reward design to promote interaction parsimony and decision efficiency. Extensive experiments across 6 medical modalities and 21 datasets demonstrate that MedSAM-Agent achieves state-of-the-art performance, effectively unifying autonomous medical reasoning with robust, iterative optimization. Code is available https://github.com/CUHK-AIM-Group/MedSAM-Agent{here}.