MedSAM-Agent: Interaktive medizinische Bildsegmentierung durch Multi-Turn Agentic Reinforcement Learning
MedSAM-Agent: Empowering Interactive Medical Image Segmentation with Multi-turn Agentic Reinforcement Learning
February 3, 2026
papers.authors: Shengyuan Liu, Liuxin Bao, Qi Yang, Wanting Geng, Boyun Zheng, Chenxin Li, Wenting Chen, Houwen Peng, Yixuan Yuan
cs.AI
papers.abstract
Die medizinische Bildsegmentierung entwickelt sich von aufgabenspezifischen Modellen hin zu generalisierbaren Frameworks. Jüngste Forschung nutzt multimodale Large Language Models (MLLMs) als autonome Agenten und setzt Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) ein, um spezialisierte Werkzeuge wie das Segment Anything Model (SAM) zu orchestrieren. Diese Ansätze basieren jedoch oft auf starren Einzelschritt-Interaktionsstrategien und verfügen über keine prozessuale Überwachung während des Trainings, was ihre Fähigkeit einschränkt, das dynamische Potenzial interaktiver Werkzeuge voll auszuschöpfen und zu redundanten Aktionen führt. Um diese Lücke zu schließen, schlagen wir MedSAM-Agent vor, ein Framework, das interaktive Segmentierung als mehrstufigen autonomen Entscheidungsprozess neu formuliert. Zunächst führen wir eine Hybrid-Prompting-Strategie zur Erzeugung expertenkuratierter Trajektorien ein, die es dem Modell ermöglicht, menschenähnliche Entscheidungsheuristiken und adaptive Verfeinerungsstrategien zu internalisieren. Darüber hinaus entwickeln wir eine zweistufige Trainingspipeline, die mehrstufige End-to-End-Ergebnisverifikation mit einem klinisch treuen Prozessbelohnungsdesign integriert, um Interaktionsparsimonie und Entscheidungseffizienz zu fördern. Umfangreiche Experimente über 6 Bildgebungsmodalitäten und 21 Datensätze hinweg demonstrieren, dass MedSAM-Agent state-of-the-art Leistung erreicht und autonome medizinische Reasoning mit robuster, iterativer Optimierung effektiv vereint. Der Code ist verfügbar unter https://github.com/CUHK-AIM-Group/MedSAM-Agent.
English
Medical image segmentation is evolving from task-specific models toward generalizable frameworks. Recent research leverages Multi-modal Large Language Models (MLLMs) as autonomous agents, employing reinforcement learning with verifiable reward (RLVR) to orchestrate specialized tools like the Segment Anything Model (SAM). However, these approaches often rely on single-turn, rigid interaction strategies and lack process-level supervision during training, which hinders their ability to fully exploit the dynamic potential of interactive tools and leads to redundant actions. To bridge this gap, we propose MedSAM-Agent, a framework that reformulates interactive segmentation as a multi-step autonomous decision-making process. First, we introduce a hybrid prompting strategy for expert-curated trajectory generation, enabling the model to internalize human-like decision heuristics and adaptive refinement strategies. Furthermore, we develop a two-stage training pipeline that integrates multi-turn, end-to-end outcome verification with a clinical-fidelity process reward design to promote interaction parsimony and decision efficiency. Extensive experiments across 6 medical modalities and 21 datasets demonstrate that MedSAM-Agent achieves state-of-the-art performance, effectively unifying autonomous medical reasoning with robust, iterative optimization. Code is available https://github.com/CUHK-AIM-Group/MedSAM-Agent{here}.