MedSAM-Agent: 다중 턴 에이전트 강화 학습을 통한 인터랙티브 의료 영상 분할 능력 강화

MedSAM-Agent: Empowering Interactive Medical Image Segmentation with Multi-turn Agentic Reinforcement Learning

February 3, 2026

저자: Shengyuan Liu, Liuxin Bao, Qi Yang, Wanting Geng, Boyun Zheng, Chenxin Li, Wenting Chen, Houwen Peng, Yixuan Yuan

cs.AI

초록

의료 영상 분할은 과제별 특화 모델에서 일반화 가능한 프레임워크로 진화하고 있습니다. 최근 연구에서는 다중 모드 대규모 언어 모델(MLLMs)을 자율 에이전트로 활용하여 검증 가능한 보상 강화 학습(RLVR)을 통해 Segment Anything Model(SAM)과 같은 전문 도구들을 조정하고 있습니다. 그러나 이러한 접근법은 단일 단계의 경직된 상호작용 전략에 의존하고 훈련 과정에서 프로세스 수준의 감독이 부족하여, 상호작용 도구의 동적 잠재력을 충분히 활용하지 못하고 중복 행동을 초래하는 한계가 있습니다. 이러한 격차를 해소하기 위해 우리는 상호작용적 분할을 다단계 자율 의사결정 과정으로 재구성하는 MedSAM-Agent 프레임워크를 제안합니다. 먼저, 전문가가 큐레이팅한 궤적 생성을 위한 하이브리드 프롬프팅 전략을 도입하여 모델이 인간과 유사한 결정 휴리스틱과 적응형 정제 전략을 내재화할 수 있도록 합니다. 더 나아가, 다중 단계의 종단간 결과 검증과 임상 정합성 프로세스 보상 설계를 통합한 2단계 훈련 파이프라인을 개발하여 상호작용의 간결성과 의사결정 효율성을 촉진합니다. 6가지 의료 영상 방식과 21개 데이터셋에 걸친 광범위한 실험을 통해 MedSAM-Agent가 최첨단 성능을 달성하며, 자율적인 의료 추론과 강건한 반복 최적화를 효과적으로 통합함을 입증했습니다. 코드는 https://github.com/CUHK-AIM-Group/MedSAM-Agent에서 확인할 수 있습니다.

English

Medical image segmentation is evolving from task-specific models toward generalizable frameworks. Recent research leverages Multi-modal Large Language Models (MLLMs) as autonomous agents, employing reinforcement learning with verifiable reward (RLVR) to orchestrate specialized tools like the Segment Anything Model (SAM). However, these approaches often rely on single-turn, rigid interaction strategies and lack process-level supervision during training, which hinders their ability to fully exploit the dynamic potential of interactive tools and leads to redundant actions. To bridge this gap, we propose MedSAM-Agent, a framework that reformulates interactive segmentation as a multi-step autonomous decision-making process. First, we introduce a hybrid prompting strategy for expert-curated trajectory generation, enabling the model to internalize human-like decision heuristics and adaptive refinement strategies. Furthermore, we develop a two-stage training pipeline that integrates multi-turn, end-to-end outcome verification with a clinical-fidelity process reward design to promote interaction parsimony and decision efficiency. Extensive experiments across 6 medical modalities and 21 datasets demonstrate that MedSAM-Agent achieves state-of-the-art performance, effectively unifying autonomous medical reasoning with robust, iterative optimization. Code is available https://github.com/CUHK-AIM-Group/MedSAM-Agent{here}.