Когда RL помогает медицинским VLM? Разграничение вкладов зрения, SFT и RL
When Does RL Help Medical VLMs? Disentangling Vision, SFT, and RL Gains
March 1, 2026
Авторы: Ahmadreza Jeddi, Kimia Shaban, Negin Baghbanzadeh, Natasha Sharan, Abhishek Moturu, Elham Dolatabadi, Babak Taati
cs.AI
Аннотация
Обучение с подкреплением (RL) все чаще применяется для пост-обучения медицинских визуально-языковых моделей (VLM), однако до сих пор неясно, улучшает ли RL медицинское визуальное мышление или в основном оттачивает поведение, уже сформированное обучением с учителем (SFT). Мы представляем контролируемое исследование, которое разделяет эти эффекты по трем осям: зрение, SFT и RL. Используя MedMNIST в качестве многомодального тестового стенда, мы исследуем визуальное восприятие, сравнивая зрительные модули VLM с базовыми моделями, работающими только с изображениями, количественно оцениваем поддержку рассуждений и эффективность выборки с помощью Accuracy@1 и Pass@K, а также определяем, когда RL закрывает разрыв в поддержке и как достижения переносятся между модальностями. Мы обнаружили, что RL наиболее эффективен, когда модель уже обладает нетривиальной поддержкой (высокий Pass@K): он в основном сужает выходное распределение, улучшая Acc@1 и эффективность выборки, в то время как SFT расширяет поддержку и делает RL эффективным. На основе этих выводов мы предлагаем рецепт, учитывающий границы применимости, и реализуем его, проводя пост-обучение методом RL модели, инициализированной OctoMed, на небольшом сбалансированном подмножестве множественного выбора VQA из PMC, достигая высокой средней производительности на шести медицинских бенчмарках VQA.
English
Reinforcement learning (RL) is increasingly used to post-train medical Vision-Language Models (VLMs), yet it remains unclear whether RL improves medical visual reasoning or mainly sharpens behaviors already induced by supervised fine-tuning (SFT). We present a controlled study that disentangles these effects along three axes: vision, SFT, and RL. Using MedMNIST as a multi-modality testbed, we probe visual perception by benchmarking VLM vision towers against vision-only baselines, quantify reasoning support and sampling efficiency via Accuracy@1 versus Pass@K, and evaluate when RL closes the support gap and how gains transfer across modalities. We find that RL is most effective when the model already has non-trivial support (high Pass@K): it primarily sharpens the output distribution, improving Acc@1 and sampling efficiency, while SFT expands support and makes RL effective. Based on these findings, we propose a boundary-aware recipe and instantiate it by RL post-training an OctoMed-initialized model on a small, balanced subset of PMC multiple-choice VQA, achieving strong average performance across six medical VQA benchmarks.