Wanneer Helpt RL Medische VLMs? Het Ontwarren van Visie-, SFT- en RL-Winst

When Does RL Help Medical VLMs? Disentangling Vision, SFT, and RL Gains

March 1, 2026

Auteurs: Ahmadreza Jeddi, Kimia Shaban, Negin Baghbanzadeh, Natasha Sharan, Abhishek Moturu, Elham Dolatabadi, Babak Taati

cs.AI

Samenvatting

Reinforcement Learning (RL) wordt steeds vaker gebruikt om medische Vision-Language Models (VLMs) na te trainen, maar het is nog onduidelijk of RL het medisch visueel redeneren verbetert of voornamelijk gedrag aanscherpt dat al door supervised fine-tuning (SFT) is aangeleerd. Wij presenteren een gecontroleerde studie die deze effecten ontwart langs drie assen: visie, SFT en RL. Met MedMNIST als multimodaal testplatform onderzoeken we visuele perceptie door VLM-visietorens te benchmarken tegen visie-only basislijnen, kwantificeren we redeneerondersteuning en steekproefefficiëntie via Accuracy@1 versus Pass@K, en evalueren we wanneer RL de ondersteuningskloof dicht en hoe winsten zich over modaliteiten heen overdragen. Wij constateren dat RL het meest effectief is wanneer het model reeds een aanzienlijke ondersteuning (hoge Pass@K) heeft: het verscherpt voornamelijk de uitvoerverdeling, verbetert Acc@1 en de steekproefefficiëntie, terwijl SFT de ondersteuning vergroot en RL effectief maakt. Gebaseerd op deze bevindingen stellen we een grenswaarde-bewuste aanpak voor en concretiseren deze door een met OctoMed geïnitialiseerd model na te trainen met RL op een kleine, gebalanceerde subset van PMC multiple-choice VQA, waarbij sterke gemiddelde prestaties worden behaald op zes medische VQA benchmarks.

English

Reinforcement learning (RL) is increasingly used to post-train medical Vision-Language Models (VLMs), yet it remains unclear whether RL improves medical visual reasoning or mainly sharpens behaviors already induced by supervised fine-tuning (SFT). We present a controlled study that disentangles these effects along three axes: vision, SFT, and RL. Using MedMNIST as a multi-modality testbed, we probe visual perception by benchmarking VLM vision towers against vision-only baselines, quantify reasoning support and sampling efficiency via Accuracy@1 versus Pass@K, and evaluate when RL closes the support gap and how gains transfer across modalities. We find that RL is most effective when the model already has non-trivial support (high Pass@K): it primarily sharpens the output distribution, improving Acc@1 and sampling efficiency, while SFT expands support and makes RL effective. Based on these findings, we propose a boundary-aware recipe and instantiate it by RL post-training an OctoMed-initialized model on a small, balanced subset of PMC multiple-choice VQA, achieving strong average performance across six medical VQA benchmarks.