Het doorbreken van faalcascades: stapbewust versterkend leren voor medisch multimodaal redeneren

Samenvatting

Recent hebben multimodale grote taalmodellen veelbelovende resultaten getoond in klinische beeldredenering, maar bestaande post-trainingspijplijnen blijven overwegend uitkomstgericht, vertrouwend op de correctheid van het uiteindelijke antwoord of voorkeuren op sequentieniveau. Dit heeft te lijden onder schaarse krediettoewijzing, waardoor het moeilijk is om het redeneringsproces te optimaliseren dat essentieel is voor klinische toepassingen. Onze analyse laat zien dat cascaderende fouten door mislukkingen in de vroege redeneerstadia een belangrijke oorzaak zijn van onjuiste voorspellingen in medische visuele vraag-antwoord (VQA) benchmarks. Gemotiveerd door dit stellen we Medical Reasoning-aware Policy Optimization (MRPO) voor, een RL-algoritme dat stapsgewijze procesbeloningen integreert. Wanneer het uiteindelijke antwoord onjuist is, kent MRPO exponentieel grotere straffen toe aan tokens in eerdere ongeldige redeneerstappen, waardoor faalcascades worden doorbroken zonder succesvolle paden in gevaar te brengen. Over drie multimodale LLM-backbones heen presteert MRPO consistent beter dan standaard GRPO en een recente RL-baseline, en op Qwen3-VL-8B-Instruct overtreft het zelfs aanzienlijk grotere medische MLLM's zoals HuatuoGPT-Vision-34B met 2,79 punten. Bovendien vermindert MRPO vroege redeneerfaalfouten van 64,0% naar 13,0%, wat aantoont dat gerichte beperking van cascaderende fouten zowel de redeneerkwaliteit als de nauwkeurigheid van het uiteindelijke antwoord verbetert. Onze code is beschikbaar op https://github.com/dmis-lab/MRPO.

English

Recent multimodal large language models have shown great promise in clinical image reasoning, but existing post-training pipelines remain predominantly outcome-centric, relying on final answer correctness or sequence-level preferences. This suffers from sparse credit assignment, making it difficult to optimize the reasoning process essential for clinical applications. Our analysis reveals that cascading errors from early-stage reasoning failures are a leading cause of incorrect predictions in medical visual question answering (VQA) benchmarks. Motivated by this, we propose Medical Reasoning-aware Policy Optimization (MRPO), an RL algorithm that incorporates step-wise process rewards. When the final answer is incorrect, MRPO assigns exponentially larger penalties to tokens in earlier invalid reasoning steps, breaking failure cascades without compromising successful paths. Across three multimodal LLM backbones, MRPO consistently outperforms standard GRPO and a recent RL baseline, and on Qwen3-VL-8B-Instruct even surpasses substantially larger medical MLLMs such as HuatuoGPT-Vision-34B by 2.79 points. Moreover, MRPO reduces early-stage reasoning failures from 64.0% to 13.0%, showing that targeted mitigation of cascading failures improves both reasoning quality and final answer accuracy. Our code is available at https://github.com/dmis-lab/MRPO