Briser les cascades d'échecs : Apprentissage par renforcement tenant compte des étapes pour le raisonnement multimodal médical

Résumé

Les récents modèles de langage multimodaux de grande taille ont montré des résultats prometteurs dans le raisonnement sur les images cliniques, mais les pipelines de post-entraînement existants restent principalement centrés sur les résultats, en s'appuyant sur la correction de la réponse finale ou sur des préférences au niveau des séquences. Cette approche souffre d'une attribution de crédit éparse, ce qui rend difficile l'optimisation du processus de raisonnement, pourtant essentiel dans les applications cliniques. Notre analyse révèle que les erreurs en cascade issues de défaillances précoces dans le raisonnement constituent une cause majeure de prédictions incorrectes dans les benchmarks de réponse à des questions visuelles médicales (VQA). Motivés par ce constat, nous proposons MRPO (Medical Reasoning-aware Policy Optimization), un algorithme d'apprentissage par renforcement qui intègre des récompenses de processus par étape. Lorsque la réponse finale est incorrecte, MRPO attribue des pénalités exponentiellement plus élevées aux jetons dans les premières étapes de raisonnement invalides, brisant ainsi les cascades d'échecs sans compromettre les chemins réussis. Sur trois architectures de modèles de langage multimodaux, MRPO surpasse systématiquement la méthode GRPO standard et une référence récente en apprentissage par renforcement, et sur Qwen3-VL-8B-Instruct, il dépasse même des modèles médicaux multimodaux considérablement plus grands, tels que HuatuoGPT-Vision-34B, de 2,79 points. De plus, MRPO réduit les défaillances précoces de raisonnement de 64,0 % à 13,0 %, montrant qu'une atténuation ciblée des défaillances en cascade améliore à la fois la qualité du raisonnement et la précision de la réponse finale. Notre code est disponible à l'adresse https://github.com/dmis-lab/MRPO.

English

Recent multimodal large language models have shown great promise in clinical image reasoning, but existing post-training pipelines remain predominantly outcome-centric, relying on final answer correctness or sequence-level preferences. This suffers from sparse credit assignment, making it difficult to optimize the reasoning process essential for clinical applications. Our analysis reveals that cascading errors from early-stage reasoning failures are a leading cause of incorrect predictions in medical visual question answering (VQA) benchmarks. Motivated by this, we propose Medical Reasoning-aware Policy Optimization (MRPO), an RL algorithm that incorporates step-wise process rewards. When the final answer is incorrect, MRPO assigns exponentially larger penalties to tokens in earlier invalid reasoning steps, breaking failure cascades without compromising successful paths. Across three multimodal LLM backbones, MRPO consistently outperforms standard GRPO and a recent RL baseline, and on Qwen3-VL-8B-Instruct even surpasses substantially larger medical MLLMs such as HuatuoGPT-Vision-34B by 2.79 points. Moreover, MRPO reduces early-stage reasoning failures from 64.0% to 13.0%, showing that targeted mitigation of cascading failures improves both reasoning quality and final answer accuracy. Our code is available at https://github.com/dmis-lab/MRPO