Durchbrechen von Fehlerkaskaden: Schrittbewusstes Reinforcement Learning für medizinisches multimodales Schlussfolgern

Zusammenfassung

Jüngste multimodale große Sprachmodelle haben großes Potenzial für die klinische Bildanalyse gezeigt, doch bestehende Post-Training-Pipelines bleiben überwiegend ergebnisorientiert, indem sie auf der Korrektheit der endgültigen Antwort oder auf Sequenzpräferenzen basieren. Dies führt zu einer spärlichen Kreditzuweisung, die die Optimierung des für klinische Anwendungen essenziellen Argumentationsprozesses erschwert. Unsere Analyse zeigt, dass kaskadierende Fehler aus frühen Argumentationsfehlern eine Hauptursache für falsche Vorhersagen bei medizinischen Benchmarks zur visuellen Fragebeantwortung (VQA) sind. Motiviert dadurch schlagen wir Medical Reasoning-aware Policy Optimization (MRPO) vor, einen RL-Algorithmus, der schrittweise Prozessbelohnungen integriert. Wenn die endgültige Antwort falsch ist, weist MRPO Token in früheren ungültigen Argumentationsschritten exponentiell größere Strafen zu, wodurch Fehlerkaskaden unterbrochen werden, ohne erfolgreiche Pfade zu beeinträchtigen. Über drei multimodale LLM-Backbones hinweg übertrifft MRPO durchweg das standardmäßige GRPO und eine neuere RL-Baseline und liegt bei Qwen3-VL-8B-Instruct sogar um 2,79 Punkte über deutlich größeren medizinischen MLLMs wie HuatuoGPT-Vision-34B. Darüber hinaus reduziert MRPO frühe Argumentationsfehler von 64,0 % auf 13,0 %, was zeigt, dass eine gezielte Abschwächung von Kaskadenfehlern sowohl die Argumentationsqualität als auch die Genauigkeit der endgültigen Antwort verbessert. Unser Code ist verfügbar unter https://github.com/dmis-lab/MRPO.

English

Recent multimodal large language models have shown great promise in clinical image reasoning, but existing post-training pipelines remain predominantly outcome-centric, relying on final answer correctness or sequence-level preferences. This suffers from sparse credit assignment, making it difficult to optimize the reasoning process essential for clinical applications. Our analysis reveals that cascading errors from early-stage reasoning failures are a leading cause of incorrect predictions in medical visual question answering (VQA) benchmarks. Motivated by this, we propose Medical Reasoning-aware Policy Optimization (MRPO), an RL algorithm that incorporates step-wise process rewards. When the final answer is incorrect, MRPO assigns exponentially larger penalties to tokens in earlier invalid reasoning steps, breaking failure cascades without compromising successful paths. Across three multimodal LLM backbones, MRPO consistently outperforms standard GRPO and a recent RL baseline, and on Qwen3-VL-8B-Instruct even surpasses substantially larger medical MLLMs such as HuatuoGPT-Vision-34B by 2.79 points. Moreover, MRPO reduces early-stage reasoning failures from 64.0% to 13.0%, showing that targeted mitigation of cascading failures improves both reasoning quality and final answer accuracy. Our code is available at https://github.com/dmis-lab/MRPO