失敗連鎖の打破：医療マルチモーダル推論のための段階認識型強化学習

要旨

近年、マルチモーダル大規模言語モデルは臨床画像推論において大きな可能性を示しているが、既存の事後学習パイプラインは依然として主に結果中心であり、最終回答の正しさや系列レベルの選好に依存している。これは疎な信用割り当てに悩まされ、臨床応用に不可欠な推論プロセスの最適化を困難にしている。我々の分析により、初期段階の推論失敗に起因する連鎖的エラーが、医療用視覚質問応答（VQA）ベンチマークにおける誤った予測の主な原因であることが明らかになった。この動機に基づき、我々はステップ単位のプロセス報酬を組み込んだ強化学習アルゴリズムであるMedical Reasoning-aware Policy Optimization（MRPO）を提案する。最終回答が不正解の場合、MRPOは初期の無効な推論ステップにおけるトークンに対して指数関数的に大きなペナルティを割り当て、成功した経路を損なうことなく失敗の連鎖を断ち切る。3つのマルチモーダルLLMバックボーンにおいて、MRPOは標準的なGRPOおよび最近の強化学習ベースラインを一貫して上回り、Qwen3-VL-8B-Instructでは、HuatuoGPT-Vision-34Bなど大幅に大規模な医療用MLLMを2.79ポイント上回る性能を示した。さらに、MRPOは初期段階の推論失敗を64.0%から13.0%に低減し、連鎖的失敗に対する標的を絞った緩和が推論の質と最終回答精度の両方を向上させることを示している。我々のコードは https://github.com/dmis-lab/MRPO で公開されている。

English

Recent multimodal large language models have shown great promise in clinical image reasoning, but existing post-training pipelines remain predominantly outcome-centric, relying on final answer correctness or sequence-level preferences. This suffers from sparse credit assignment, making it difficult to optimize the reasoning process essential for clinical applications. Our analysis reveals that cascading errors from early-stage reasoning failures are a leading cause of incorrect predictions in medical visual question answering (VQA) benchmarks. Motivated by this, we propose Medical Reasoning-aware Policy Optimization (MRPO), an RL algorithm that incorporates step-wise process rewards. When the final answer is incorrect, MRPO assigns exponentially larger penalties to tokens in earlier invalid reasoning steps, breaking failure cascades without compromising successful paths. Across three multimodal LLM backbones, MRPO consistently outperforms standard GRPO and a recent RL baseline, and on Qwen3-VL-8B-Instruct even surpasses substantially larger medical MLLMs such as HuatuoGPT-Vision-34B by 2.79 points. Moreover, MRPO reduces early-stage reasoning failures from 64.0% to 13.0%, showing that targeted mitigation of cascading failures improves both reasoning quality and final answer accuracy. Our code is available at https://github.com/dmis-lab/MRPO