실패 연쇄 차단: 의료 다중 양식 추론을 위한 단계 인식 강화 학습

초록

최근의 다중 모드 대규모 언어 모델은 임상 이미지 추론에서 큰 가능성을 보여주고 있지만, 기존의 사후 학습 파이프라인은 최종 답변의 정확성이나 시퀀스 수준의 선호도에 의존하는 결과 중심적 접근에 머물러 있다. 이는 희소한 신용 할당 문제를 초래하여 임상 적용에 필수적인 추론 과정을 최적화하기 어렵게 만든다. 본 분석 결과, 초기 추론 단계의 실패에서 비롯된 연쇄 오류가 의료 시각 질의응답(VQA) 벤치마크에서 부정확한 예측의 주요 원인임을 확인하였다. 이에 착안하여, 우리는 단계별 과정 보상을 통합한 강화 학습 알고리즘인 의료 추론 인식 정책 최적화(MRPO)를 제안한다. 최종 답변이 틀렸을 때, MRPO는 초기 무효 추론 단계의 토큰에 지수적으로 더 큰 패널티를 할당하여 성공적인 경로를 손상시키지 않으면서 실패 연쇄를 차단한다. 세 가지 다중 모드 LLM 백본에서 MRPO는 표준 GRPO 및 최근 RL 기준선보다 일관되게 우수한 성능을 보였으며, Qwen3-VL-8B-Instruct에서는 HuatuoGPT-Vision-34B와 같은 훨씬 더 큰 의료 MLLM도 2.79 포인트 차이로 능가하였다. 또한, MRPO는 초기 단계 추론 실패를 64.0%에서 13.0%로 감소시켜, 연쇄 실패의 표적 완화가 추론 품질과 최종 답변 정확성을 모두 향상시킴을 보여준다. 본 코드는 https://github.com/dmis-lab/MRPO에서 확인할 수 있다.

English

Recent multimodal large language models have shown great promise in clinical image reasoning, but existing post-training pipelines remain predominantly outcome-centric, relying on final answer correctness or sequence-level preferences. This suffers from sparse credit assignment, making it difficult to optimize the reasoning process essential for clinical applications. Our analysis reveals that cascading errors from early-stage reasoning failures are a leading cause of incorrect predictions in medical visual question answering (VQA) benchmarks. Motivated by this, we propose Medical Reasoning-aware Policy Optimization (MRPO), an RL algorithm that incorporates step-wise process rewards. When the final answer is incorrect, MRPO assigns exponentially larger penalties to tokens in earlier invalid reasoning steps, breaking failure cascades without compromising successful paths. Across three multimodal LLM backbones, MRPO consistently outperforms standard GRPO and a recent RL baseline, and on Qwen3-VL-8B-Instruct even surpasses substantially larger medical MLLMs such as HuatuoGPT-Vision-34B by 2.79 points. Moreover, MRPO reduces early-stage reasoning failures from 64.0% to 13.0%, showing that targeted mitigation of cascading failures improves both reasoning quality and final answer accuracy. Our code is available at https://github.com/dmis-lab/MRPO