Прерывание каскадов отказов: обучение с подкреплением с учетом шагов для медицинского мультимодального рассуждения

Аннотация

Недавние мультимодальные большие языковые модели продемонстрировали большой потенциал в клиническом анализе изображений, однако существующие конвейеры пост-обучения остаются преимущественно ориентированными на результат, полагаясь на правильность конечного ответа или предпочтения на уровне последовательности. Это приводит к разреженному распределению кредита, что затрудняет оптимизацию процесса рассуждений, необходимого для клинических приложений. Наш анализ показывает, что каскадные ошибки, возникающие из-за сбоев на ранних этапах рассуждений, являются основной причиной неверных предсказаний в бенчмарках медицинского визуального вопросно-ответного анализа (VQA). Исходя из этого, мы предлагаем медицинскую оптимизацию политики с учетом рассуждений (MRPO) — алгоритм обучения с подкреплением, включающий пошаговые вознаграждения за процесс. В случае неверного конечного ответа MRPO назначает экспоненциально большие штрафы токенам на более ранних некорректных шагах рассуждений, разрывая каскады сбоев без ухудшения успешных путей. На трех базовых мультимодальных больших языковых моделях MRPO стабильно превосходит стандартный GRPO и недавний базовый метод обучения с подкреплением, а на Qwen3-VL-8B-Instruct даже превышает показатели значительно более крупных медицинских MLLM, таких как HuatuoGPT-Vision-34B, на 2,79 балла. Более того, MRPO снижает долю ранних сбоев в рассуждениях с 64,0% до 13,0%, что демонстрирует: целенаправленное смягчение каскадных сбоев улучшает как качество рассуждений, так и точность конечного ответа. Наш код доступен по адресу https://github.com/dmis-lab/MRPO.

English

Recent multimodal large language models have shown great promise in clinical image reasoning, but existing post-training pipelines remain predominantly outcome-centric, relying on final answer correctness or sequence-level preferences. This suffers from sparse credit assignment, making it difficult to optimize the reasoning process essential for clinical applications. Our analysis reveals that cascading errors from early-stage reasoning failures are a leading cause of incorrect predictions in medical visual question answering (VQA) benchmarks. Motivated by this, we propose Medical Reasoning-aware Policy Optimization (MRPO), an RL algorithm that incorporates step-wise process rewards. When the final answer is incorrect, MRPO assigns exponentially larger penalties to tokens in earlier invalid reasoning steps, breaking failure cascades without compromising successful paths. Across three multimodal LLM backbones, MRPO consistently outperforms standard GRPO and a recent RL baseline, and on Qwen3-VL-8B-Instruct even surpasses substantially larger medical MLLMs such as HuatuoGPT-Vision-34B by 2.79 points. Moreover, MRPO reduces early-stage reasoning failures from 64.0% to 13.0%, showing that targeted mitigation of cascading failures improves both reasoning quality and final answer accuracy. Our code is available at https://github.com/dmis-lab/MRPO