Superando las cascadas de fallos: aprendizaje por refuerzo consciente de pasos para el razonamiento multimodal médico

Resumen

Recientemente, los modelos multimodales de lenguaje de gran escala han mostrado un gran potencial en el razonamiento de imágenes clínicas, pero los pipelines de post-entrenamiento existentes siguen siendo predominantemente centrados en los resultados, basándose en la corrección de la respuesta final o en preferencias a nivel de secuencia. Esto sufre de una asignación de crédito dispersa, lo que dificulta optimizar el proceso de razonamiento esencial para aplicaciones clínicas. Nuestro análisis revela que los errores en cascada derivados de fallos en el razonamiento temprano son una de las principales causas de predicciones incorrectas en los benchmarks de respuesta a preguntas visuales médicas (VQA). Motivados por esto, proponemos Medical Reasoning-aware Policy Optimization (MRPO), un algoritmo de RL que incorpora recompensas de proceso paso a paso. Cuando la respuesta final es incorrecta, MRPO asigna penalizaciones exponencialmente mayores a los tokens en pasos de razonamiento inválidos anteriores, rompiendo las cascadas de fallos sin comprometer las rutas exitosas. En tres backbones multimodales de LLM, MRPO supera consistentemente al GRPO estándar y a una línea base de RL reciente, y en Qwen3-VL-8B-Instruct incluso supera a MLLMs médicos considerablemente más grandes como HuatuoGPT-Vision-34B por 2.79 puntos. Además, MRPO reduce los fallos de razonamiento temprano del 64.0% al 13.0%, lo que demuestra que la mitigación dirigida de fallos en cascada mejora tanto la calidad del razonamiento como la precisión de la respuesta final. Nuestro código está disponible en https://github.com/dmis-lab/MRPO.

English

Recent multimodal large language models have shown great promise in clinical image reasoning, but existing post-training pipelines remain predominantly outcome-centric, relying on final answer correctness or sequence-level preferences. This suffers from sparse credit assignment, making it difficult to optimize the reasoning process essential for clinical applications. Our analysis reveals that cascading errors from early-stage reasoning failures are a leading cause of incorrect predictions in medical visual question answering (VQA) benchmarks. Motivated by this, we propose Medical Reasoning-aware Policy Optimization (MRPO), an RL algorithm that incorporates step-wise process rewards. When the final answer is incorrect, MRPO assigns exponentially larger penalties to tokens in earlier invalid reasoning steps, breaking failure cascades without compromising successful paths. Across three multimodal LLM backbones, MRPO consistently outperforms standard GRPO and a recent RL baseline, and on Qwen3-VL-8B-Instruct even surpasses substantially larger medical MLLMs such as HuatuoGPT-Vision-34B by 2.79 points. Moreover, MRPO reduces early-stage reasoning failures from 64.0% to 13.0%, showing that targeted mitigation of cascading failures improves both reasoning quality and final answer accuracy. Our code is available at https://github.com/dmis-lab/MRPO