SRPO: Mejora del razonamiento multimodal en LLM mediante aprendizaje por refuerzo consciente de la reflexión

Resumen

Los modelos de lenguaje multimodal de gran escala (MLLMs, por sus siglas en inglés) han demostrado capacidades prometedoras en tareas de razonamiento, pero aún enfrentan dificultades con problemas complejos que requieren una autorreflexión y autocorrección explícitas, especialmente en comparación con sus contrapartes unimodales basadas en texto. Los métodos de reflexión existentes son simplistas y tienen dificultades para generar retroalimentación significativa e instructiva, ya que la capacidad de razonamiento y los límites de conocimiento de los modelos preentrenados están en gran medida fijados durante el entrenamiento inicial. Para superar estos desafíos, proponemos el razonamiento mejorado con Autorreflexión Multimodal mediante Optimización de Política Relativa Grupal (SRPO, por sus siglas en inglés), un marco de aprendizaje por refuerzo (RL) de dos etapas diseñado explícitamente para mejorar el razonamiento de los MLLMs multimodales. En la primera etapa, construimos un conjunto de datos de alta calidad centrado en la reflexión bajo la guía de un MLLM avanzado, que genera reflexiones basadas en respuestas iniciales para ayudar al modelo de política a aprender tanto el razonamiento como la autorreflexión. En la segunda etapa, introducimos un mecanismo de recompensa novedoso dentro del marco GRPO que fomenta reflexiones concisas y cognitivamente significativas, evitando la redundancia. Experimentos extensos en múltiples benchmarks de razonamiento multimodal, incluyendo MathVista, MathVision, MathVerse y MMMU-Pro, utilizando Qwen-2.5-VL-7B y Qwen-2.5-VL-32B, demuestran que SRPO supera significativamente a los modelos de última generación, logrando mejoras notables tanto en la precisión del razonamiento como en la calidad de la reflexión.

English

Multimodal large language models (MLLMs) have shown promising capabilities in reasoning tasks, yet still struggle with complex problems requiring explicit self-reflection and self-correction, especially compared to their unimodal text-based counterparts. Existing reflection methods are simplistic and struggle to generate meaningful and instructive feedback, as the reasoning ability and knowledge limits of pre-trained models are largely fixed during initial training. To overcome these challenges, we propose Multimodal Self-Reflection enhanced reasoning with Group Relative Policy Optimization (SRPO), a two-stage reflection-aware reinforcement learning (RL) framework explicitly designed to enhance multimodal LLM reasoning. In the first stage, we construct a high-quality, reflection-focused dataset under the guidance of an advanced MLLM, which generates reflections based on initial responses to help the policy model learn both reasoning and self-reflection. In the second stage, we introduce a novel reward mechanism within the GRPO framework that encourages concise and cognitively meaningful reflection while avoiding redundancy. Extensive experiments across multiple multimodal reasoning benchmarks, including MathVista, MathVision, MathVerse, and MMMU-Pro, using Qwen-2.5-VL-7B and Qwen-2.5-VL-32B demonstrate that SRPO significantly outperforms state-of-the-art models, achieving notable improvements in both reasoning accuracy and reflection quality.

SRPO: Mejora del razonamiento multimodal en LLM mediante aprendizaje por refuerzo consciente de la reflexión

SRPO: Enhancing Multimodal LLM Reasoning via Reflection-Aware Reinforcement Learning

Resumen

Support