SRPO: Aprimorando o Raciocínio de LLMs Multimodais por meio de Aprendizado por Reforço com Consciência de Reflexão

Resumo

Modelos de linguagem multimodal de grande escala (MLLMs) têm demonstrado capacidades promissoras em tarefas de raciocínio, mas ainda enfrentam dificuldades com problemas complexos que exigem autorreflexão e autocorreção explícitas, especialmente quando comparados aos seus equivalentes unimodais baseados em texto. Os métodos de reflexão existentes são simplistas e lutam para gerar feedback significativo e instrutivo, uma vez que a capacidade de raciocínio e os limites de conhecimento dos modelos pré-treinados são amplamente fixados durante o treinamento inicial. Para superar esses desafios, propomos o **Multimodal Self-Reflection enhanced reasoning with Group Relative Policy Optimization (SRPO)**, uma estrutura de aprendizado por reforço (RL) em dois estágios, projetada explicitamente para aprimorar o raciocínio de MLLMs multimodais. No primeiro estágio, construímos um conjunto de dados de alta qualidade focado em reflexão, sob a orientação de um MLLM avançado, que gera reflexões com base em respostas iniciais para ajudar o modelo de política a aprender tanto o raciocínio quanto a autorreflexão. No segundo estágio, introduzimos um novo mecanismo de recompensa dentro da estrutura GRPO que incentiva reflexões concisas e cognitivamente significativas, evitando redundâncias. Experimentos extensos em vários benchmarks de raciocínio multimodal, incluindo MathVista, MathVision, MathVerse e MMMU-Pro, utilizando Qwen-2.5-VL-7B e Qwen-2.5-VL-32B, demonstram que o SRPO supera significativamente os modelos state-of-the-art, alcançando melhorias notáveis tanto na precisão do raciocínio quanto na qualidade da reflexão.

English

Multimodal large language models (MLLMs) have shown promising capabilities in reasoning tasks, yet still struggle with complex problems requiring explicit self-reflection and self-correction, especially compared to their unimodal text-based counterparts. Existing reflection methods are simplistic and struggle to generate meaningful and instructive feedback, as the reasoning ability and knowledge limits of pre-trained models are largely fixed during initial training. To overcome these challenges, we propose Multimodal Self-Reflection enhanced reasoning with Group Relative Policy Optimization (SRPO), a two-stage reflection-aware reinforcement learning (RL) framework explicitly designed to enhance multimodal LLM reasoning. In the first stage, we construct a high-quality, reflection-focused dataset under the guidance of an advanced MLLM, which generates reflections based on initial responses to help the policy model learn both reasoning and self-reflection. In the second stage, we introduce a novel reward mechanism within the GRPO framework that encourages concise and cognitively meaningful reflection while avoiding redundancy. Extensive experiments across multiple multimodal reasoning benchmarks, including MathVista, MathVision, MathVerse, and MMMU-Pro, using Qwen-2.5-VL-7B and Qwen-2.5-VL-32B demonstrate that SRPO significantly outperforms state-of-the-art models, achieving notable improvements in both reasoning accuracy and reflection quality.

SRPO: Aprimorando o Raciocínio de LLMs Multimodais por meio de Aprendizado por Reforço com Consciência de Reflexão

SRPO: Enhancing Multimodal LLM Reasoning via Reflection-Aware Reinforcement Learning

Resumo

Support