SRPO : Amélioration du raisonnement multimodal des LLM via l'apprentissage par renforcement conscient de la réflexion

Résumé

Les modèles de langage multimodaux de grande taille (MLLMs) ont montré des capacités prometteuses dans les tâches de raisonnement, mais ils peinent encore à résoudre des problèmes complexes nécessitant une auto-réflexion et une auto-correction explicites, notamment par rapport à leurs homologues unimodaux basés sur le texte. Les méthodes de réflexion existantes sont simplistes et peinent à générer des retours d'information significatifs et instructifs, car les capacités de raisonnement et les limites de connaissances des modèles pré-entraînés sont largement figées lors de l'entraînement initial. Pour surmonter ces défis, nous proposons le raisonnement amélioré par auto-réflexion multimodale avec optimisation de politique relative par groupe (SRPO), un cadre d'apprentissage par renforcement (RL) en deux étapes explicitement conçu pour améliorer le raisonnement des MLLMs multimodaux. Dans la première étape, nous construisons un ensemble de données de haute qualité axé sur la réflexion sous la direction d'un MLLM avancé, qui génère des réflexions basées sur les réponses initiales pour aider le modèle de politique à apprendre à la fois le raisonnement et l'auto-réflexion. Dans la deuxième étape, nous introduisons un nouveau mécanisme de récompense au sein du cadre GRPO qui encourage une réflexion concise et cognitivement significative tout en évitant la redondance. Des expériences approfondies sur plusieurs benchmarks de raisonnement multimodal, notamment MathVista, MathVision, MathVerse et MMMU-Pro, utilisant Qwen-2.5-VL-7B et Qwen-2.5-VL-32B, démontrent que SRPO surpasse significativement les modèles de pointe, obtenant des améliorations notables à la fois en précision de raisonnement et en qualité de réflexion.

English

Multimodal large language models (MLLMs) have shown promising capabilities in reasoning tasks, yet still struggle with complex problems requiring explicit self-reflection and self-correction, especially compared to their unimodal text-based counterparts. Existing reflection methods are simplistic and struggle to generate meaningful and instructive feedback, as the reasoning ability and knowledge limits of pre-trained models are largely fixed during initial training. To overcome these challenges, we propose Multimodal Self-Reflection enhanced reasoning with Group Relative Policy Optimization (SRPO), a two-stage reflection-aware reinforcement learning (RL) framework explicitly designed to enhance multimodal LLM reasoning. In the first stage, we construct a high-quality, reflection-focused dataset under the guidance of an advanced MLLM, which generates reflections based on initial responses to help the policy model learn both reasoning and self-reflection. In the second stage, we introduce a novel reward mechanism within the GRPO framework that encourages concise and cognitively meaningful reflection while avoiding redundancy. Extensive experiments across multiple multimodal reasoning benchmarks, including MathVista, MathVision, MathVerse, and MMMU-Pro, using Qwen-2.5-VL-7B and Qwen-2.5-VL-32B demonstrate that SRPO significantly outperforms state-of-the-art models, achieving notable improvements in both reasoning accuracy and reflection quality.

SRPO : Amélioration du raisonnement multimodal des LLM via l'apprentissage par renforcement conscient de la réflexion

SRPO: Enhancing Multimodal LLM Reasoning via Reflection-Aware Reinforcement Learning

Résumé

Support