SRPO: Verbetering van Multimodale LLM-redenering via Reflectiebewuste Reinforcement Learning

Samenvatting

Multimodale grote taalmodellen (MLLMs) hebben veelbelovende capaciteiten getoond in redeneertaken, maar worstelen nog steeds met complexe problemen die expliciete zelfreflectie en zelfcorrectie vereisen, vooral in vergelijking met hun unimodale tekstgebaseerde tegenhangers. Bestaande reflectiemethoden zijn simplistisch en hebben moeite om zinvolle en instructieve feedback te genereren, aangezien het redeneervermogen en de kennisgrenzen van vooraf getrainde modellen grotendeels vastliggen tijdens de initiële training. Om deze uitdagingen te overwinnen, stellen we Multimodale Zelfreflectie-versterkt redeneren met Groepsrelatief Beleidsoptimalisatie (SRPO) voor, een tweestaps reflectiebewust reinforcement learning (RL) raamwerk dat expliciet is ontworpen om het redeneervermogen van multimodale LLMs te verbeteren. In de eerste fase construeren we een hoogwaardige, reflectiegerichte dataset onder begeleiding van een geavanceerd MLLM, dat reflecties genereert op basis van initiële antwoorden om het beleidsmodel zowel redeneren als zelfreflectie te laten leren. In de tweede fase introduceren we een nieuw beloningsmechanisme binnen het GRPO-raamwerk dat beknopte en cognitief zinvolle reflectie aanmoedigt terwijl redundantie wordt vermeden. Uitgebreide experimenten over meerdere multimodale redeneerbenchmarks, waaronder MathVista, MathVision, MathVerse en MMMU-Pro, met gebruik van Qwen-2.5-VL-7B en Qwen-2.5-VL-32B, tonen aan dat SRPO aanzienlijk beter presteert dan state-of-the-art modellen, met opmerkelijke verbeteringen in zowel redeneernauwkeurigheid als reflectiekwaliteit.

English

Multimodal large language models (MLLMs) have shown promising capabilities in reasoning tasks, yet still struggle with complex problems requiring explicit self-reflection and self-correction, especially compared to their unimodal text-based counterparts. Existing reflection methods are simplistic and struggle to generate meaningful and instructive feedback, as the reasoning ability and knowledge limits of pre-trained models are largely fixed during initial training. To overcome these challenges, we propose Multimodal Self-Reflection enhanced reasoning with Group Relative Policy Optimization (SRPO), a two-stage reflection-aware reinforcement learning (RL) framework explicitly designed to enhance multimodal LLM reasoning. In the first stage, we construct a high-quality, reflection-focused dataset under the guidance of an advanced MLLM, which generates reflections based on initial responses to help the policy model learn both reasoning and self-reflection. In the second stage, we introduce a novel reward mechanism within the GRPO framework that encourages concise and cognitively meaningful reflection while avoiding redundancy. Extensive experiments across multiple multimodal reasoning benchmarks, including MathVista, MathVision, MathVerse, and MMMU-Pro, using Qwen-2.5-VL-7B and Qwen-2.5-VL-32B demonstrate that SRPO significantly outperforms state-of-the-art models, achieving notable improvements in both reasoning accuracy and reflection quality.

SRPO: Verbetering van Multimodale LLM-redenering via Reflectiebewuste Reinforcement Learning

SRPO: Enhancing Multimodal LLM Reasoning via Reflection-Aware Reinforcement Learning

Samenvatting

Support