SRPO: Verbesserung des multimodalen LLM-Reasonings durch reflexionsbewusstes Reinforcement Learning

Zusammenfassung

Multimodale große Sprachmodelle (MLLMs) haben vielversprechende Fähigkeiten bei Denkaufgaben gezeigt, kämpfen jedoch noch mit komplexen Problemen, die explizite Selbstreflexion und Selbstkorrektur erfordern, insbesondere im Vergleich zu ihren unimodalen textbasierten Gegenstücken. Bestehende Reflexionsmethoden sind zu simpel und haben Schwierigkeiten, sinnvolle und lehrreiche Rückmeldungen zu generieren, da die Denkfähigkeit und das Wissen vortrainierter Modelle weitgehend während des anfänglichen Trainings festgelegt sind. Um diese Herausforderungen zu bewältigen, schlagen wir Multimodale Selbstreflexion mit Group Relative Policy Optimization (SRPO) vor, ein zweistufiges Reflexions-bewusstes Reinforcement-Learning (RL)-Framework, das explizit entwickelt wurde, um das Denken multimodaler LLMs zu verbessern. In der ersten Stufe erstellen wir einen hochwertigen, reflexionsfokussierten Datensatz unter Anleitung eines fortgeschrittenen MLLM, das Reflexionen basierend auf initialen Antworten generiert, um dem Policy-Modell sowohl das Denken als auch die Selbstreflexion beizubringen. In der zweiten Stufe führen wir einen neuartigen Belohnungsmechanismus innerhalb des GRPO-Frameworks ein, der prägnante und kognitiv sinnvolle Reflexion fördert, während Redundanz vermieden wird. Umfangreiche Experimente über mehrere multimodale Denkbenchmarks, darunter MathVista, MathVision, MathVerse und MMMU-Pro, unter Verwendung von Qwen-2.5-VL-7B und Qwen-2.5-VL-32B zeigen, dass SRPO state-of-the-art Modelle deutlich übertrifft und bemerkenswerte Verbesserungen sowohl in der Denkgenauigkeit als auch in der Reflexionsqualität erzielt.

English

Multimodal large language models (MLLMs) have shown promising capabilities in reasoning tasks, yet still struggle with complex problems requiring explicit self-reflection and self-correction, especially compared to their unimodal text-based counterparts. Existing reflection methods are simplistic and struggle to generate meaningful and instructive feedback, as the reasoning ability and knowledge limits of pre-trained models are largely fixed during initial training. To overcome these challenges, we propose Multimodal Self-Reflection enhanced reasoning with Group Relative Policy Optimization (SRPO), a two-stage reflection-aware reinforcement learning (RL) framework explicitly designed to enhance multimodal LLM reasoning. In the first stage, we construct a high-quality, reflection-focused dataset under the guidance of an advanced MLLM, which generates reflections based on initial responses to help the policy model learn both reasoning and self-reflection. In the second stage, we introduce a novel reward mechanism within the GRPO framework that encourages concise and cognitively meaningful reflection while avoiding redundancy. Extensive experiments across multiple multimodal reasoning benchmarks, including MathVista, MathVision, MathVerse, and MMMU-Pro, using Qwen-2.5-VL-7B and Qwen-2.5-VL-32B demonstrate that SRPO significantly outperforms state-of-the-art models, achieving notable improvements in both reasoning accuracy and reflection quality.

SRPO: Verbesserung des multimodalen LLM-Reasonings durch reflexionsbewusstes Reinforcement Learning

SRPO: Enhancing Multimodal LLM Reasoning via Reflection-Aware Reinforcement Learning

Zusammenfassung

Support