R1-VL: Lernen des logischen Denkens mit multimodalen großen Sprachmodellen durch schrittweise gruppenrelative Policy-Optimierung

R1-VL: Learning to Reason with Multimodal Large Language Models via Step-wise Group Relative Policy Optimization

March 17, 2025

Autoren: Jingyi Zhang, Jiaxing Huang, Huanjin Yao, Shunyu Liu, Xikun Zhang, Shijian Lu, Dacheng Tao

cs.AI

Zusammenfassung

Aktuelle Studien verbessern die Fähigkeiten von MLLMs (Multimodale Large Language Models) im Allgemeinen durch überwachtes Feinabstimmen auf hochwertige Chain-of-Thought-Daten, was oft dazu führt, dass Modelle lediglich erfolgreiche Argumentationspfade nachahmen, ohne zu verstehen, was die falschen Argumentationspfade sind. In dieser Arbeit zielen wir darauf ab, die Argumentationsfähigkeit von MLLMs über das passive Nachahmen positiver Argumentationspfade hinaus zu verbessern. Zu diesem Zweck entwickeln wir Step-wise Group Relative Policy Optimization (StepGRPO), ein neues Online-Reinforcement-Learning-Framework, das es MLLMs ermöglicht, ihre Argumentationsfähigkeit durch einfache, effektive und dichte schrittweise Belohnungen selbst zu verbessern. Konkret führt StepGRPO zwei neuartige regelbasierte Argumentationsbelohnungen ein: Step-wise Reasoning Accuracy Reward (StepRAR) und Step-wise Reasoning Validity Reward (StepRVR). StepRAR belohnt Argumentationspfade, die notwendige Zwischenschritte enthalten, durch eine Soft-Key-Step-Matching-Technik, während StepRVR Argumentationspfade belohnt, die einem gut strukturierten und logisch konsistenten Argumentationsprozess folgen, durch eine Strategie zur Bewertung der Argumentationsvollständigkeit und Logik. Mit dem vorgeschlagenen StepGRPO stellen wir R1-VL vor, eine Reihe von MLLMs mit herausragenden Fähigkeiten in der schrittweisen Argumentation. Umfangreiche Experimente über 8 Benchmarks demonstrieren die Überlegenheit unserer Methoden.

English

Recent studies generally enhance MLLMs' reasoning capabilities via supervised fine-tuning on high-quality chain-of-thought reasoning data, which often leads models to merely imitate successful reasoning paths without understanding what the wrong reasoning paths are. In this work, we aim to enhance the MLLMs' reasoning ability beyond passively imitating positive reasoning paths. To this end, we design Step-wise Group Relative Policy Optimization (StepGRPO), a new online reinforcement learning framework that enables MLLMs to self-improve reasoning ability via simple, effective and dense step-wise rewarding. Specifically, StepGRPO introduces two novel rule-based reasoning rewards: Step-wise Reasoning Accuracy Reward (StepRAR) and Step-wise Reasoning Validity Reward (StepRVR). StepRAR rewards the reasoning paths that contain necessary intermediate reasoning steps via a soft key-step matching technique, while StepRAR rewards reasoning paths that follow a well-structured and logically consistent reasoning process through a reasoning completeness and logic evaluation strategy. With the proposed StepGRPO, we introduce R1-VL, a series of MLLMs with outstanding capabilities in step-by-step reasoning. Extensive experiments over 8 benchmarks demonstrate the superiority of our methods.