R1-VL : Apprentissage du raisonnement avec des modèles de langage multimodaux de grande taille via une optimisation de politique relative par étapes groupées

R1-VL: Learning to Reason with Multimodal Large Language Models via Step-wise Group Relative Policy Optimization

March 17, 2025

Auteurs: Jingyi Zhang, Jiaxing Huang, Huanjin Yao, Shunyu Liu, Xikun Zhang, Shijian Lu, Dacheng Tao

cs.AI

Résumé

Les études récentes améliorent généralement les capacités de raisonnement des MLLMs (Modèles de Langage Multimodaux) via un ajustement fin supervisé sur des données de raisonnement en chaîne de pensée de haute qualité, ce qui conduit souvent les modèles à simplement imiter les chemins de raisonnement réussis sans comprendre ce que sont les chemins de raisonnement erronés. Dans ce travail, nous visons à renforcer la capacité de raisonnement des MLLMs au-delà de l'imitation passive des chemins de raisonnement positifs. Pour ce faire, nous concevons Step-wise Group Relative Policy Optimization (StepGRPO), un nouveau cadre d'apprentissage par renforcement en ligne qui permet aux MLLMs de s'améliorer eux-mêmes en matière de raisonnement via des récompenses simples, efficaces et denses à chaque étape. Plus précisément, StepGRPO introduit deux nouvelles récompenses basées sur des règles pour le raisonnement : Step-wise Reasoning Accuracy Reward (StepRAR) et Step-wise Reasoning Validity Reward (StepRVR). StepRAR récompense les chemins de raisonnement qui contiennent les étapes intermédiaires nécessaires via une technique de correspondance douce des étapes clés, tandis que StepRVR récompense les chemins de raisonnement qui suivent un processus de raisonnement bien structuré et logiquement cohérent grâce à une stratégie d'évaluation de la complétude et de la logique du raisonnement. Avec le StepGRPO proposé, nous introduisons R1-VL, une série de MLLMs dotés de capacités exceptionnelles en matière de raisonnement étape par étape. Des expériences approfondies sur 8 benchmarks démontrent la supériorité de nos méthodes.

English

Recent studies generally enhance MLLMs' reasoning capabilities via supervised fine-tuning on high-quality chain-of-thought reasoning data, which often leads models to merely imitate successful reasoning paths without understanding what the wrong reasoning paths are. In this work, we aim to enhance the MLLMs' reasoning ability beyond passively imitating positive reasoning paths. To this end, we design Step-wise Group Relative Policy Optimization (StepGRPO), a new online reinforcement learning framework that enables MLLMs to self-improve reasoning ability via simple, effective and dense step-wise rewarding. Specifically, StepGRPO introduces two novel rule-based reasoning rewards: Step-wise Reasoning Accuracy Reward (StepRAR) and Step-wise Reasoning Validity Reward (StepRVR). StepRAR rewards the reasoning paths that contain necessary intermediate reasoning steps via a soft key-step matching technique, while StepRAR rewards reasoning paths that follow a well-structured and logically consistent reasoning process through a reasoning completeness and logic evaluation strategy. With the proposed StepGRPO, we introduce R1-VL, a series of MLLMs with outstanding capabilities in step-by-step reasoning. Extensive experiments over 8 benchmarks demonstrate the superiority of our methods.