Vision-R1 : Stimuler les capacités de raisonnement dans les modèles de langage multimodaux de grande taille

Vision-R1: Incentivizing Reasoning Capability in Multimodal Large Language Models

March 9, 2025

Auteurs: Wenxuan Huang, Bohan Jia, Zijie Zhai, Shaosheng Cao, Zheyu Ye, Fei Zhao, Yao Hu, Shaohui Lin

cs.AI

Résumé

DeepSeek-R1-Zero a démontré avec succès l'émergence de capacités de raisonnement dans les LLMs (Large Language Models) uniquement par le biais de l'apprentissage par renforcement (Reinforcement Learning, RL). Inspirés par cette avancée, nous explorons comment le RL peut être utilisé pour améliorer les capacités de raisonnement des MLLMs (Multimodal Large Language Models). Cependant, l'entraînement direct avec le RL peine à activer des capacités de raisonnement complexes telles que le questionnement et la réflexion dans les MLLMs, en raison de l'absence de données multimodales de raisonnement de haute qualité en quantité suffisante. Pour résoudre ce problème, nous proposons le MLLM de raisonnement, Vision-R1, afin d'améliorer les capacités de raisonnement multimodal. Plus précisément, nous construisons d'abord un ensemble de données multimodal de haute qualité de type Chaîne de Pensée (CoT) sans annotations humaines, en exploitant un MLLM existant et DeepSeek-R1 à travers un pontage de modalités et un filtrage de données pour obtenir un ensemble de données multimodal CoT de 200K, appelé Vision-R1-cold. Celui-ci sert de données d'initialisation pour Vision-R1. Pour atténuer les défis d'optimisation causés par la sur-réflexion après l'initialisation, nous proposons la stratégie de Formation Progressive à la Suppression de la Pensée (Progressive Thinking Suppression Training, PTST) et utilisons l'Optimisation de Politique Relative par Groupe (Group Relative Policy Optimization, GRPO) avec une fonction de récompense basée sur les résultats de formatage rigoureux, afin d'affiner progressivement la capacité du modèle à apprendre des processus de raisonnement corrects et complexes sur un ensemble de données mathématiques multimodal de 10K. Des expériences approfondies montrent que notre modèle obtient une amélioration moyenne de ∼6% sur divers benchmarks de raisonnement mathématique multimodal. Vision-R1-7B atteint une précision de 73,5% sur le benchmark MathVista largement utilisé, ce qui n'est que 0,4% de moins que le modèle de raisonnement leader, OpenAI O1. Les ensembles de données et le code seront publiés sur : https://github.com/Osilly/Vision-R1.

English

DeepSeek-R1-Zero has successfully demonstrated the emergence of reasoning capabilities in LLMs purely through Reinforcement Learning (RL). Inspired by this breakthrough, we explore how RL can be utilized to enhance the reasoning capability of MLLMs. However, direct training with RL struggles to activate complex reasoning capabilities such as questioning and reflection in MLLMs, due to the absence of substantial high-quality multimodal reasoning data. To address this issue, we propose the reasoning MLLM, Vision-R1, to improve multimodal reasoning capability. Specifically, we first construct a high-quality multimodal CoT dataset without human annotations by leveraging an existing MLLM and DeepSeek-R1 through modality bridging and data filtering to obtain a 200K multimodal CoT dataset, Vision-R1-cold dataset. It serves as cold-start initialization data for Vision-R1. To mitigate the optimization challenges caused by overthinking after cold start, we propose Progressive Thinking Suppression Training (PTST) strategy and employ Group Relative Policy Optimization (GRPO) with the hard formatting result reward function to gradually refine the model's ability to learn correct and complex reasoning processes on a 10K multimodal math dataset. Comprehensive experiments show our model achieves an average improvement of sim6% across various multimodal math reasoning benchmarks. Vision-R1-7B achieves a 73.5% accuracy on the widely used MathVista benchmark, which is only 0.4% lower than the leading reasoning model, OpenAI O1. The datasets and code will be released in: https://github.com/Osilly/Vision-R1 .