Vision-R1: Het stimuleren van redeneervermogen in multimodale grote taalmodellen

Vision-R1: Incentivizing Reasoning Capability in Multimodal Large Language Models

March 9, 2025

Auteurs: Wenxuan Huang, Bohan Jia, Zijie Zhai, Shaosheng Cao, Zheyu Ye, Fei Zhao, Yao Hu, Shaohui Lin

cs.AI

Samenvatting

DeepSeek-R1-Zero heeft met succes het ontstaan van redeneervaardigheden in LLMs (Large Language Models) puur door middel van Reinforcement Learning (RL) aangetoond. Geïnspireerd door deze doorbraak onderzoeken we hoe RL kan worden ingezet om de redeneervaardigheid van MLLMs (Multimodal Large Language Models) te verbeteren. Directe training met RL heeft echter moeite om complexe redeneervaardigheden zoals vragen stellen en reflectie in MLLMs te activeren, vanwege het ontbreken van substantiële hoogwaardige multimodale redeneergegevens. Om dit probleem aan te pakken, stellen we de redeneer-MLLM, Vision-R1, voor om de multimodale redeneervaardigheid te verbeteren. Specifiek construeren we eerst een hoogwaardige multimodale CoT-dataset (Chain-of-Thought) zonder menselijke annotaties door gebruik te maken van een bestaande MLLM en DeepSeek-R1 via modale overbrugging en datafiltering, wat resulteert in een 200K multimodale CoT-dataset, de Vision-R1-cold dataset. Deze dient als koude-start-initialisatiedata voor Vision-R1. Om de optimalisatieproblemen veroorzaakt door overdenken na de koude start te verminderen, stellen we de Progressive Thinking Suppression Training (PTST)-strategie voor en gebruiken we Group Relative Policy Optimization (GRPO) met de hard formatting result reward function om het vermogen van het model om correcte en complexe redeneerprocessen te leren geleidelijk te verfijnen op een 10K multimodale wiskundedataset. Uitgebreide experimenten tonen aan dat ons model een gemiddelde verbetering van ~6% behaalt op verschillende multimodale wiskunderedeneerbenchmarks. Vision-R1-7B behaalt een nauwkeurigheid van 73,5% op de veelgebruikte MathVista-benchmark, wat slechts 0,4% lager is dan het toonaangevende redeneermodel, OpenAI O1. De datasets en code zullen worden vrijgegeven op: https://github.com/Osilly/Vision-R1.

English

DeepSeek-R1-Zero has successfully demonstrated the emergence of reasoning capabilities in LLMs purely through Reinforcement Learning (RL). Inspired by this breakthrough, we explore how RL can be utilized to enhance the reasoning capability of MLLMs. However, direct training with RL struggles to activate complex reasoning capabilities such as questioning and reflection in MLLMs, due to the absence of substantial high-quality multimodal reasoning data. To address this issue, we propose the reasoning MLLM, Vision-R1, to improve multimodal reasoning capability. Specifically, we first construct a high-quality multimodal CoT dataset without human annotations by leveraging an existing MLLM and DeepSeek-R1 through modality bridging and data filtering to obtain a 200K multimodal CoT dataset, Vision-R1-cold dataset. It serves as cold-start initialization data for Vision-R1. To mitigate the optimization challenges caused by overthinking after cold start, we propose Progressive Thinking Suppression Training (PTST) strategy and employ Group Relative Policy Optimization (GRPO) with the hard formatting result reward function to gradually refine the model's ability to learn correct and complex reasoning processes on a 10K multimodal math dataset. Comprehensive experiments show our model achieves an average improvement of sim6% across various multimodal math reasoning benchmarks. Vision-R1-7B achieves a 73.5% accuracy on the widely used MathVista benchmark, which is only 0.4% lower than the leading reasoning model, OpenAI O1. The datasets and code will be released in: https://github.com/Osilly/Vision-R1 .