OThink-MR1: Стимулирование мультимодальных способностей к обобщённому рассуждению посредством динамического обучения с подкреплением

OThink-MR1: Stimulating multimodal generalized reasoning capabilities via dynamic reinforcement learning

March 20, 2025

Авторы: Zhiyuan Liu, Yuting Zhang, Feng Liu, Changwang Zhang, Ying Sun, Jun Wang

cs.AI

Аннотация

Мультимодальные большие языковые модели (MLLM) получили значительное внимание благодаря своей способности обрабатывать разнообразные типы входных данных и генерировать связные, контекстуально релевантные результаты в различных приложениях. Хотя контролируемая тонкая настройка (SFT) остается преобладающим подходом для улучшения возможностей MLLM в задачах специфической оптимизации, она часто не способствует развитию важных обобщенных способностей к рассуждению. Хотя обучение с подкреплением (RL) обещает преодолеть эти ограничения, оно сталкивается с двумя значительными проблемами: (1) его обобщенные способности в мультимодальных задачах остаются в значительной степени неисследованными, и (2) его ограничения в обучении, включая постоянную дивергенцию Кульбака-Лейблера или стратегию ограничения, часто приводят к субоптимальным узким местам. Для решения этих проблем мы предлагаем OThink-MR1, продвинутую MLLM, оснащенную глубокими способностями к пониманию и рассуждению в мультимодальных задачах. В частности, мы представляем Оптимизацию групповой относительной политики с динамической стратегией Кульбака-Лейблера (GRPO-D), которая значительно улучшает производительность обучения с подкреплением (RL). Для модели Qwen2-VL-2B-Instruct GRPO-D демонстрирует относительное улучшение более чем на 5,72% по сравнению с SFT и более чем на 13,59% по сравнению с GRPO в оценке на одних и тех же задачах на двух адаптированных наборах данных. Более того, GRPO-D показывает выдающиеся способности к кросс-задачному обобщению, с относительным улучшением в среднем более чем на 61,63% по сравнению с SFT в кросс-задачной оценке. Эти результаты подчеркивают, что MLLM, обученная с использованием GRPO-D на одной мультимодальной задаче, может быть эффективно перенесена на другую задачу, что демонстрирует превосходные обобщенные способности к рассуждению нашей модели OThink-MR1.

English

Multimodal Large Language Models (MLLMs) have gained significant traction for their ability to process diverse input data types and generate coherent, contextually relevant outputs across various applications. While supervised fine-tuning (SFT) has been the predominant approach to enhance MLLM capabilities in task-specific optimization, it often falls short in fostering crucial generalized reasoning abilities. Although reinforcement learning (RL) holds great promise in overcoming these limitations, it encounters two significant challenges: (1) its generalized capacities in multimodal tasks remain largely unexplored, and (2) its training constraints, including the constant Kullback-Leibler divergence or the clamp strategy, often result in suboptimal bottlenecks. To address these challenges, we propose OThink-MR1, an advanced MLLM equipped with profound comprehension and reasoning capabilities across multimodal tasks. Specifically, we introduce Group Relative Policy Optimization with a dynamic Kullback-Leibler strategy (GRPO-D), which markedly enhances reinforcement learning (RL) performance. For Qwen2-VL-2B-Instruct, GRPO-D achieves a relative improvement of more than 5.72% over SFT and more than 13.59% over GRPO in same-task evaluation on two adapted datasets. Furthermore, GRPO-D demonstrates remarkable cross-task generalization capabilities, with an average relative improvement of more than 61.63% over SFT in cross-task evaluation. These results highlight that the MLLM trained with GRPO-D on one multimodal task can be effectively transferred to another task, underscoring the superior generalized reasoning capabilities of our proposed OThink-MR1 model.