OThink-MR1: Estimulación de capacidades de razonamiento generalizado multimodal mediante aprendizaje por refuerzo dinámico

OThink-MR1: Stimulating multimodal generalized reasoning capabilities via dynamic reinforcement learning

March 20, 2025

Autores: Zhiyuan Liu, Yuting Zhang, Feng Liu, Changwang Zhang, Ying Sun, Jun Wang

cs.AI

Resumen

Los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) han ganado un importante reconocimiento por su capacidad para procesar diversos tipos de datos de entrada y generar resultados coherentes y contextualmente relevantes en diversas aplicaciones. Si bien el ajuste fino supervisado (SFT, por sus siglas en inglés) ha sido el enfoque predominante para mejorar las capacidades de los MLLMs en la optimización específica de tareas, a menudo no logra fomentar habilidades cruciales de razonamiento generalizado. Aunque el aprendizaje por refuerzo (RL, por sus siglas en inglés) tiene un gran potencial para superar estas limitaciones, enfrenta dos desafíos significativos: (1) sus capacidades generalizadas en tareas multimodales siguen siendo en gran parte inexploradas, y (2) sus restricciones de entrenamiento, como la divergencia constante de Kullback-Leibler o la estrategia de sujeción, a menudo resultan en cuellos de botella subóptimos. Para abordar estos desafíos, proponemos OThink-MR1, un MLLM avanzado equipado con capacidades profundas de comprensión y razonamiento en tareas multimodales. Específicamente, introducimos la Optimización de Política Relativa de Grupo con una estrategia dinámica de Kullback-Leibler (GRPO-D, por sus siglas en inglés), que mejora notablemente el rendimiento del aprendizaje por refuerzo (RL). Para Qwen2-VL-2B-Instruct, GRPO-D logra una mejora relativa de más del 5.72% sobre SFT y más del 13.59% sobre GRPO en la evaluación de la misma tarea en dos conjuntos de datos adaptados. Además, GRPO-D demuestra capacidades notables de generalización entre tareas, con una mejora relativa promedio de más del 61.63% sobre SFT en la evaluación entre tareas. Estos resultados destacan que el MLLM entrenado con GRPO-D en una tarea multimodal puede transferirse eficazmente a otra tarea, subrayando las capacidades superiores de razonamiento generalizado de nuestro modelo propuesto, OThink-MR1.

English

Multimodal Large Language Models (MLLMs) have gained significant traction for their ability to process diverse input data types and generate coherent, contextually relevant outputs across various applications. While supervised fine-tuning (SFT) has been the predominant approach to enhance MLLM capabilities in task-specific optimization, it often falls short in fostering crucial generalized reasoning abilities. Although reinforcement learning (RL) holds great promise in overcoming these limitations, it encounters two significant challenges: (1) its generalized capacities in multimodal tasks remain largely unexplored, and (2) its training constraints, including the constant Kullback-Leibler divergence or the clamp strategy, often result in suboptimal bottlenecks. To address these challenges, we propose OThink-MR1, an advanced MLLM equipped with profound comprehension and reasoning capabilities across multimodal tasks. Specifically, we introduce Group Relative Policy Optimization with a dynamic Kullback-Leibler strategy (GRPO-D), which markedly enhances reinforcement learning (RL) performance. For Qwen2-VL-2B-Instruct, GRPO-D achieves a relative improvement of more than 5.72% over SFT and more than 13.59% over GRPO in same-task evaluation on two adapted datasets. Furthermore, GRPO-D demonstrates remarkable cross-task generalization capabilities, with an average relative improvement of more than 61.63% over SFT in cross-task evaluation. These results highlight that the MLLM trained with GRPO-D on one multimodal task can be effectively transferred to another task, underscoring the superior generalized reasoning capabilities of our proposed OThink-MR1 model.