OThink-MR1: Förderung multimodaler generalisierter Denkfähigkeiten durch dynamisches bestärkendes Lernen

OThink-MR1: Stimulating multimodal generalized reasoning capabilities via dynamic reinforcement learning

March 20, 2025

Autoren: Zhiyuan Liu, Yuting Zhang, Feng Liu, Changwang Zhang, Ying Sun, Jun Wang

cs.AI

Zusammenfassung

Multimodale Large Language Models (MLLMs) haben aufgrund ihrer Fähigkeit, verschiedene Arten von Eingabedaten zu verarbeiten und kohärente, kontextuell relevante Ausgaben in verschiedenen Anwendungen zu generieren, erheblich an Bedeutung gewonnen. Während das überwachte Feinabstimmen (Supervised Fine-Tuning, SFT) der vorherrschende Ansatz zur Verbesserung der Fähigkeiten von MLLMs in der aufgabenspezifischen Optimierung war, zeigt es oft Schwächen bei der Förderung entscheidender generalisierter Denkfähigkeiten. Obwohl Reinforcement Learning (RL) großes Potenzial besitzt, diese Einschränkungen zu überwinden, stößt es auf zwei wesentliche Herausforderungen: (1) seine generalisierten Fähigkeiten in multimodalen Aufgaben sind weitgehend unerforscht, und (2) seine Trainingsbeschränkungen, einschließlich der konstanten Kullback-Leibler-Divergenz oder der Clamp-Strategie, führen oft zu suboptimalen Engpässen. Um diese Herausforderungen zu bewältigen, schlagen wir OThink-MR1 vor, ein fortschrittliches MLLM, das mit tiefgreifendem Verständnis und Denkfähigkeiten in multimodalen Aufgaben ausgestattet ist. Insbesondere führen wir die Group Relative Policy Optimization mit einer dynamischen Kullback-Leibler-Strategie (GRPO-D) ein, die die Leistung von Reinforcement Learning (RL) deutlich verbessert. Für Qwen2-VL-2B-Instruct erzielt GRPO-D eine relative Verbesserung von mehr als 5,72 % gegenüber SFT und mehr als 13,59 % gegenüber GRPO in der Bewertung derselben Aufgabe auf zwei angepassten Datensätzen. Darüber hinaus zeigt GRPO-D bemerkenswerte Fähigkeiten zur aufgabenübergreifenden Generalisierung, mit einer durchschnittlichen relativen Verbesserung von mehr als 61,63 % gegenüber SFT in der aufgabenübergreifenden Bewertung. Diese Ergebnisse verdeutlichen, dass das mit GRPO-D trainierte MLLM für eine multimodale Aufgabe effektiv auf eine andere Aufgabe übertragen werden kann, was die überlegenen generalisierten Denkfähigkeiten unseres vorgeschlagenen OThink-MR1-Modells unterstreicht.

English

Multimodal Large Language Models (MLLMs) have gained significant traction for their ability to process diverse input data types and generate coherent, contextually relevant outputs across various applications. While supervised fine-tuning (SFT) has been the predominant approach to enhance MLLM capabilities in task-specific optimization, it often falls short in fostering crucial generalized reasoning abilities. Although reinforcement learning (RL) holds great promise in overcoming these limitations, it encounters two significant challenges: (1) its generalized capacities in multimodal tasks remain largely unexplored, and (2) its training constraints, including the constant Kullback-Leibler divergence or the clamp strategy, often result in suboptimal bottlenecks. To address these challenges, we propose OThink-MR1, an advanced MLLM equipped with profound comprehension and reasoning capabilities across multimodal tasks. Specifically, we introduce Group Relative Policy Optimization with a dynamic Kullback-Leibler strategy (GRPO-D), which markedly enhances reinforcement learning (RL) performance. For Qwen2-VL-2B-Instruct, GRPO-D achieves a relative improvement of more than 5.72% over SFT and more than 13.59% over GRPO in same-task evaluation on two adapted datasets. Furthermore, GRPO-D demonstrates remarkable cross-task generalization capabilities, with an average relative improvement of more than 61.63% over SFT in cross-task evaluation. These results highlight that the MLLM trained with GRPO-D on one multimodal task can be effectively transferred to another task, underscoring the superior generalized reasoning capabilities of our proposed OThink-MR1 model.