Reinforcement Fine-Tuning stärkt die Fähigkeit zum logischen Denken in multimodalen Large Language Models.

Reinforcement Fine-Tuning Powers Reasoning Capability of Multimodal Large Language Models

May 24, 2025

Autoren: Haoyuan Sun, Jiaqi Wu, Bo Xia, Yifu Luo, Yifei Zhao, Kai Qin, Xufei Lv, Tiantian Zhang, Yongzhe Chang, Xueqian Wang

cs.AI

Zusammenfassung

Im Jahr 2025, an einem kritischen Punkt in der Verfolgung von Künstlicher Allgemeiner Intelligenz (AGI), hat das Reinforcement Fine-Tuning (RFT) ein erhebliches Potenzial bei der Verbesserung der Denkfähigkeit großer Sprachmodelle (LLMs) gezeigt und zur Entwicklung von Spitzenmodellen der KI wie OpenAI-o1 und DeepSeek-R1 geführt. Darüber hinaus hat die effiziente Anwendung von RFT zur Steigerung der Denkfähigkeit multimodaler großer Sprachmodelle (MLLMs) breite Aufmerksamkeit in der Fachgemeinschaft erregt. In diesem Positionspapier argumentieren wir, dass Reinforcement Fine-Tuning die Denkfähigkeit multimodaler großer Sprachmodelle stärkt. Zunächst geben wir eine detaillierte Einführung in die grundlegenden Hintergrundkenntnisse, die Forscher in diesem Bereich kennen sollten. Darüber hinaus fassen wir die Verbesserungen von RFT bei der Stärkung der Denkfähigkeit von MLLMs sorgfältig in fünf Schlüsselpunkten zusammen: diverse Modalitäten, diverse Aufgaben und Domänen, bessere Trainingsalgorithmen, umfangreiche Benchmarks und florierende Engineering-Frameworks. Schließlich schlagen wir fünf vielversprechende Forschungsrichtungen vor, die die Gemeinschaft in Betracht ziehen könnte. Wir hoffen, dass dieses Positionspapier wertvolle Einblicke in die Gemeinschaft an diesem entscheidenden Stadium der Weiterentwicklung hin zu AGI bietet. Eine Zusammenfassung der Arbeiten zu RFT für MLLMs ist verfügbar unter https://github.com/Sun-Haoyuan23/Awesome-RL-based-Reasoning-MLLMs.

English

Standing in 2025, at a critical juncture in the pursuit of Artificial General Intelligence (AGI), reinforcement fine-tuning (RFT) has demonstrated significant potential in enhancing the reasoning capability of large language models (LLMs) and has led to the development of cutting-edge AI models such as OpenAI-o1 and DeepSeek-R1. Moreover, the efficient application of RFT to enhance the reasoning capability of multimodal large language models (MLLMs) has attracted widespread attention from the community. In this position paper, we argue that reinforcement fine-tuning powers the reasoning capability of multimodal large language models. To begin with, we provide a detailed introduction to the fundamental background knowledge that researchers interested in this field should be familiar with. Furthermore, we meticulously summarize the improvements of RFT in powering reasoning capability of MLLMs into five key points: diverse modalities, diverse tasks and domains, better training algorithms, abundant benchmarks and thriving engineering frameworks. Finally, we propose five promising directions for future research that the community might consider. We hope that this position paper will provide valuable insights to the community at this pivotal stage in the advancement toward AGI. Summary of works done on RFT for MLLMs is available at https://github.com/Sun-Haoyuan23/Awesome-RL-based-Reasoning-MLLMs.