Le réglage fin par renforcement renforce les capacités de raisonnement des grands modèles de langage multimodaux.

Reinforcement Fine-Tuning Powers Reasoning Capability of Multimodal Large Language Models

May 24, 2025

Auteurs: Haoyuan Sun, Jiaqi Wu, Bo Xia, Yifu Luo, Yifei Zhao, Kai Qin, Xufei Lv, Tiantian Zhang, Yongzhe Chang, Xueqian Wang

cs.AI

Résumé

En cette année 2025, à un moment charnière dans la quête de l'Intelligence Artificielle Générale (IAG), le réglage fin par renforcement (Reinforcement Fine-Tuning, RFT) a démontré un potentiel significatif pour améliorer les capacités de raisonnement des grands modèles de langage (Large Language Models, LLMs), conduisant au développement de modèles d'IA de pointe tels qu'OpenAI-o1 et DeepSeek-R1. De plus, l'application efficace du RFT pour renforcer les capacités de raisonnement des grands modèles de langage multimodaux (Multimodal Large Language Models, MLLMs) a suscité un intérêt considérable au sein de la communauté. Dans ce document de position, nous soutenons que le réglage fin par renforcement renforce les capacités de raisonnement des grands modèles de langage multimodaux. Pour commencer, nous fournissons une introduction détaillée aux connaissances de base que les chercheurs intéressés par ce domaine devraient maîtriser. Ensuite, nous résumons méticuleusement les améliorations apportées par le RFT dans le renforcement des capacités de raisonnement des MLLMs en cinq points clés : diversité des modalités, diversité des tâches et des domaines, meilleurs algorithmes d'entraînement, benchmarks abondants et cadres d'ingénierie florissants. Enfin, nous proposons cinq directions prometteuses pour les recherches futures que la communauté pourrait envisager. Nous espérons que ce document de position offrira des perspectives précieuses à la communauté à ce stade crucial de l'avancée vers l'IAG. Un résumé des travaux réalisés sur le RFT pour les MLLMs est disponible à l'adresse suivante : https://github.com/Sun-Haoyuan23/Awesome-RL-based-Reasoning-MLLMs.

English

Standing in 2025, at a critical juncture in the pursuit of Artificial General Intelligence (AGI), reinforcement fine-tuning (RFT) has demonstrated significant potential in enhancing the reasoning capability of large language models (LLMs) and has led to the development of cutting-edge AI models such as OpenAI-o1 and DeepSeek-R1. Moreover, the efficient application of RFT to enhance the reasoning capability of multimodal large language models (MLLMs) has attracted widespread attention from the community. In this position paper, we argue that reinforcement fine-tuning powers the reasoning capability of multimodal large language models. To begin with, we provide a detailed introduction to the fundamental background knowledge that researchers interested in this field should be familiar with. Furthermore, we meticulously summarize the improvements of RFT in powering reasoning capability of MLLMs into five key points: diverse modalities, diverse tasks and domains, better training algorithms, abundant benchmarks and thriving engineering frameworks. Finally, we propose five promising directions for future research that the community might consider. We hope that this position paper will provide valuable insights to the community at this pivotal stage in the advancement toward AGI. Summary of works done on RFT for MLLMs is available at https://github.com/Sun-Haoyuan23/Awesome-RL-based-Reasoning-MLLMs.