O Ajuste Fino por Reforço Potencializa a Capacidade de Raciocínio dos Modelos de Linguagem Multimodais de Grande Escala

Reinforcement Fine-Tuning Powers Reasoning Capability of Multimodal Large Language Models

May 24, 2025

Autores: Haoyuan Sun, Jiaqi Wu, Bo Xia, Yifu Luo, Yifei Zhao, Kai Qin, Xufei Lv, Tiantian Zhang, Yongzhe Chang, Xueqian Wang

cs.AI

Resumo

Em 2025, em um momento crucial na busca pela Inteligência Geral Artificial (AGI), o ajuste fino por reforço (RFT) demonstrou um potencial significativo para aprimorar a capacidade de raciocínio de grandes modelos de linguagem (LLMs) e levou ao desenvolvimento de modelos de IA de ponta, como o OpenAI-o1 e o DeepSeek-R1. Além disso, a aplicação eficiente do RFT para melhorar a capacidade de raciocínio de modelos de linguagem multimodal (MLLMs) atraiu ampla atenção da comunidade. Neste artigo de posicionamento, argumentamos que o ajuste fino por reforço impulsiona a capacidade de raciocínio dos modelos de linguagem multimodal. Para começar, fornecemos uma introdução detalhada ao conhecimento fundamental de base que os pesquisadores interessados nessa área devem conhecer. Além disso, resumimos meticulosamente as melhorias do RFT no aprimoramento da capacidade de raciocínio dos MLLMs em cinco pontos-chave: modalidades diversas, tarefas e domínios variados, melhores algoritmos de treinamento, benchmarks abundantes e frameworks de engenharia prósperos. Por fim, propomos cinco direções promissoras para pesquisas futuras que a comunidade pode considerar. Esperamos que este artigo de posicionamento forneça insights valiosos para a comunidade nesta etapa pivotal no avanço em direção à AGI. Um resumo dos trabalhos realizados sobre RFT para MLLMs está disponível em https://github.com/Sun-Haoyuan23/Awesome-RL-based-Reasoning-MLLMs.

English

Standing in 2025, at a critical juncture in the pursuit of Artificial General Intelligence (AGI), reinforcement fine-tuning (RFT) has demonstrated significant potential in enhancing the reasoning capability of large language models (LLMs) and has led to the development of cutting-edge AI models such as OpenAI-o1 and DeepSeek-R1. Moreover, the efficient application of RFT to enhance the reasoning capability of multimodal large language models (MLLMs) has attracted widespread attention from the community. In this position paper, we argue that reinforcement fine-tuning powers the reasoning capability of multimodal large language models. To begin with, we provide a detailed introduction to the fundamental background knowledge that researchers interested in this field should be familiar with. Furthermore, we meticulously summarize the improvements of RFT in powering reasoning capability of MLLMs into five key points: diverse modalities, diverse tasks and domains, better training algorithms, abundant benchmarks and thriving engineering frameworks. Finally, we propose five promising directions for future research that the community might consider. We hope that this position paper will provide valuable insights to the community at this pivotal stage in the advancement toward AGI. Summary of works done on RFT for MLLMs is available at https://github.com/Sun-Haoyuan23/Awesome-RL-based-Reasoning-MLLMs.