Il Fine-Tuning con Rinforzo Potenzia le Capacità di Ragionamento dei Modelli Linguistici Multimodali di Grandi Dimensioni

Reinforcement Fine-Tuning Powers Reasoning Capability of Multimodal Large Language Models

May 24, 2025

Autori: Haoyuan Sun, Jiaqi Wu, Bo Xia, Yifu Luo, Yifei Zhao, Kai Qin, Xufei Lv, Tiantian Zhang, Yongzhe Chang, Xueqian Wang

cs.AI

Abstract

Nel 2025, in un momento cruciale per il perseguimento dell'Intelligenza Artificiale Generale (AGI), il fine-tuning basato sul rinforzo (Reinforcement Fine-Tuning, RFT) ha dimostrato un potenziale significativo nel migliorare le capacità di ragionamento dei modelli linguistici di grandi dimensioni (Large Language Models, LLMs) e ha portato allo sviluppo di modelli di IA all'avanguardia come OpenAI-o1 e DeepSeek-R1. Inoltre, l'applicazione efficiente del RFT per potenziare le capacità di ragionamento dei modelli linguistici multimodali di grandi dimensioni (Multimodal Large Language Models, MLLMs) ha attirato un'ampia attenzione da parte della comunità. In questo position paper, sosteniamo che il fine-tuning basato sul rinforzo potenzia le capacità di ragionamento dei modelli linguistici multimodali di grandi dimensioni. Per cominciare, forniamo una dettagliata introduzione alle conoscenze di base che i ricercatori interessati a questo campo dovrebbero padroneggiare. Inoltre, riassumiamo meticolosamente i miglioramenti apportati dal RFT nel potenziare le capacità di ragionamento degli MLLMs in cinque punti chiave: modalità diverse, compiti e domini vari, algoritmi di addestramento migliorati, benchmark abbondanti e framework ingegneristici in crescita. Infine, proponiamo cinque promettenti direzioni per la ricerca futura che la comunità potrebbe considerare. Speriamo che questo position paper fornisca spunti preziosi alla comunità in questa fase cruciale del progresso verso l'AGI. Un riassunto dei lavori svolti sul RFT per gli MLLMs è disponibile all'indirizzo https://github.com/Sun-Haoyuan23/Awesome-RL-based-Reasoning-MLLMs.

English

Standing in 2025, at a critical juncture in the pursuit of Artificial General Intelligence (AGI), reinforcement fine-tuning (RFT) has demonstrated significant potential in enhancing the reasoning capability of large language models (LLMs) and has led to the development of cutting-edge AI models such as OpenAI-o1 and DeepSeek-R1. Moreover, the efficient application of RFT to enhance the reasoning capability of multimodal large language models (MLLMs) has attracted widespread attention from the community. In this position paper, we argue that reinforcement fine-tuning powers the reasoning capability of multimodal large language models. To begin with, we provide a detailed introduction to the fundamental background knowledge that researchers interested in this field should be familiar with. Furthermore, we meticulously summarize the improvements of RFT in powering reasoning capability of MLLMs into five key points: diverse modalities, diverse tasks and domains, better training algorithms, abundant benchmarks and thriving engineering frameworks. Finally, we propose five promising directions for future research that the community might consider. We hope that this position paper will provide valuable insights to the community at this pivotal stage in the advancement toward AGI. Summary of works done on RFT for MLLMs is available at https://github.com/Sun-Haoyuan23/Awesome-RL-based-Reasoning-MLLMs.