Тонкая настройка с подкреплением усиливает способность к рассуждению мультимодальных больших языковых моделей.

Reinforcement Fine-Tuning Powers Reasoning Capability of Multimodal Large Language Models

May 24, 2025

Авторы: Haoyuan Sun, Jiaqi Wu, Bo Xia, Yifu Luo, Yifei Zhao, Kai Qin, Xufei Lv, Tiantian Zhang, Yongzhe Chang, Xueqian Wang

cs.AI

Аннотация

Находясь в 2025 году, на критическом этапе в стремлении к созданию Искусственного Общего Интеллекта (ИОИ), метод тонкой настройки с подкреплением (Reinforcement Fine-Tuning, RFT) продемонстрировал значительный потенциал в улучшении способности к рассуждению у крупных языковых моделей (Large Language Models, LLMs) и способствовал разработке передовых моделей искусственного интеллекта, таких как OpenAI-o1 и DeepSeek-R1. Более того, эффективное применение RFT для улучшения способности к рассуждению у мультимодальных крупных языковых моделей (Multimodal Large Language Models, MLLMs) привлекло широкое внимание сообщества. В этой позиционной статье мы утверждаем, что тонкая настройка с подкреплением усиливает способность к рассуждению у мультимодальных крупных языковых моделей. Для начала мы предоставляем подробное введение в базовые знания, с которыми должны быть знакомы исследователи, интересующиеся этой областью. Далее мы тщательно суммируем улучшения, которые RFT вносит в способность к рассуждению у MLLMs, в пять ключевых пунктов: разнообразие модальностей, разнообразие задач и областей, улучшенные алгоритмы обучения, обширные бенчмарки и развивающиеся инженерные фреймворки. Наконец, мы предлагаем пять перспективных направлений для будущих исследований, которые могут быть рассмотрены сообществом. Мы надеемся, что эта позиционная статья предоставит ценные идеи сообществу на этом важном этапе продвижения к ИОИ. Сводка работ по RFT для MLLMs доступна по ссылке: https://github.com/Sun-Haoyuan23/Awesome-RL-based-Reasoning-MLLMs.

English

Standing in 2025, at a critical juncture in the pursuit of Artificial General Intelligence (AGI), reinforcement fine-tuning (RFT) has demonstrated significant potential in enhancing the reasoning capability of large language models (LLMs) and has led to the development of cutting-edge AI models such as OpenAI-o1 and DeepSeek-R1. Moreover, the efficient application of RFT to enhance the reasoning capability of multimodal large language models (MLLMs) has attracted widespread attention from the community. In this position paper, we argue that reinforcement fine-tuning powers the reasoning capability of multimodal large language models. To begin with, we provide a detailed introduction to the fundamental background knowledge that researchers interested in this field should be familiar with. Furthermore, we meticulously summarize the improvements of RFT in powering reasoning capability of MLLMs into five key points: diverse modalities, diverse tasks and domains, better training algorithms, abundant benchmarks and thriving engineering frameworks. Finally, we propose five promising directions for future research that the community might consider. We hope that this position paper will provide valuable insights to the community at this pivotal stage in the advancement toward AGI. Summary of works done on RFT for MLLMs is available at https://github.com/Sun-Haoyuan23/Awesome-RL-based-Reasoning-MLLMs.