MoDoMoDo : Mélanges de Données Multi-Domaines pour l'Apprentissage par Renforcement de Modèles Multimodaux de Langage

MoDoMoDo: Multi-Domain Data Mixtures for Multimodal LLM Reinforcement Learning

May 30, 2025

Auteurs: Yiqing Liang, Jielin Qiu, Wenhao Ding, Zuxin Liu, James Tompkin, Mengdi Xu, Mengzhou Xia, Zhengzhong Tu, Laixi Shi, Jiacheng Zhu

cs.AI

Résumé

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) a récemment émergé comme un paradigme puissant pour l'affinage post-entraînement des grands modèles de langage (LLM), atteignant des performances de pointe sur des tâches comportant des réponses structurées et vérifiables. L'application du RLVR aux modèles de langage multimodaux (MLLM) présente des opportunités significatives, mais est compliquée par la nature plus large et hétérogène des tâches vision-langage, qui exigent des capacités visuelles, logiques et spatiales nuancées. Ainsi, l'entraînement des MLLM avec le RLVR sur plusieurs ensembles de données pourrait être bénéfique, mais crée des défis liés à des objectifs conflictuels résultant de l'interaction entre des ensembles de données diversifiés, soulignant la nécessité de stratégies optimales de mélange de données pour améliorer la généralisation et le raisonnement. Nous introduisons un cadre systématique d'affinage post-entraînement pour le RLVR des MLLM, comprenant une formulation rigoureuse du problème de mélange de données et une implémentation de référence. Plus précisément, (1) Nous avons développé un cadre RLVR multimodal pour l'affinage post-entraînement multi-ensembles de données en constituant un ensemble de données contenant divers problèmes vision-langage vérifiables et en permettant un apprentissage RL en ligne multi-domaines avec différentes récompenses vérifiables ; (2) Nous avons proposé une stratégie de mélange de données qui apprend à prédire le résultat de l'affinage RL à partir de la distribution du mélange de données, et optimise ainsi le meilleur mélange. Des expériences approfondies démontrent que l'entraînement RLVR multi-domaines, combiné à des stratégies de prédiction de mélange, peut considérablement améliorer les capacités de raisonnement général des MLLM. Notre meilleur mélange améliore la précision du modèle affiné sur des benchmarks hors distribution de 5,24 % en moyenne par rapport au même modèle affiné avec un mélange de données uniforme, et de 20,74 % au total par rapport au modèle de base avant affinage.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a powerful paradigm for post-training large language models (LLMs), achieving state-of-the-art performance on tasks with structured, verifiable answers. Applying RLVR to Multimodal LLMs (MLLMs) presents significant opportunities but is complicated by the broader, heterogeneous nature of vision-language tasks that demand nuanced visual, logical, and spatial capabilities. As such, training MLLMs using RLVR on multiple datasets could be beneficial but creates challenges with conflicting objectives from interaction among diverse datasets, highlighting the need for optimal dataset mixture strategies to improve generalization and reasoning. We introduce a systematic post-training framework for Multimodal LLM RLVR, featuring a rigorous data mixture problem formulation and benchmark implementation. Specifically, (1) We developed a multimodal RLVR framework for multi-dataset post-training by curating a dataset that contains different verifiable vision-language problems and enabling multi-domain online RL learning with different verifiable rewards; (2) We proposed a data mixture strategy that learns to predict the RL fine-tuning outcome from the data mixture distribution, and consequently optimizes the best mixture. Comprehensive experiments showcase that multi-domain RLVR training, when combined with mixture prediction strategies, can significantly boost MLLM general reasoning capacities. Our best mixture improves the post-trained model's accuracy on out-of-distribution benchmarks by an average of 5.24% compared to the same model post-trained with uniform data mixture, and by a total of 20.74% compared to the pre-finetuning baseline.