MoDoMoDo: Mezclas de Datos Multidominio para el Aprendizaje por Refuerzo de Modelos de Lenguaje Multimodales

MoDoMoDo: Multi-Domain Data Mixtures for Multimodal LLM Reinforcement Learning

May 30, 2025

Autores: Yiqing Liang, Jielin Qiu, Wenhao Ding, Zuxin Liu, James Tompkin, Mengdi Xu, Mengzhou Xia, Zhengzhong Tu, Laixi Shi, Jiacheng Zhu

cs.AI

Resumen

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) ha surgido recientemente como un paradigma poderoso para el ajuste posterior de modelos de lenguaje grandes (LLMs), logrando un rendimiento de vanguardia en tareas con respuestas estructuradas y verificables. Aplicar RLVR a Modelos de Lenguaje Multimodales (MLLMs) presenta oportunidades significativas, pero se complica debido a la naturaleza más amplia y heterogénea de las tareas de visión-lenguaje, que requieren capacidades visuales, lógicas y espaciales matizadas. Por ello, entrenar MLLMs utilizando RLVR en múltiples conjuntos de datos podría ser beneficioso, pero genera desafíos con objetivos conflictivos derivados de la interacción entre diversos conjuntos de datos, destacando la necesidad de estrategias óptimas de mezcla de datos para mejorar la generalización y el razonamiento. Introducimos un marco sistemático de ajuste posterior para RLVR en MLLMs, que incluye una formulación rigurosa del problema de mezcla de datos y una implementación de referencia. Específicamente, (1) desarrollamos un marco de RLVR multimodal para el ajuste posterior en múltiples conjuntos de datos, curando un conjunto de datos que contiene diversos problemas verificables de visión-lenguaje y permitiendo el aprendizaje de RL en línea en múltiples dominios con diferentes recompensas verificables; (2) propusimos una estrategia de mezcla de datos que aprende a predecir el resultado del ajuste fino de RL a partir de la distribución de la mezcla de datos y, en consecuencia, optimiza la mejor mezcla. Experimentos exhaustivos demuestran que el entrenamiento de RLVR en múltiples dominios, combinado con estrategias de predicción de mezcla, puede mejorar significativamente las capacidades de razonamiento general de los MLLMs. Nuestra mejor mezcla aumenta la precisión del modelo ajustado posteriormente en benchmarks fuera de distribución en un promedio de 5.24% en comparación con el mismo modelo ajustado con una mezcla uniforme de datos, y en un total de 20.74% en comparación con la línea base previa al ajuste fino.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a powerful paradigm for post-training large language models (LLMs), achieving state-of-the-art performance on tasks with structured, verifiable answers. Applying RLVR to Multimodal LLMs (MLLMs) presents significant opportunities but is complicated by the broader, heterogeneous nature of vision-language tasks that demand nuanced visual, logical, and spatial capabilities. As such, training MLLMs using RLVR on multiple datasets could be beneficial but creates challenges with conflicting objectives from interaction among diverse datasets, highlighting the need for optimal dataset mixture strategies to improve generalization and reasoning. We introduce a systematic post-training framework for Multimodal LLM RLVR, featuring a rigorous data mixture problem formulation and benchmark implementation. Specifically, (1) We developed a multimodal RLVR framework for multi-dataset post-training by curating a dataset that contains different verifiable vision-language problems and enabling multi-domain online RL learning with different verifiable rewards; (2) We proposed a data mixture strategy that learns to predict the RL fine-tuning outcome from the data mixture distribution, and consequently optimizes the best mixture. Comprehensive experiments showcase that multi-domain RLVR training, when combined with mixture prediction strategies, can significantly boost MLLM general reasoning capacities. Our best mixture improves the post-trained model's accuracy on out-of-distribution benchmarks by an average of 5.24% compared to the same model post-trained with uniform data mixture, and by a total of 20.74% compared to the pre-finetuning baseline.