MoDoMoDo: Misturas de Dados Multidomínio para Aprendizado por Reforço de LLMs Multimodais

Resumo

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) surgiu recentemente como um paradigma poderoso para o pós-treinamento de grandes modelos de linguagem (LLMs), alcançando desempenho de ponta em tarefas com respostas estruturadas e verificáveis. A aplicação do RLVR a Modelos Multimodais de Linguagem (MLLMs) apresenta oportunidades significativas, mas é complicada pela natureza mais ampla e heterogênea das tarefas de visão e linguagem, que exigem capacidades visuais, lógicas e espaciais mais sutis. Dessa forma, o treinamento de MLLMs usando RLVR em múltiplos conjuntos de dados pode ser benéfico, mas cria desafios com objetivos conflitantes decorrentes da interação entre conjuntos de dados diversos, destacando a necessidade de estratégias ótimas de mistura de dados para melhorar a generalização e o raciocínio. Introduzimos um framework sistemático de pós-treinamento para RLVR em MLLMs, apresentando uma formulação rigorosa do problema de mistura de dados e uma implementação de referência. Especificamente, (1) Desenvolvemos um framework multimodal de RLVR para pós-treinamento em múltiplos conjuntos de dados, curando um conjunto de dados que contém diferentes problemas verificáveis de visão e linguagem e permitindo o aprendizado por reforço online em múltiplos domínios com diferentes recompensas verificáveis; (2) Propusemos uma estratégia de mistura de dados que aprende a prever o resultado do ajuste fino de RL a partir da distribuição de mistura de dados e, consequentemente, otimiza a melhor mistura. Experimentos abrangentes demonstram que o treinamento de RLVR em múltiplos domínios, quando combinado com estratégias de previsão de mistura, pode impulsionar significativamente as capacidades de raciocínio geral dos MLLMs. Nossa melhor mistura melhora a precisão do modelo pós-treinado em benchmarks fora da distribuição em média 5,24% em comparação com o mesmo modelo pós-treinado com mistura uniforme de dados, e em um total de 20,74% em comparação com a linha de base antes do ajuste fino.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a powerful paradigm for post-training large language models (LLMs), achieving state-of-the-art performance on tasks with structured, verifiable answers. Applying RLVR to Multimodal LLMs (MLLMs) presents significant opportunities but is complicated by the broader, heterogeneous nature of vision-language tasks that demand nuanced visual, logical, and spatial capabilities. As such, training MLLMs using RLVR on multiple datasets could be beneficial but creates challenges with conflicting objectives from interaction among diverse datasets, highlighting the need for optimal dataset mixture strategies to improve generalization and reasoning. We introduce a systematic post-training framework for Multimodal LLM RLVR, featuring a rigorous data mixture problem formulation and benchmark implementation. Specifically, (1) We developed a multimodal RLVR framework for multi-dataset post-training by curating a dataset that contains different verifiable vision-language problems and enabling multi-domain online RL learning with different verifiable rewards; (2) We proposed a data mixture strategy that learns to predict the RL fine-tuning outcome from the data mixture distribution, and consequently optimizes the best mixture. Comprehensive experiments showcase that multi-domain RLVR training, when combined with mixture prediction strategies, can significantly boost MLLM general reasoning capacities. Our best mixture improves the post-trained model's accuracy on out-of-distribution benchmarks by an average of 5.24% compared to the same model post-trained with uniform data mixture, and by a total of 20.74% compared to the pre-finetuning baseline.

MoDoMoDo: Misturas de Dados Multidomínio para Aprendizado por Reforço de LLMs Multimodais

MoDoMoDo: Multi-Domain Data Mixtures for Multimodal LLM Reinforcement Learning

Resumo

Support