MoDoMoDo: Miscele di Dati Multi-Dominio per l'Apprendimento per Rinforzo di Modelli Linguistici Multimodali

Abstract

Il Reinforcement Learning con Ricompense Verificabili (RLVR) è emerso recentemente come un paradigma potente per il post-addestramento di grandi modelli linguistici (LLM), raggiungendo prestazioni all'avanguardia in compiti con risposte strutturate e verificabili. L'applicazione dell'RLVR ai Modelli Linguistici Multimodali (MLLM) presenta significative opportunità, ma è complicata dalla natura più ampia ed eterogenea dei compiti visivo-linguistici che richiedono capacità visive, logiche e spaziali sfumate. Di conseguenza, l'addestramento di MLLM utilizzando l'RLVR su più dataset potrebbe essere vantaggioso, ma crea sfide legate a obiettivi conflittuali derivanti dall'interazione tra dataset diversi, evidenziando la necessità di strategie ottimali di miscelazione dei dataset per migliorare la generalizzazione e il ragionamento. Introduciamo un framework sistematico di post-addestramento per l'RLVR di MLLM, caratterizzato da una rigorosa formulazione del problema di miscelazione dei dati e da un'implementazione di benchmark. Nello specifico, (1) abbiamo sviluppato un framework RLVR multimodale per il post-addestramento su più dataset, curando un dataset che contiene diversi problemi visivo-linguistici verificabili e abilitando l'apprendimento RL online multi-dominio con diverse ricompense verificabili; (2) abbiamo proposto una strategia di miscelazione dei dati che impara a prevedere il risultato del fine-tuning RL dalla distribuzione della miscelazione dei dati, e di conseguenza ottimizza la miscela migliore. Esperimenti completi dimostrano che l'addestramento RLVR multi-dominio, combinato con strategie di previsione della miscela, può potenziare significativamente le capacità di ragionamento generale degli MLLM. La nostra miscela migliore migliora l'accuratezza del modello post-addestrato su benchmark fuori distribuzione in media del 5,24% rispetto allo stesso modello post-addestrato con una miscela uniforme dei dati, e del 20,74% complessivo rispetto alla baseline pre-fine-tuning.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a powerful paradigm for post-training large language models (LLMs), achieving state-of-the-art performance on tasks with structured, verifiable answers. Applying RLVR to Multimodal LLMs (MLLMs) presents significant opportunities but is complicated by the broader, heterogeneous nature of vision-language tasks that demand nuanced visual, logical, and spatial capabilities. As such, training MLLMs using RLVR on multiple datasets could be beneficial but creates challenges with conflicting objectives from interaction among diverse datasets, highlighting the need for optimal dataset mixture strategies to improve generalization and reasoning. We introduce a systematic post-training framework for Multimodal LLM RLVR, featuring a rigorous data mixture problem formulation and benchmark implementation. Specifically, (1) We developed a multimodal RLVR framework for multi-dataset post-training by curating a dataset that contains different verifiable vision-language problems and enabling multi-domain online RL learning with different verifiable rewards; (2) We proposed a data mixture strategy that learns to predict the RL fine-tuning outcome from the data mixture distribution, and consequently optimizes the best mixture. Comprehensive experiments showcase that multi-domain RLVR training, when combined with mixture prediction strategies, can significantly boost MLLM general reasoning capacities. Our best mixture improves the post-trained model's accuracy on out-of-distribution benchmarks by an average of 5.24% compared to the same model post-trained with uniform data mixture, and by a total of 20.74% compared to the pre-finetuning baseline.

MoDoMoDo: Miscele di Dati Multi-Dominio per l'Apprendimento per Rinforzo di Modelli Linguistici Multimodali

MoDoMoDo: Multi-Domain Data Mixtures for Multimodal LLM Reinforcement Learning

Abstract

Support