MoDoMoDo: Multi-Domein Data Mengsels voor Multimodale LLM Versterkingsleren

Samenvatting

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is recentelijk naar voren gekomen als een krachtig paradigma voor het na-trainen van grote taalmodellen (LLMs), waarbij state-of-the-art prestaties worden behaald op taken met gestructureerde, verifieerbare antwoorden. Het toepassen van RLVR op Multimodale LLMs (MLLMs) biedt aanzienlijke mogelijkheden, maar wordt bemoeilijkt door de bredere, heterogene aard van visueel-taalkundige taken die een genuanceerd visueel, logisch en ruimtelijk vermogen vereisen. Daarom kan het trainen van MLLMs met RLVR op meerdere datasets voordelig zijn, maar leidt het ook tot uitdagingen met conflicterende doelstellingen door interactie tussen diverse datasets, wat de noodzaak benadrukt van optimale datasetmengstrategieën om generalisatie en redenering te verbeteren. Wij introduceren een systematisch na-trainingsframework voor Multimodale LLM RLVR, met een rigoureuze formulering van het datamengprobleem en een benchmarkimplementatie. Specifiek: (1) We hebben een multimodaal RLVR-framework ontwikkeld voor na-training op meerdere datasets door een dataset samen te stellen die verschillende verifieerbare visueel-taalkundige problemen bevat en door multi-domein online RL-leren mogelijk te maken met verschillende verifieerbare beloningen; (2) We hebben een datamengstrategie voorgesteld die leert om het RL-finetuningresultaat te voorspellen op basis van de datamengverdeling, en vervolgens het beste mengsel optimaliseert. Uitgebreide experimenten tonen aan dat multi-domein RLVR-training, in combinatie met mengvoorspellingsstrategieën, de algemene redeneercapaciteiten van MLLMs aanzienlijk kan verbeteren. Ons beste mengsel verbetert de nauwkeurigheid van het na-getrainde model op out-of-distribution benchmarks met gemiddeld 5,24% vergeleken met hetzelfde model dat is na-getraind met een uniform datamengsel, en met in totaal 20,74% vergeleken met de pre-finetuning baseline.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a powerful paradigm for post-training large language models (LLMs), achieving state-of-the-art performance on tasks with structured, verifiable answers. Applying RLVR to Multimodal LLMs (MLLMs) presents significant opportunities but is complicated by the broader, heterogeneous nature of vision-language tasks that demand nuanced visual, logical, and spatial capabilities. As such, training MLLMs using RLVR on multiple datasets could be beneficial but creates challenges with conflicting objectives from interaction among diverse datasets, highlighting the need for optimal dataset mixture strategies to improve generalization and reasoning. We introduce a systematic post-training framework for Multimodal LLM RLVR, featuring a rigorous data mixture problem formulation and benchmark implementation. Specifically, (1) We developed a multimodal RLVR framework for multi-dataset post-training by curating a dataset that contains different verifiable vision-language problems and enabling multi-domain online RL learning with different verifiable rewards; (2) We proposed a data mixture strategy that learns to predict the RL fine-tuning outcome from the data mixture distribution, and consequently optimizes the best mixture. Comprehensive experiments showcase that multi-domain RLVR training, when combined with mixture prediction strategies, can significantly boost MLLM general reasoning capacities. Our best mixture improves the post-trained model's accuracy on out-of-distribution benchmarks by an average of 5.24% compared to the same model post-trained with uniform data mixture, and by a total of 20.74% compared to the pre-finetuning baseline.

MoDoMoDo: Multi-Domein Data Mengsels voor Multimodale LLM Versterkingsleren

MoDoMoDo: Multi-Domain Data Mixtures for Multimodal LLM Reinforcement Learning

Samenvatting

Support