MoDoMoDo: Смеси данных из множества доменов для обучения с подкреплением мультимодальных языковых моделей
MoDoMoDo: Multi-Domain Data Mixtures for Multimodal LLM Reinforcement Learning
May 30, 2025
Авторы: Yiqing Liang, Jielin Qiu, Wenhao Ding, Zuxin Liu, James Tompkin, Mengdi Xu, Mengzhou Xia, Zhengzhong Tu, Laixi Shi, Jiacheng Zhu
cs.AI
Аннотация
Обучение с подкреплением с верифицируемыми наградами (RLVR) недавно стало мощной парадигмой для пост-обучения больших языковых моделей (LLM), демонстрируя передовые результаты в задачах со структурированными, верифицируемыми ответами. Применение RLVR к мультимодальным языковым моделям (MLLM) открывает значительные возможности, но осложняется более широким и разнородным характером задач, связанных с обработкой визуальной и текстовой информации, которые требуют тонких визуальных, логических и пространственных способностей. Таким образом, обучение MLLM с использованием RLVR на нескольких наборах данных может быть полезным, но создает проблемы из-за конфликтующих целей, возникающих при взаимодействии разнородных наборов данных, что подчеркивает необходимость оптимальных стратегий смешивания данных для улучшения обобщения и рассуждений. Мы представляем систематическую пост-обучающую структуру для мультимодальных MLLM с RLVR, включающую строгую формулировку задачи смешивания данных и эталонную реализацию. В частности: (1) Мы разработали мультимодальную RLVR-структуру для пост-обучения на нескольких наборах данных, создав набор данных, содержащий различные верифицируемые задачи на стыке визуальной и текстовой информации, и обеспечив многодоменное онлайн-обучение с подкреплением с различными верифицируемыми наградами; (2) Мы предложили стратегию смешивания данных, которая учится предсказывать результат тонкой настройки RL на основе распределения смешивания данных и, следовательно, оптимизирует наилучшее смешение. Комплексные эксперименты показывают, что многодоменное обучение RLVR в сочетании со стратегиями предсказания смешивания может значительно улучшить общие способности MLLM к рассуждениям. Наше лучшее смешение повышает точность пост-обученной модели на тестах вне распределения в среднем на 5,24% по сравнению с той же моделью, пост-обученной с равномерным смешиванием данных, и на 20,74% в целом по сравнению с базовой моделью до тонкой настройки.
English
Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as
a powerful paradigm for post-training large language models (LLMs), achieving
state-of-the-art performance on tasks with structured, verifiable answers.
Applying RLVR to Multimodal LLMs (MLLMs) presents significant opportunities but
is complicated by the broader, heterogeneous nature of vision-language tasks
that demand nuanced visual, logical, and spatial capabilities. As such,
training MLLMs using RLVR on multiple datasets could be beneficial but creates
challenges with conflicting objectives from interaction among diverse datasets,
highlighting the need for optimal dataset mixture strategies to improve
generalization and reasoning. We introduce a systematic post-training framework
for Multimodal LLM RLVR, featuring a rigorous data mixture problem formulation
and benchmark implementation. Specifically, (1) We developed a multimodal RLVR
framework for multi-dataset post-training by curating a dataset that contains
different verifiable vision-language problems and enabling multi-domain online
RL learning with different verifiable rewards; (2) We proposed a data mixture
strategy that learns to predict the RL fine-tuning outcome from the data
mixture distribution, and consequently optimizes the best mixture.
Comprehensive experiments showcase that multi-domain RLVR training, when
combined with mixture prediction strategies, can significantly boost MLLM
general reasoning capacities. Our best mixture improves the post-trained
model's accuracy on out-of-distribution benchmarks by an average of 5.24%
compared to the same model post-trained with uniform data mixture, and by a
total of 20.74% compared to the pre-finetuning baseline.