MoDoMoDo: 다중 도메인 데이터 혼합을 통한 멀티모달 LLM 강화 학습

초록

검증 가능한 보상을 활용한 강화 학습(Reinforcement Learning with Verifiable Rewards, RLVR)은 최근 구조화되고 검증 가능한 답변이 필요한 작업에서 최첨단 성능을 달성하며, 대규모 언어 모델(LLM)의 사후 훈련을 위한 강력한 패러다임으로 부상했습니다. 이를 다중 모달 LLM(Multimodal LLM, MLLM)에 적용하는 것은 상당한 기회를 제공하지만, 시각적, 논리적, 공간적 능력을 요구하는 이질적이고 광범위한 시각-언어 작업의 특성으로 인해 복잡성이 증가합니다. 따라서 여러 데이터셋을 사용하여 MLLM을 RLVR로 훈련하는 것은 유익할 수 있지만, 다양한 데이터셋 간의 상호작용으로 인해 상충되는 목표가 발생하며, 이를 해결하기 위해 일반화와 추론 능력을 향상시키기 위한 최적의 데이터셋 혼합 전략이 필요합니다. 우리는 다중 모달 LLM RLVR을 위한 체계적인 사후 훈련 프레임워크를 소개하며, 엄격한 데이터 혼합 문제 공식화와 벤치마크 구현을 특징으로 합니다. 구체적으로, (1) 다양한 검증 가능한 시각-언어 문제를 포함한 데이터셋을 구축하고, 다양한 검증 가능한 보상을 사용한 다중 도메인 온라인 RL 학습을 가능하게 하는 다중 모달 RLVR 프레임워크를 개발했습니다. (2) 데이터 혼합 분포로부터 RL 미세 조정 결과를 예측하고, 이를 통해 최적의 혼합을 최적화하는 데이터 혼합 전략을 제안했습니다. 포괄적인 실험을 통해 다중 도메인 RLVR 훈련이 혼합 예측 전략과 결합될 때 MLLM의 일반적인 추론 능력을 크게 향상시킬 수 있음을 입증했습니다. 우리의 최적 혼합 전략은 균일한 데이터 혼합으로 사후 훈련된 동일 모델 대비 분포 외 벤치마크에서 평균 5.24%의 정확도 향상을, 그리고 미세 조정 전 베이스라인 대비 총 20.74%의 정확도 향상을 달성했습니다.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a powerful paradigm for post-training large language models (LLMs), achieving state-of-the-art performance on tasks with structured, verifiable answers. Applying RLVR to Multimodal LLMs (MLLMs) presents significant opportunities but is complicated by the broader, heterogeneous nature of vision-language tasks that demand nuanced visual, logical, and spatial capabilities. As such, training MLLMs using RLVR on multiple datasets could be beneficial but creates challenges with conflicting objectives from interaction among diverse datasets, highlighting the need for optimal dataset mixture strategies to improve generalization and reasoning. We introduce a systematic post-training framework for Multimodal LLM RLVR, featuring a rigorous data mixture problem formulation and benchmark implementation. Specifically, (1) We developed a multimodal RLVR framework for multi-dataset post-training by curating a dataset that contains different verifiable vision-language problems and enabling multi-domain online RL learning with different verifiable rewards; (2) We proposed a data mixture strategy that learns to predict the RL fine-tuning outcome from the data mixture distribution, and consequently optimizes the best mixture. Comprehensive experiments showcase that multi-domain RLVR training, when combined with mixture prediction strategies, can significantly boost MLLM general reasoning capacities. Our best mixture improves the post-trained model's accuracy on out-of-distribution benchmarks by an average of 5.24% compared to the same model post-trained with uniform data mixture, and by a total of 20.74% compared to the pre-finetuning baseline.

MoDoMoDo: 다중 도메인 데이터 혼합을 통한 멀티모달 LLM 강화 학습

MoDoMoDo: Multi-Domain Data Mixtures for Multimodal LLM Reinforcement Learning

초록

Support