Играть, чтобы обобщать: обучение рассуждению через игровой процесс
Play to Generalize: Learning to Reason Through Game Play
June 9, 2025
Авторы: Yunfei Xie, Yinsong Ma, Shiyi Lan, Alan Yuille, Junfei Xiao, Chen Wei
cs.AI
Аннотация
Развитие обобщаемых способностей к рассуждению в мультимодальных больших языковых моделях (MLLMs) остается сложной задачей. Вдохновленные исследованиями в когнитивной науке, которые указывают на то, что игровой процесс способствует переносимым когнитивным навыкам, мы предлагаем новый подход к пост-обучению — Visual Game Learning (ViGaL), в рамках которого MLLMs развивают обобщение мультимодальных рассуждений за пределами домена через игру в аркадные игры. В частности, мы показываем, что пост-обучение MLLM с 7 миллиардами параметров с использованием обучения с подкреплением (RL) на простых аркадных играх, таких как "Змейка", значительно улучшает ее производительность на мультимодальных математических тестах, таких как MathVista, и на междисциплинарных вопросах, таких как MMMU, без использования готовых решений, уравнений или диаграмм в процессе RL, что указывает на усвоение переносимых навыков рассуждения. Примечательно, что наша модель превосходит специализированные модели, настроенные на данные для мультимодальных рассуждений, в соответствующих тестах, сохраняя при этом производительность базовой модели на общих визуальных тестах, что является проблемой, с которой специализированные модели часто не справляются. Наши результаты предлагают новый подход к пост-обучению: синтетические, основанные на правилах игры могут служить контролируемыми и масштабируемыми предтекстовыми задачами, которые раскрывают обобщаемые способности к мультимодальным рассуждениям в MLLMs.
English
Developing generalizable reasoning capabilities in multimodal large language
models (MLLMs) remains challenging. Motivated by cognitive science literature
suggesting that gameplay promotes transferable cognitive skills, we propose a
novel post-training paradigm, Visual Game Learning, or ViGaL, where MLLMs
develop out-of-domain generalization of multimodal reasoning through playing
arcade-like games. Specifically, we show that post-training a 7B-parameter MLLM
via reinforcement learning (RL) on simple arcade-like games, e.g. Snake,
significantly enhances its downstream performance on multimodal math benchmarks
like MathVista, and on multi-discipline questions like MMMU, without seeing any
worked solutions, equations, or diagrams during RL, suggesting the capture of
transferable reasoning skills. Remarkably, our model outperforms specialist
models tuned on multimodal reasoning data in multimodal reasoning benchmarks,
while preserving the base model's performance on general visual benchmarks, a
challenge where specialist models often fall short. Our findings suggest a new
post-training paradigm: synthetic, rule-based games can serve as controllable
and scalable pre-text tasks that unlock generalizable multimodal reasoning
abilities in MLLMs.