Jogar para Generalizar: Aprendendo a Raciocinar Através da Jogatina
Play to Generalize: Learning to Reason Through Game Play
June 9, 2025
Autores: Yunfei Xie, Yinsong Ma, Shiyi Lan, Alan Yuille, Junfei Xiao, Chen Wei
cs.AI
Resumo
O desenvolvimento de capacidades de raciocínio generalizáveis em modelos de linguagem multimodal de grande escala (MLLMs) continua sendo um desafio. Motivados pela literatura de ciência cognitiva que sugere que jogos promovem habilidades cognitivas transferíveis, propomos um novo paradigma de pós-treinamento, Aprendizado Visual por Jogos, ou ViGaL, onde os MLLMs desenvolvem generalização fora do domínio do raciocínio multimodal através da prática de jogos estilo arcade. Especificamente, demonstramos que o pós-treinamento de um MLLM com 7 bilhões de parâmetros via aprendizado por reforço (RL) em jogos simples estilo arcade, como Snake, melhora significativamente seu desempenho em benchmarks multimodais de matemática, como o MathVista, e em questões multidisciplinares, como o MMMU, sem que o modelo tenha acesso a soluções, equações ou diagramas durante o RL, sugerindo a captura de habilidades de raciocínio transferíveis. Notavelmente, nosso modelo supera modelos especializados ajustados em dados de raciocínio multimodal em benchmarks de raciocínio multimodal, enquanto mantém o desempenho do modelo base em benchmarks visuais gerais, um desafio onde modelos especializados frequentemente falham. Nossas descobertas sugerem um novo paradigma de pós-treinamento: jogos sintéticos baseados em regras podem servir como tarefas pretexto controláveis e escaláveis que desbloqueiam habilidades generalizáveis de raciocínio multimodal em MLLMs.
English
Developing generalizable reasoning capabilities in multimodal large language
models (MLLMs) remains challenging. Motivated by cognitive science literature
suggesting that gameplay promotes transferable cognitive skills, we propose a
novel post-training paradigm, Visual Game Learning, or ViGaL, where MLLMs
develop out-of-domain generalization of multimodal reasoning through playing
arcade-like games. Specifically, we show that post-training a 7B-parameter MLLM
via reinforcement learning (RL) on simple arcade-like games, e.g. Snake,
significantly enhances its downstream performance on multimodal math benchmarks
like MathVista, and on multi-discipline questions like MMMU, without seeing any
worked solutions, equations, or diagrams during RL, suggesting the capture of
transferable reasoning skills. Remarkably, our model outperforms specialist
models tuned on multimodal reasoning data in multimodal reasoning benchmarks,
while preserving the base model's performance on general visual benchmarks, a
challenge where specialist models often fall short. Our findings suggest a new
post-training paradigm: synthetic, rule-based games can serve as controllable
and scalable pre-text tasks that unlock generalizable multimodal reasoning
abilities in MLLMs.