Giocare per Generalizzare: Imparare a Ragionare Attraverso il Gioco

Play to Generalize: Learning to Reason Through Game Play

June 9, 2025

Autori: Yunfei Xie, Yinsong Ma, Shiyi Lan, Alan Yuille, Junfei Xiao, Chen Wei

cs.AI

Abstract

Lo sviluppo di capacità di ragionamento generalizzabili nei modelli linguistici multimodali di grandi dimensioni (MLLM) rimane una sfida. Ispirati dalla letteratura delle scienze cognitive che suggerisce come il gioco promuova abilità cognitive trasferibili, proponiamo un nuovo paradigma di post-addestramento, Visual Game Learning, o ViGaL, in cui gli MLLM sviluppano una generalizzazione fuori dominio del ragionamento multimodale attraverso il gioco di arcade. Nello specifico, dimostriamo che il post-addestramento di un MLLM con 7 miliardi di parametri tramite apprendimento per rinforzo (RL) su semplici giochi arcade, come Snake, migliora significativamente le sue prestazioni downstream su benchmark multimodali di matematica come MathVista e su domande multidisciplinari come MMMU, senza che il modello veda soluzioni, equazioni o diagrammi durante l'RL, suggerendo l'acquisizione di abilità di ragionamento trasferibili. Notevolmente, il nostro modello supera modelli specializzati ottimizzati su dati di ragionamento multimodale nei benchmark di ragionamento multimodale, preservando al contempo le prestazioni del modello base su benchmark visivi generali, una sfida in cui i modelli specializzati spesso falliscono. I nostri risultati suggeriscono un nuovo paradigma di post-addestramento: giochi sintetici basati su regole possono servire come compiti pre-testo controllabili e scalabili che sbloccano abilità di ragionamento multimodale generalizzabili negli MLLM.

English

Developing generalizable reasoning capabilities in multimodal large language models (MLLMs) remains challenging. Motivated by cognitive science literature suggesting that gameplay promotes transferable cognitive skills, we propose a novel post-training paradigm, Visual Game Learning, or ViGaL, where MLLMs develop out-of-domain generalization of multimodal reasoning through playing arcade-like games. Specifically, we show that post-training a 7B-parameter MLLM via reinforcement learning (RL) on simple arcade-like games, e.g. Snake, significantly enhances its downstream performance on multimodal math benchmarks like MathVista, and on multi-discipline questions like MMMU, without seeing any worked solutions, equations, or diagrams during RL, suggesting the capture of transferable reasoning skills. Remarkably, our model outperforms specialist models tuned on multimodal reasoning data in multimodal reasoning benchmarks, while preserving the base model's performance on general visual benchmarks, a challenge where specialist models often fall short. Our findings suggest a new post-training paradigm: synthetic, rule-based games can serve as controllable and scalable pre-text tasks that unlock generalizable multimodal reasoning abilities in MLLMs.