Jouer pour généraliser : Apprendre à raisonner à travers le jeu

Play to Generalize: Learning to Reason Through Game Play

June 9, 2025

Auteurs: Yunfei Xie, Yinsong Ma, Shiyi Lan, Alan Yuille, Junfei Xiao, Chen Wei

cs.AI

Résumé

Le développement de capacités de raisonnement généralisables dans les modèles de langage multimodaux de grande taille (MLLMs) reste un défi. Inspirés par la littérature en sciences cognitives suggérant que le jeu favorise des compétences cognitives transférables, nous proposons un nouveau paradigme de post-entraînement, l'apprentissage par jeu visuel, ou ViGaL, où les MLLMs développent une généralisation hors domaine du raisonnement multimodal en jouant à des jeux de type arcade. Plus précisément, nous montrons que le post-entraînement d'un MLLM de 7 milliards de paramètres via l'apprentissage par renforcement (RL) sur des jeux simples de type arcade, comme Snake, améliore significativement ses performances en aval sur des benchmarks de mathématiques multimodales comme MathVista, et sur des questions multidisciplinaires comme MMMU, sans avoir vu de solutions détaillées, d'équations ou de diagrammes pendant le RL, ce qui suggère l'acquisition de compétences de raisonnement transférables. De manière remarquable, notre modèle surpasse les modèles spécialisés ajustés sur des données de raisonnement multimodal dans des benchmarks de raisonnement multimodal, tout en préservant les performances du modèle de base sur des benchmarks visuels généraux, un défi où les modèles spécialisés échouent souvent. Nos résultats suggèrent un nouveau paradigme de post-entraînement : les jeux synthétiques basés sur des règles peuvent servir de tâches prétextes contrôlables et évolutives qui débloquent des capacités de raisonnement multimodal généralisables dans les MLLMs.

English

Developing generalizable reasoning capabilities in multimodal large language models (MLLMs) remains challenging. Motivated by cognitive science literature suggesting that gameplay promotes transferable cognitive skills, we propose a novel post-training paradigm, Visual Game Learning, or ViGaL, where MLLMs develop out-of-domain generalization of multimodal reasoning through playing arcade-like games. Specifically, we show that post-training a 7B-parameter MLLM via reinforcement learning (RL) on simple arcade-like games, e.g. Snake, significantly enhances its downstream performance on multimodal math benchmarks like MathVista, and on multi-discipline questions like MMMU, without seeing any worked solutions, equations, or diagrams during RL, suggesting the capture of transferable reasoning skills. Remarkably, our model outperforms specialist models tuned on multimodal reasoning data in multimodal reasoning benchmarks, while preserving the base model's performance on general visual benchmarks, a challenge where specialist models often fall short. Our findings suggest a new post-training paradigm: synthetic, rule-based games can serve as controllable and scalable pre-text tasks that unlock generalizable multimodal reasoning abilities in MLLMs.