SPIRAL : L'auto-apprentissage sur les jeux à somme nulle incite au raisonnement via un apprentissage par renforcement multi-agent et multi-tours

SPIRAL: Self-Play on Zero-Sum Games Incentivizes Reasoning via Multi-Agent Multi-Turn Reinforcement Learning

June 30, 2025

Auteurs: Bo Liu, Leon Guertler, Simon Yu, Zichen Liu, Penghui Qi, Daniel Balcells, Mickel Liu, Cheston Tan, Weiyan Shi, Min Lin, Wee Sun Lee, Natasha Jaques

cs.AI

Résumé

Les récentes avancées en apprentissage par renforcement ont montré que les modèles de langage peuvent développer un raisonnement sophistiqué grâce à un entraînement sur des tâches avec des récompenses vérifiables. Cependant, ces approches dépendent de paires problème-réponse sélectionnées par des humains et d'une ingénierie de récompense spécifique au domaine. Nous présentons SPIRAL, un cadre d'auto-jeu où les modèles apprennent en jouant des jeux à somme nulle en plusieurs tours contre des versions d'eux-mêmes en constante amélioration, éliminant ainsi le besoin de supervision humaine. Grâce à l'auto-jeu, SPIRAL génère un curriculum infini de problèmes de plus en plus difficiles, car les modèles doivent constamment s'adapter à des adversaires plus forts. Pour permettre cet entraînement à grande échelle, nous mettons en œuvre un système d'apprentissage par renforcement multi-agent et multi-tours entièrement en ligne et proposons l'estimation d'avantage conditionnée par rôle (RAE) pour stabiliser l'entraînement multi-agent. En utilisant SPIRAL, l'auto-jeu sur des jeux à somme nulle produit des capacités de raisonnement transférables. L'entraînement de Qwen3-4B-Base uniquement sur le Kuhn Poker améliore de 8,6 % en mathématiques et de 8,4 % en raisonnement général, surpassant l'apprentissage supervisé fin (SFT) sur 25 000 trajectoires de jeu expertes. L'analyse révèle que ce transfert se produit à travers trois schémas cognitifs : la décomposition systématique, le calcul de la valeur attendue et l'analyse cas par cas. L'entraînement multi-jeux (TicTacToe, Kuhn Poker, Simple Negotiation) améliore encore les performances, chaque jeu développant des forces de raisonnement distinctes. L'application de SPIRAL à un modèle de raisonnement puissant (DeepSeek-R1-Distill-Qwen-7B) peut encore conduire à une amélioration moyenne de 2,0 %. Ces résultats démontrent que les jeux à somme nulle développent naturellement des capacités de raisonnement transférables, mettant en lumière une direction prometteuse pour le développement autonome du raisonnement.

English

Recent advances in reinforcement learning have shown that language models can develop sophisticated reasoning through training on tasks with verifiable rewards, but these approaches depend on human-curated problem-answer pairs and domain-specific reward engineering. We introduce SPIRAL, a self-play framework where models learn by playing multi-turn, zero-sum games against continuously improving versions of themselves, eliminating the need for human supervision. Through self-play, SPIRAL generates an infinite curriculum of progressively challenging problems as models must constantly adapt to stronger opponents. To enable this self-play training at scale, We implement a fully online, multi-turn, multi-agent reinforcement learning system for LLMs and propose role-conditioned advantage estimation (RAE) to stabilize multi-agent training. Using SPIRAL, self-play on zero-sum games produces reasoning capabilities that transfer broadly. Training Qwen3-4B-Base on Kuhn Poker alone achieves 8.6% improvement on math and 8.4% on general reasoning, outperforming SFT on 25,000 expert game trajectories. Analysis reveals that this transfer occurs through three cognitive patterns: systematic decomposition, expected value calculation, and case-by-case analysis. Multi-game training (TicTacToe, Kuhn Poker, Simple Negotiation) further enhances performance as each game develops distinct reasoning strengths. Applying SPIRAL to a strong reasoning model (DeepSeek-R1-Distill-Qwen-7B) can still lead to 2.0% average improvement. These results demonstrate that zero-sum games naturally develop transferable reasoning capabilities, highlighting a promising direction for autonomous reasoning development.