SPIRAL: L'Autogioco su Giochi a Somma Zero Incentiva il Ragionamento attraverso l'Apprendimento per Rinforzo Multi-Agente e Multi-Turno

SPIRAL: Self-Play on Zero-Sum Games Incentivizes Reasoning via Multi-Agent Multi-Turn Reinforcement Learning

June 30, 2025

Autori: Bo Liu, Leon Guertler, Simon Yu, Zichen Liu, Penghui Qi, Daniel Balcells, Mickel Liu, Cheston Tan, Weiyan Shi, Min Lin, Wee Sun Lee, Natasha Jaques

cs.AI

Abstract

I recenti progressi nell'apprendimento per rinforzo hanno dimostrato che i modelli linguistici possono sviluppare un ragionamento sofisticato attraverso l'addestramento su compiti con ricompense verificabili, ma questi approcci dipendono da coppie problema-risposta curate da esseri umani e da un'ingegneria delle ricompense specifica per dominio. Introduciamo SPIRAL, un framework di auto-gioco in cui i modelli apprendono giocando partite a turni multipli e a somma zero contro versioni di se stessi in continuo miglioramento, eliminando la necessità di supervisione umana. Attraverso l'auto-gioco, SPIRAL genera un curriculum infinito di problemi progressivamente più impegnativi, poiché i modelli devono costantemente adattarsi a avversari più forti. Per abilitare questo addestramento su larga scala, implementiamo un sistema di apprendimento per rinforzo completamente online, a turni multipli e multi-agente per LLM e proponiamo la stima del vantaggio condizionata al ruolo (RAE) per stabilizzare l'addestramento multi-agente. Utilizzando SPIRAL, l'auto-gioco su giochi a somma zero produce capacità di ragionamento che si trasferiscono ampiamente. L'addestramento di Qwen3-4B-Base solo su Kuhn Poker raggiunge un miglioramento dell'8,6% in matematica e dell'8,4% nel ragionamento generale, superando l'SFT su 25.000 traiettorie di gioco esperte. L'analisi rivela che questo trasferimento avviene attraverso tre schemi cognitivi: scomposizione sistematica, calcolo del valore atteso e analisi caso per caso. L'addestramento su più giochi (TicTacToe, Kuhn Poker, Simple Negotiation) migliora ulteriormente le prestazioni, poiché ogni gioco sviluppa punti di forza distinti nel ragionamento. Applicare SPIRAL a un modello di ragionamento avanzato (DeepSeek-R1-Distill-Qwen-7B) può comunque portare a un miglioramento medio del 2,0%. Questi risultati dimostrano che i giochi a somma zero sviluppano naturalmente capacità di ragionamento trasferibili, evidenziando una direzione promettente per lo sviluppo autonomo del ragionamento.

English

Recent advances in reinforcement learning have shown that language models can develop sophisticated reasoning through training on tasks with verifiable rewards, but these approaches depend on human-curated problem-answer pairs and domain-specific reward engineering. We introduce SPIRAL, a self-play framework where models learn by playing multi-turn, zero-sum games against continuously improving versions of themselves, eliminating the need for human supervision. Through self-play, SPIRAL generates an infinite curriculum of progressively challenging problems as models must constantly adapt to stronger opponents. To enable this self-play training at scale, We implement a fully online, multi-turn, multi-agent reinforcement learning system for LLMs and propose role-conditioned advantage estimation (RAE) to stabilize multi-agent training. Using SPIRAL, self-play on zero-sum games produces reasoning capabilities that transfer broadly. Training Qwen3-4B-Base on Kuhn Poker alone achieves 8.6% improvement on math and 8.4% on general reasoning, outperforming SFT on 25,000 expert game trajectories. Analysis reveals that this transfer occurs through three cognitive patterns: systematic decomposition, expected value calculation, and case-by-case analysis. Multi-game training (TicTacToe, Kuhn Poker, Simple Negotiation) further enhances performance as each game develops distinct reasoning strengths. Applying SPIRAL to a strong reasoning model (DeepSeek-R1-Distill-Qwen-7B) can still lead to 2.0% average improvement. These results demonstrate that zero-sum games naturally develop transferable reasoning capabilities, highlighting a promising direction for autonomous reasoning development.