SPIRAL: Auto-jogo em Jogos de Soma Zero Incentiva o Raciocínio por meio de Aprendizado por Reforço Multiagente e Multiturno

SPIRAL: Self-Play on Zero-Sum Games Incentivizes Reasoning via Multi-Agent Multi-Turn Reinforcement Learning

June 30, 2025

Autores: Bo Liu, Leon Guertler, Simon Yu, Zichen Liu, Penghui Qi, Daniel Balcells, Mickel Liu, Cheston Tan, Weiyan Shi, Min Lin, Wee Sun Lee, Natasha Jaques

cs.AI

Resumo

Avanços recentes em aprendizado por reforço demonstraram que modelos de linguagem podem desenvolver raciocínio sofisticado por meio do treinamento em tarefas com recompensas verificáveis, mas essas abordagens dependem de pares problema-resposta curados por humanos e de engenharia de recompensas específicas para o domínio. Apresentamos o SPIRAL, uma estrutura de autojogo onde os modelos aprendem jogando partidas de múltiplos turnos e soma zero contra versões continuamente aprimoradas de si mesmos, eliminando a necessidade de supervisão humana. Por meio do autojogo, o SPIRAL gera um currículo infinito de problemas progressivamente desafiadores, já que os modelos devem se adaptar constantemente a oponentes mais fortes. Para viabilizar esse treinamento de autojogo em escala, implementamos um sistema de aprendizado por reforço totalmente online, de múltiplos turnos e multiagente para LLMs e propomos a estimativa de vantagem condicionada ao papel (RAE) para estabilizar o treinamento multiagente. Usando o SPIRAL, o autojogo em jogos de soma zero produz capacidades de raciocínio que se transferem amplamente. O treinamento do Qwen3-4B-Base apenas no Kuhn Poker alcança uma melhoria de 8,6% em matemática e 8,4% em raciocínio geral, superando o SFT em 25.000 trajetórias de jogo especializadas. A análise revela que essa transferência ocorre por meio de três padrões cognitivos: decomposição sistemática, cálculo de valor esperado e análise caso a caso. O treinamento multi-jogo (Jogo da Velha, Kuhn Poker, Negociação Simples) aprimora ainda mais o desempenho, pois cada jogo desenvolve pontos fortes distintos de raciocínio. A aplicação do SPIRAL a um modelo de raciocínio avançado (DeepSeek-R1-Distill-Qwen-7B) ainda pode levar a uma melhoria média de 2,0%. Esses resultados demonstram que jogos de soma zero desenvolvem naturalmente capacidades de raciocínio transferíveis, destacando uma direção promissora para o desenvolvimento autônomo de raciocínio.

English

Recent advances in reinforcement learning have shown that language models can develop sophisticated reasoning through training on tasks with verifiable rewards, but these approaches depend on human-curated problem-answer pairs and domain-specific reward engineering. We introduce SPIRAL, a self-play framework where models learn by playing multi-turn, zero-sum games against continuously improving versions of themselves, eliminating the need for human supervision. Through self-play, SPIRAL generates an infinite curriculum of progressively challenging problems as models must constantly adapt to stronger opponents. To enable this self-play training at scale, We implement a fully online, multi-turn, multi-agent reinforcement learning system for LLMs and propose role-conditioned advantage estimation (RAE) to stabilize multi-agent training. Using SPIRAL, self-play on zero-sum games produces reasoning capabilities that transfer broadly. Training Qwen3-4B-Base on Kuhn Poker alone achieves 8.6% improvement on math and 8.4% on general reasoning, outperforming SFT on 25,000 expert game trajectories. Analysis reveals that this transfer occurs through three cognitive patterns: systematic decomposition, expected value calculation, and case-by-case analysis. Multi-game training (TicTacToe, Kuhn Poker, Simple Negotiation) further enhances performance as each game develops distinct reasoning strengths. Applying SPIRAL to a strong reasoning model (DeepSeek-R1-Distill-Qwen-7B) can still lead to 2.0% average improvement. These results demonstrate that zero-sum games naturally develop transferable reasoning capabilities, highlighting a promising direction for autonomous reasoning development.