SPIRAL: El juego autónomo en juegos de suma cero fomenta el razonamiento mediante el aprendizaje por refuerzo multiagente y multiturno.

SPIRAL: Self-Play on Zero-Sum Games Incentivizes Reasoning via Multi-Agent Multi-Turn Reinforcement Learning

June 30, 2025

Autores: Bo Liu, Leon Guertler, Simon Yu, Zichen Liu, Penghui Qi, Daniel Balcells, Mickel Liu, Cheston Tan, Weiyan Shi, Min Lin, Wee Sun Lee, Natasha Jaques

cs.AI

Resumen

Los avances recientes en aprendizaje por refuerzo han demostrado que los modelos de lenguaje pueden desarrollar un razonamiento sofisticado mediante el entrenamiento en tareas con recompensas verificables, pero estos enfoques dependen de pares problema-respuesta curados por humanos y de la ingeniería de recompensas específica del dominio. Presentamos SPIRAL, un marco de autojuego donde los modelos aprenden jugando partidas de múltiples turnos y suma cero contra versiones de sí mismos que mejoran continuamente, eliminando la necesidad de supervisión humana. A través del autojuego, SPIRAL genera un currículo infinito de problemas progresivamente desafiantes, ya que los modelos deben adaptarse constantemente a oponentes más fuertes. Para permitir este entrenamiento de autojuego a escala, implementamos un sistema de aprendizaje por refuerzo multiagente y de múltiples turnos completamente en línea para LLMs y proponemos la estimación de ventaja condicionada por rol (RAE) para estabilizar el entrenamiento multiagente. Utilizando SPIRAL, el autojuego en juegos de suma cero produce capacidades de razonamiento que se transfieren ampliamente. Entrenar Qwen3-4B-Base únicamente en Kuhn Poker logra una mejora del 8.6% en matemáticas y del 8.4% en razonamiento general, superando al SFT en 25,000 trayectorias de juego expertas. El análisis revela que esta transferencia ocurre a través de tres patrones cognitivos: descomposición sistemática, cálculo de valor esperado y análisis caso por caso. El entrenamiento multi-juego (TicTacToe, Kuhn Poker, Negociación Simple) mejora aún más el rendimiento, ya que cada juego desarrolla fortalezas de razonamiento distintas. Aplicar SPIRAL a un modelo de razonamiento fuerte (DeepSeek-R1-Distill-Qwen-7B) aún puede conducir a una mejora promedio del 2.0%. Estos resultados demuestran que los juegos de suma cero desarrollan naturalmente capacidades de razonamiento transferibles, destacando una dirección prometedora para el desarrollo autónomo del razonamiento.

English

Recent advances in reinforcement learning have shown that language models can develop sophisticated reasoning through training on tasks with verifiable rewards, but these approaches depend on human-curated problem-answer pairs and domain-specific reward engineering. We introduce SPIRAL, a self-play framework where models learn by playing multi-turn, zero-sum games against continuously improving versions of themselves, eliminating the need for human supervision. Through self-play, SPIRAL generates an infinite curriculum of progressively challenging problems as models must constantly adapt to stronger opponents. To enable this self-play training at scale, We implement a fully online, multi-turn, multi-agent reinforcement learning system for LLMs and propose role-conditioned advantage estimation (RAE) to stabilize multi-agent training. Using SPIRAL, self-play on zero-sum games produces reasoning capabilities that transfer broadly. Training Qwen3-4B-Base on Kuhn Poker alone achieves 8.6% improvement on math and 8.4% on general reasoning, outperforming SFT on 25,000 expert game trajectories. Analysis reveals that this transfer occurs through three cognitive patterns: systematic decomposition, expected value calculation, and case-by-case analysis. Multi-game training (TicTacToe, Kuhn Poker, Simple Negotiation) further enhances performance as each game develops distinct reasoning strengths. Applying SPIRAL to a strong reasoning model (DeepSeek-R1-Distill-Qwen-7B) can still lead to 2.0% average improvement. These results demonstrate that zero-sum games naturally develop transferable reasoning capabilities, highlighting a promising direction for autonomous reasoning development.