SPIRAL: Selbstspiel in Nullsummenspielen fördert das logische Denken durch Multi-Agenten-Multi-Schritt-Verstärkungslernen

SPIRAL: Self-Play on Zero-Sum Games Incentivizes Reasoning via Multi-Agent Multi-Turn Reinforcement Learning

June 30, 2025

Autoren: Bo Liu, Leon Guertler, Simon Yu, Zichen Liu, Penghui Qi, Daniel Balcells, Mickel Liu, Cheston Tan, Weiyan Shi, Min Lin, Wee Sun Lee, Natasha Jaques

cs.AI

Zusammenfassung

Jüngste Fortschritte im Bereich des Reinforcement Learning haben gezeigt, dass Sprachmodelle durch das Training an Aufgaben mit überprüfbaren Belohnungen anspruchsvolle Denkfähigkeiten entwickeln können. Diese Ansätze sind jedoch auf von Menschen kuratierte Problem-Antwort-Paare und domänenspezifische Belohnungsgestaltung angewiesen. Wir stellen SPIRAL vor, ein Selbstspiel-Framework, in dem Modelle durch das Spielen von Mehrrunden-Nullsummenspielen gegen sich ständig verbessernde Versionen von sich selbst lernen, wodurch die Notwendigkeit menschlicher Aufsicht entfällt. Durch Selbstspiel generiert SPIRAL einen unendlichen Lehrplan von zunehmend anspruchsvollen Problemen, da die Modelle sich ständig an stärkere Gegner anpassen müssen. Um dieses Selbstspiel-Training in großem Maßstab zu ermöglichen, implementieren wir ein vollständig onlinefähiges, mehrrundiges, multi-agenten-basiertes Reinforcement-Learning-System für LLMs und schlagen die rollenbasierte Vorteilsschätzung (Role-Conditioned Advantage Estimation, RAE) vor, um das Multi-Agenten-Training zu stabilisieren. Mit SPIRAL erzeugt das Selbstspiel in Nullsummenspielen Denkfähigkeiten, die breit übertragbar sind. Das Training von Qwen3-4B-Base allein an Kuhn Poker führt zu einer Verbesserung von 8,6 % in Mathematik und 8,4 % im allgemeinen Denken, was das Supervised Fine-Tuning (SFT) auf 25.000 Experten-Spielverläufe übertrifft. Analysen zeigen, dass diese Übertragung durch drei kognitive Muster erfolgt: systematische Zerlegung, Erwartungswertberechnung und fallweise Analyse. Das Training an mehreren Spielen (TicTacToe, Kuhn Poker, Simple Negotiation) steigert die Leistung weiter, da jedes Spiel unterschiedliche Denkstärken entwickelt. Die Anwendung von SPIRAL auf ein leistungsstarkes Denkmodell (DeepSeek-R1-Distill-Qwen-7B) kann immer noch zu einer durchschnittlichen Verbesserung von 2,0 % führen. Diese Ergebnisse zeigen, dass Nullsummenspiele auf natürliche Weise übertragbare Denkfähigkeiten entwickeln, was eine vielversprechende Richtung für die autonome Entwicklung von Denkfähigkeiten aufzeigt.

English

Recent advances in reinforcement learning have shown that language models can develop sophisticated reasoning through training on tasks with verifiable rewards, but these approaches depend on human-curated problem-answer pairs and domain-specific reward engineering. We introduce SPIRAL, a self-play framework where models learn by playing multi-turn, zero-sum games against continuously improving versions of themselves, eliminating the need for human supervision. Through self-play, SPIRAL generates an infinite curriculum of progressively challenging problems as models must constantly adapt to stronger opponents. To enable this self-play training at scale, We implement a fully online, multi-turn, multi-agent reinforcement learning system for LLMs and propose role-conditioned advantage estimation (RAE) to stabilize multi-agent training. Using SPIRAL, self-play on zero-sum games produces reasoning capabilities that transfer broadly. Training Qwen3-4B-Base on Kuhn Poker alone achieves 8.6% improvement on math and 8.4% on general reasoning, outperforming SFT on 25,000 expert game trajectories. Analysis reveals that this transfer occurs through three cognitive patterns: systematic decomposition, expected value calculation, and case-by-case analysis. Multi-game training (TicTacToe, Kuhn Poker, Simple Negotiation) further enhances performance as each game develops distinct reasoning strengths. Applying SPIRAL to a strong reasoning model (DeepSeek-R1-Distill-Qwen-7B) can still lead to 2.0% average improvement. These results demonstrate that zero-sum games naturally develop transferable reasoning capabilities, highlighting a promising direction for autonomous reasoning development.