TextArena

TextArena

April 15, 2025

Autoren: Leon Guertler, Bobby Cheng, Simon Yu, Bo Liu, Leshem Choshen, Cheston Tan

cs.AI

Zusammenfassung

TextArena ist eine Open-Source-Sammlung von wettbewerbsorientierten textbasierten Spielen zur Schulung und Bewertung von agentenbasiertem Verhalten in Large Language Models (LLMs). Es umfasst über 57 einzigartige Umgebungen (einschließlich Einzelspieler-, Zwei-Spieler- und Mehrspieler-Setups) und ermöglicht eine einfache Bewertung der Modellfähigkeiten über ein Online-Spielsystem (gegen Menschen und andere eingereichte Modelle) mit Echtzeit-TrueSkill-Werten. Traditionelle Benchmarks bewerten selten dynamische soziale Fähigkeiten wie Verhandlung, Theory of Mind und Täuschung, wodurch eine Lücke entsteht, die TextArena schließt. Mit Fokus auf Forschung, Gemeinschaft und Erweiterbarkeit betont TextArena die einfache Hinzufügung neuer Spiele, die Anpassung des Frameworks, das Testen von Modellen, das Spielen gegen die Modelle und das Trainieren von Modellen. Detaillierte Dokumentationen der Umgebungen, Spiele, Bestenlisten und Beispiele sind auf https://github.com/LeonGuertler/TextArena und https://www.textarena.ai/ verfügbar.

English

TextArena is an open-source collection of competitive text-based games for training and evaluation of agentic behavior in Large Language Models (LLMs). It spans 57+ unique environments (including single-player, two-player, and multi-player setups) and allows for easy evaluation of model capabilities via an online-play system (against humans and other submitted models) with real-time TrueSkill scores. Traditional benchmarks rarely assess dynamic social skills such as negotiation, theory of mind, and deception, creating a gap that TextArena addresses. Designed with research, community and extensibility in mind, TextArena emphasizes ease of adding new games, adapting the framework, testing models, playing against the models, and training models. Detailed documentation of environments, games, leaderboard, and examples are available on https://github.com/LeonGuertler/TextArena and https://www.textarena.ai/.