Arène de Texte

TextArena

April 15, 2025

Auteurs: Leon Guertler, Bobby Cheng, Simon Yu, Bo Liu, Leshem Choshen, Cheston Tan

cs.AI

Résumé

TextArena est une collection open-source de jeux compétitifs basés sur le texte, conçus pour l'entraînement et l'évaluation des comportements agentiques dans les modèles de langage à grande échelle (LLMs). Il englobe plus de 57 environnements uniques (incluant des configurations pour un joueur, deux joueurs et plusieurs joueurs) et permet une évaluation facile des capacités des modèles via un système de jeu en ligne (contre des humains et d'autres modèles soumis) avec des scores TrueSkill en temps réel. Les benchmarks traditionnels évaluent rarement des compétences sociales dynamiques telles que la négociation, la théorie de l'esprit et la tromperie, créant ainsi un vide que TextArena vient combler. Conçu avec la recherche, la communauté et l'extensibilité à l'esprit, TextArena met l'accent sur la facilité d'ajout de nouveaux jeux, l'adaptation du cadre, le test des modèles, le jeu contre les modèles et l'entraînement des modèles. Une documentation détaillée des environnements, des jeux, du classement et des exemples est disponible sur https://github.com/LeonGuertler/TextArena et https://www.textarena.ai/.

English

TextArena is an open-source collection of competitive text-based games for training and evaluation of agentic behavior in Large Language Models (LLMs). It spans 57+ unique environments (including single-player, two-player, and multi-player setups) and allows for easy evaluation of model capabilities via an online-play system (against humans and other submitted models) with real-time TrueSkill scores. Traditional benchmarks rarely assess dynamic social skills such as negotiation, theory of mind, and deception, creating a gap that TextArena addresses. Designed with research, community and extensibility in mind, TextArena emphasizes ease of adding new games, adapting the framework, testing models, playing against the models, and training models. Detailed documentation of environments, games, leaderboard, and examples are available on https://github.com/LeonGuertler/TextArena and https://www.textarena.ai/.