TextArena

TextArena

April 15, 2025

Auteurs: Leon Guertler, Bobby Cheng, Simon Yu, Bo Liu, Leshem Choshen, Cheston Tan

cs.AI

Samenvatting

TextArena is een open-source verzameling van competitieve tekstgebaseerde spellen voor het trainen en evalueren van agentgedrag in Large Language Models (LLM's). Het omvat meer dan 57 unieke omgevingen (inclusief singleplayer, tweespeler en multiplayer-opstellingen) en maakt eenvoudige evaluatie van modelcapaciteiten mogelijk via een online speelsysteem (tegen mensen en andere ingediende modellen) met real-time TrueSkill-scores. Traditionele benchmarks beoordelen zelden dynamische sociale vaardigheden zoals onderhandeling, theory of mind en misleiding, wat een gat creëert dat TextArena opvult. Ontworpen met onderzoek, gemeenschap en uitbreidbaarheid in gedachten, benadrukt TextArena het gemak van het toevoegen van nieuwe spellen, het aanpassen van het framework, het testen van modellen, het spelen tegen de modellen en het trainen van modellen. Gedetailleerde documentatie van omgevingen, spellen, leaderboards en voorbeelden is beschikbaar op https://github.com/LeonGuertler/TextArena en https://www.textarena.ai/.

English

TextArena is an open-source collection of competitive text-based games for training and evaluation of agentic behavior in Large Language Models (LLMs). It spans 57+ unique environments (including single-player, two-player, and multi-player setups) and allows for easy evaluation of model capabilities via an online-play system (against humans and other submitted models) with real-time TrueSkill scores. Traditional benchmarks rarely assess dynamic social skills such as negotiation, theory of mind, and deception, creating a gap that TextArena addresses. Designed with research, community and extensibility in mind, TextArena emphasizes ease of adding new games, adapting the framework, testing models, playing against the models, and training models. Detailed documentation of environments, games, leaderboard, and examples are available on https://github.com/LeonGuertler/TextArena and https://www.textarena.ai/.