TextArena

TextArena

April 15, 2025

Autores: Leon Guertler, Bobby Cheng, Simon Yu, Bo Liu, Leshem Choshen, Cheston Tan

cs.AI

Resumo

TextArena é uma coleção de código aberto de jogos competitivos baseados em texto para treinamento e avaliação de comportamento agentivo em Modelos de Linguagem de Grande Escala (LLMs). Ele abrange mais de 57 ambientes únicos (incluindo configurações para um jogador, dois jogadores e múltiplos jogadores) e permite a fácil avaliação das capacidades dos modelos por meio de um sistema de jogo online (contra humanos e outros modelos submetidos) com pontuações TrueSkill em tempo real. Os benchmarks tradicionais raramente avaliam habilidades sociais dinâmicas, como negociação, teoria da mente e engano, criando uma lacuna que o TextArena aborda. Projetado com foco em pesquisa, comunidade e extensibilidade, o TextArena enfatiza a facilidade de adicionar novos jogos, adaptar a estrutura, testar modelos, jogar contra os modelos e treinar modelos. Documentação detalhada dos ambientes, jogos, leaderboard e exemplos estão disponíveis em https://github.com/LeonGuertler/TextArena e https://www.textarena.ai/.

English

TextArena is an open-source collection of competitive text-based games for training and evaluation of agentic behavior in Large Language Models (LLMs). It spans 57+ unique environments (including single-player, two-player, and multi-player setups) and allows for easy evaluation of model capabilities via an online-play system (against humans and other submitted models) with real-time TrueSkill scores. Traditional benchmarks rarely assess dynamic social skills such as negotiation, theory of mind, and deception, creating a gap that TextArena addresses. Designed with research, community and extensibility in mind, TextArena emphasizes ease of adding new games, adapting the framework, testing models, playing against the models, and training models. Detailed documentation of environments, games, leaderboard, and examples are available on https://github.com/LeonGuertler/TextArena and https://www.textarena.ai/.