TextArena

TextArena

April 15, 2025

Autores: Leon Guertler, Bobby Cheng, Simon Yu, Bo Liu, Leshem Choshen, Cheston Tan

cs.AI

Resumen

TextArena es una colección de código abierto de juegos competitivos basados en texto para el entrenamiento y evaluación del comportamiento agente en Modelos de Lenguaje a Gran Escala (LLMs). Abarca más de 57 entornos únicos (incluyendo configuraciones para un jugador, dos jugadores y múltiples jugadores) y permite una evaluación sencilla de las capacidades de los modelos mediante un sistema de juego en línea (contra humanos y otros modelos enviados) con puntuaciones TrueSkill en tiempo real. Los puntos de referencia tradicionales rara vez evalúan habilidades sociales dinámicas como la negociación, la teoría de la mente y el engaño, creando un vacío que TextArena aborda. Diseñado con la investigación, la comunidad y la extensibilidad en mente, TextArena enfatiza la facilidad para agregar nuevos juegos, adaptar el marco de trabajo, probar modelos, jugar contra los modelos y entrenar modelos. La documentación detallada de los entornos, juegos, tablas de clasificación y ejemplos está disponible en https://github.com/LeonGuertler/TextArena y https://www.textarena.ai/.

English

TextArena is an open-source collection of competitive text-based games for training and evaluation of agentic behavior in Large Language Models (LLMs). It spans 57+ unique environments (including single-player, two-player, and multi-player setups) and allows for easy evaluation of model capabilities via an online-play system (against humans and other submitted models) with real-time TrueSkill scores. Traditional benchmarks rarely assess dynamic social skills such as negotiation, theory of mind, and deception, creating a gap that TextArena addresses. Designed with research, community and extensibility in mind, TextArena emphasizes ease of adding new games, adapting the framework, testing models, playing against the models, and training models. Detailed documentation of environments, games, leaderboard, and examples are available on https://github.com/LeonGuertler/TextArena and https://www.textarena.ai/.