TextQuests: ¿Qué tan buenos son los LLM en los videojuegos basados en texto?

TextQuests: How Good are LLMs at Text-Based Video Games?

July 31, 2025

Autores: Long Phan, Mantas Mazeika, Andy Zou, Dan Hendrycks

cs.AI

Resumen

Evaluar agentes de IA en entornos complejos e interactivos que reflejen desafíos del mundo real es fundamental para comprender sus capacidades prácticas. Si bien los puntos de referencia existentes para agentes evalúan eficazmente habilidades como el uso de herramientas o el desempeño en tareas estructuradas, a menudo no capturan por completo la capacidad de un agente para operar de manera autónoma en entornos exploratorios que exigen un razonamiento autodirigido y sostenido en un contexto extenso y en crecimiento. Para impulsar el desarrollo de agentes capaces de realizar un razonamiento intrínseco más robusto a largo plazo, presentamos TextQuests, un punto de referencia basado en la suite de ficción interactiva Infocom. Estas aventuras basadas en texto, que pueden llevar a los jugadores humanos más de 30 horas y requieren cientos de acciones precisas para resolverse, sirven como un proxy efectivo para evaluar agentes de IA en tareas enfocadas y con estado. El punto de referencia está diseñado específicamente para evaluar la capacidad de un agente de LLM para resolver problemas de manera autónoma, excluyendo el uso de herramientas externas, centrándose así en las capacidades intrínsecas de razonamiento en contextos largos dentro de un entorno exploratorio caracterizado por la necesidad de aprendizaje por ensayo y error y resolución sostenida de problemas en una única sesión interactiva. Publicamos TextQuests en https://textquests.ai.

English

Evaluating AI agents within complex, interactive environments that mirror real-world challenges is critical for understanding their practical capabilities. While existing agent benchmarks effectively assess skills like tool use or performance on structured tasks, they often do not fully capture an agent's ability to operate autonomously in exploratory environments that demand sustained, self-directed reasoning over a long and growing context. To spur the development of agents capable of more robust intrinsic reasoning over long horizons, we introduce TextQuests, a benchmark based on the Infocom suite of interactive fiction games. These text-based adventures, which can take human players over 30 hours and require hundreds of precise actions to solve, serve as an effective proxy for evaluating AI agents on focused, stateful tasks. The benchmark is specifically designed to assess an LLM agent's capacity for self-contained problem-solving by precluding the use of external tools, thereby focusing on intrinsic long-context reasoning capabilities in an exploratory environment characterized by the need for trial-and-error learning and sustained problem-solving within a single interactive session. We release TextQuests at https://textquests.ai.