TextQuests: Quão Boas são as LLMs em Jogos de Vídeo Baseados em Texto?

TextQuests: How Good are LLMs at Text-Based Video Games?

July 31, 2025

Autores: Long Phan, Mantas Mazeika, Andy Zou, Dan Hendrycks

cs.AI

Resumo

Avaliar agentes de IA em ambientes complexos e interativos que espelham desafios do mundo real é crucial para compreender suas capacidades práticas. Embora os benchmarks existentes avaliem eficazmente habilidades como o uso de ferramentas ou o desempenho em tarefas estruturadas, eles frequentemente não capturam plenamente a capacidade de um agente de operar de forma autônoma em ambientes exploratórios que exigem raciocínio autodirigido e sustentado ao longo de um contexto extenso e crescente. Para impulsionar o desenvolvimento de agentes capazes de um raciocínio intrínseco mais robusto em horizontes longos, apresentamos o TextQuests, um benchmark baseado na suíte de ficção interativa Infocom. Essas aventuras baseadas em texto, que podem levar jogadores humanos mais de 30 horas e exigir centenas de ações precisas para serem resolvidas, servem como um proxy eficaz para avaliar agentes de IA em tarefas focadas e com estado. O benchmark foi especificamente projetado para avaliar a capacidade de um agente de LLM em resolver problemas de forma autossuficiente, impedindo o uso de ferramentas externas, concentrando-se assim nas capacidades intrínsecas de raciocínio em contextos longos em um ambiente exploratório caracterizado pela necessidade de aprendizado por tentativa e erro e resolução sustentada de problemas em uma única sessão interativa. Lançamos o TextQuests em https://textquests.ai.

English

Evaluating AI agents within complex, interactive environments that mirror real-world challenges is critical for understanding their practical capabilities. While existing agent benchmarks effectively assess skills like tool use or performance on structured tasks, they often do not fully capture an agent's ability to operate autonomously in exploratory environments that demand sustained, self-directed reasoning over a long and growing context. To spur the development of agents capable of more robust intrinsic reasoning over long horizons, we introduce TextQuests, a benchmark based on the Infocom suite of interactive fiction games. These text-based adventures, which can take human players over 30 hours and require hundreds of precise actions to solve, serve as an effective proxy for evaluating AI agents on focused, stateful tasks. The benchmark is specifically designed to assess an LLM agent's capacity for self-contained problem-solving by precluding the use of external tools, thereby focusing on intrinsic long-context reasoning capabilities in an exploratory environment characterized by the need for trial-and-error learning and sustained problem-solving within a single interactive session. We release TextQuests at https://textquests.ai.