TextQuests: Hoe presteren LLM's in tekstgebaseerde videogames?

TextQuests: How Good are LLMs at Text-Based Video Games?

July 31, 2025

Auteurs: Long Phan, Mantas Mazeika, Andy Zou, Dan Hendrycks

cs.AI

Samenvatting

Het evalueren van AI-agenten binnen complexe, interactieve omgevingen die real-world uitdagingen weerspiegelen, is cruciaal om hun praktische capaciteiten te begrijpen. Hoewel bestaande benchmarks voor agenten effectief vaardigheden zoals gereedschapsgebruik of prestaties op gestructureerde taken beoordelen, vangen ze vaak niet volledig het vermogen van een agent om autonoom te opereren in verkennende omgevingen die langdurig, zelfgestuurd redeneren vereisen over een lange en groeiende context. Om de ontwikkeling van agenten te stimuleren die in staat zijn tot robuuster intrinsiek redeneren over lange tijdsperioden, introduceren we TextQuests, een benchmark gebaseerd op de Infocom-suite van interactieve fictie-spellen. Deze tekstgebaseerde avonturen, die menselijke spelers meer dan 30 uur kunnen kosten en honderden precieze acties vereisen om op te lossen, dienen als een effectieve proxy voor het evalueren van AI-agenten op gerichte, toestandsgevoelige taken. De benchmark is specifiek ontworpen om het vermogen van een LLM-agent tot zelfstandig probleemoplossen te beoordelen door het gebruik van externe hulpmiddelen uit te sluiten, waardoor de focus ligt op intrinsieke langetermijn-redeneervaardigheden in een verkennende omgeving die wordt gekenmerkt door de noodzaak van trial-and-error leren en langdurig probleemoplossen binnen een enkele interactieve sessie. We maken TextQuests beschikbaar op https://textquests.ai.

English

Evaluating AI agents within complex, interactive environments that mirror real-world challenges is critical for understanding their practical capabilities. While existing agent benchmarks effectively assess skills like tool use or performance on structured tasks, they often do not fully capture an agent's ability to operate autonomously in exploratory environments that demand sustained, self-directed reasoning over a long and growing context. To spur the development of agents capable of more robust intrinsic reasoning over long horizons, we introduce TextQuests, a benchmark based on the Infocom suite of interactive fiction games. These text-based adventures, which can take human players over 30 hours and require hundreds of precise actions to solve, serve as an effective proxy for evaluating AI agents on focused, stateful tasks. The benchmark is specifically designed to assess an LLM agent's capacity for self-contained problem-solving by precluding the use of external tools, thereby focusing on intrinsic long-context reasoning capabilities in an exploratory environment characterized by the need for trial-and-error learning and sustained problem-solving within a single interactive session. We release TextQuests at https://textquests.ai.