TextQuests: Quanto sono bravi i modelli linguistici di grandi dimensioni nei videogiochi basati su testo?

TextQuests: How Good are LLMs at Text-Based Video Games?

July 31, 2025

Autori: Long Phan, Mantas Mazeika, Andy Zou, Dan Hendrycks

cs.AI

Abstract

Valutare gli agenti di intelligenza artificiale all'interno di ambienti complessi e interattivi che rispecchiano le sfide del mondo reale è fondamentale per comprenderne le capacità pratiche. Sebbene i benchmark esistenti per gli agenti valutino efficacemente abilità come l'uso di strumenti o le prestazioni in compiti strutturati, spesso non catturano appieno la capacità di un agente di operare in modo autonomo in ambienti esplorativi che richiedono un ragionamento autodiretto e sostenuto su un contesto lungo e in evoluzione. Per stimolare lo sviluppo di agenti in grado di eseguire un ragionamento intrinseco più robusto su orizzonti temporali estesi, introduciamo TextQuests, un benchmark basato sulla suite di giochi di narrativa interattiva Infocom. Queste avventure testuali, che possono richiedere ai giocatori umani oltre 30 ore e centinaia di azioni precise per essere risolte, fungono da efficace proxy per valutare gli agenti di IA su compiti focalizzati e con stato. Il benchmark è specificamente progettato per valutare la capacità di un agente LLM di risolvere problemi in modo autonomo, escludendo l'uso di strumenti esterni, concentrandosi così sulle capacità intrinseche di ragionamento su contesti lunghi in un ambiente esplorativo caratterizzato dalla necessità di apprendimento per tentativi ed errori e dalla risoluzione sostenuta di problemi all'interno di una singola sessione interattiva. Rilasciamo TextQuests all'indirizzo https://textquests.ai.

English

Evaluating AI agents within complex, interactive environments that mirror real-world challenges is critical for understanding their practical capabilities. While existing agent benchmarks effectively assess skills like tool use or performance on structured tasks, they often do not fully capture an agent's ability to operate autonomously in exploratory environments that demand sustained, self-directed reasoning over a long and growing context. To spur the development of agents capable of more robust intrinsic reasoning over long horizons, we introduce TextQuests, a benchmark based on the Infocom suite of interactive fiction games. These text-based adventures, which can take human players over 30 hours and require hundreds of precise actions to solve, serve as an effective proxy for evaluating AI agents on focused, stateful tasks. The benchmark is specifically designed to assess an LLM agent's capacity for self-contained problem-solving by precluding the use of external tools, thereby focusing on intrinsic long-context reasoning capabilities in an exploratory environment characterized by the need for trial-and-error learning and sustained problem-solving within a single interactive session. We release TextQuests at https://textquests.ai.