テキストクエスト：テキストベースのビデオゲームにおけるLLMの性能はどの程度か？

TextQuests: How Good are LLMs at Text-Based Video Games?

July 31, 2025

著者: Long Phan, Mantas Mazeika, Andy Zou, Dan Hendrycks

cs.AI

要旨

現実世界の課題を反映した複雑でインタラクティブな環境におけるAIエージェントの評価は、その実用的な能力を理解する上で極めて重要である。既存のエージェントベンチマークは、ツールの使用や構造化されたタスクにおけるパフォーマンスなどのスキルを効果的に評価するが、長く拡張されるコンテキストにおいて持続的かつ自律的な推論を要求する探索的環境でのエージェントの能力を完全に捉えることはしばしばない。より堅牢な長期的な内在的推論能力を持つエージェントの開発を促進するため、我々はInfocomシリーズのインタラクティブフィクションゲームに基づくベンチマーク「TextQuests」を導入する。これらのテキストベースのアドベンチャーは、人間のプレイヤーに30時間以上を要し、解決するために数百の正確なアクションを必要とするため、AIエージェントの集中力のある状態依存タスクの評価に有効な代理手段となる。このベンチマークは、外部ツールの使用を排除することで、LLMエージェントの自己完結型の問題解決能力を評価するために特別に設計されており、試行錯誤学習と単一のインタラクティブセッション内での持続的な問題解決を特徴とする探索的環境における内在的な長文脈推論能力に焦点を当てている。TextQuestsはhttps://textquests.aiで公開されている。

English

Evaluating AI agents within complex, interactive environments that mirror real-world challenges is critical for understanding their practical capabilities. While existing agent benchmarks effectively assess skills like tool use or performance on structured tasks, they often do not fully capture an agent's ability to operate autonomously in exploratory environments that demand sustained, self-directed reasoning over a long and growing context. To spur the development of agents capable of more robust intrinsic reasoning over long horizons, we introduce TextQuests, a benchmark based on the Infocom suite of interactive fiction games. These text-based adventures, which can take human players over 30 hours and require hundreds of precise actions to solve, serve as an effective proxy for evaluating AI agents on focused, stateful tasks. The benchmark is specifically designed to assess an LLM agent's capacity for self-contained problem-solving by precluding the use of external tools, thereby focusing on intrinsic long-context reasoning capabilities in an exploratory environment characterized by the need for trial-and-error learning and sustained problem-solving within a single interactive session. We release TextQuests at https://textquests.ai.