TextQuests: Насколько хорошо языковые модели справляются с текстовыми видеоиграми?

TextQuests: How Good are LLMs at Text-Based Video Games?

July 31, 2025

Авторы: Long Phan, Mantas Mazeika, Andy Zou, Dan Hendrycks

cs.AI

Аннотация

Оценка ИИ-агентов в сложных, интерактивных средах, которые отражают реальные вызовы, имеет критически важное значение для понимания их практических возможностей. Хотя существующие бенчмарки для агентов эффективно оценивают такие навыки, как использование инструментов или выполнение структурированных задач, они часто не полностью охватывают способность агента действовать автономно в исследовательских средах, требующих продолжительного, самостоятельного рассуждения в рамках длительного и постоянно расширяющегося контекста. Для стимулирования разработки агентов, способных к более устойчивому внутреннему рассуждению на длительных временных горизонтах, мы представляем TextQuests — бенчмарк, основанный на наборе интерактивных текстовых игр Infocom. Эти текстовые приключения, которые могут занимать у человеческих игроков более 30 часов и требуют сотен точных действий для решения, служат эффективным инструментом для оценки ИИ-агентов на выполнение целенаправленных, контекстно-зависимых задач. Бенчмарк специально разработан для оценки способности агента на основе языковой модели (LLM) к самостоятельному решению задач, исключая использование внешних инструментов, что позволяет сосредоточиться на внутренних способностях к длительному контекстному рассуждению в исследовательской среде, характеризующейся необходимостью обучения методом проб и ошибок и продолжительного решения задач в рамках одной интерактивной сессии. Мы публикуем TextQuests по адресу https://textquests.ai.

English

Evaluating AI agents within complex, interactive environments that mirror real-world challenges is critical for understanding their practical capabilities. While existing agent benchmarks effectively assess skills like tool use or performance on structured tasks, they often do not fully capture an agent's ability to operate autonomously in exploratory environments that demand sustained, self-directed reasoning over a long and growing context. To spur the development of agents capable of more robust intrinsic reasoning over long horizons, we introduce TextQuests, a benchmark based on the Infocom suite of interactive fiction games. These text-based adventures, which can take human players over 30 hours and require hundreds of precise actions to solve, serve as an effective proxy for evaluating AI agents on focused, stateful tasks. The benchmark is specifically designed to assess an LLM agent's capacity for self-contained problem-solving by precluding the use of external tools, thereby focusing on intrinsic long-context reasoning capabilities in an exploratory environment characterized by the need for trial-and-error learning and sustained problem-solving within a single interactive session. We release TextQuests at https://textquests.ai.