Преодоление разрыва между агентом и миром: Текстовые модели мира для агентов на основе LLM

Аннотация

Агенты на основе больших языковых моделей (LLM) всё чаще используются в интерактивных текстовых средах — от навигации по веб-сайтам и редактирования кода до использования инструментов и ведения диалогов на длинные горизонты. Однако многие из них остаются в значительной степени реактивными, сопоставляя наблюдения с действиями без явного понимания того, как устроены и как развиваются эти среды. Это порождает интерес к текстовым моделям мира (text world models, TWM): моделям переходов между текстовыми состояниями, которые по заданному состоянию и возможному действию предсказывают результирующую веб-страницу, вывод терминала, ответ API или ответ пользователя, тем самым поддерживая планирование, эффективное обучение и принципиальное оценивание. Мы систематически рассматриваем текстовые модели мира для LLM-агентов, структурируя обзор вокруг формальной схемы и жизненного цикла агента: (1) Основы — определение текстовых моделей мира и их характеристика по представлению состояний и предметной области привязки; (2) Построение — таксономия парадигм «LLM как модель мира» и «код как модель мира», а также обзор методов их создания; (3) Применение — анализ того, как модели мира поддерживают агентов на этапе обучения (через синтез опыта) и на этапе вывода (через планирование, верификацию и адаптацию); и (4) Оценка — охват как оценки самой модели мира, так и её использования в качестве среды для оценки агентов. Мы стремимся обобщить эту быстро развивающуюся область, прояснить её дизайн-пространство и выделить открытые вызовы для будущих исследований.

English

Large language model (LLM)-based agents are increasingly used in interactive textual environments, from web navigation and code editing to tool use and long-horizon dialogue. Yet many remain largely reactive, mapping observations to actions without an explicit model of how these environments are structured and evolve. This motivates text world models (TWMs): transition models over textual states that, given a state and a candidate action, predict the resulting webpage, terminal output, API response, or user reply, thereby supporting planning, efficient learning, and principled evaluation. We systematically review text world models for LLM-based agents, organized around a formal framework and the agent lifecycle: (1) Foundations, defining text world models and characterizing them by state representation and grounding domain; (2) Construction, taxonomizing LLM-as-WM and code-as-WM paradigms and reviewing methods for building them; (3) Application, examining how world models support agents at training time through experience synthesis and at inference time through planning, verification, and adaptation; and (4) Evaluation, covering both evaluation of the world model itself and its use as an evaluation environment for agents. We aim to consolidate this rapidly developing area, clarify its design space, and highlight open challenges for future research.