Веб-агенты с мировыми моделями: изучение и использование динамики окружения в навигации по вебу

Web Agents with World Models: Learning and Leveraging Environment Dynamics in Web Navigation

October 17, 2024

Авторы: Hyungjoo Chae, Namyoung Kim, Kai Tzu-iunn Ong, Minju Gwak, Gwanwoo Song, Jihoon Kim, Sunghwan Kim, Dongha Lee, Jinyoung Yeo

cs.AI

Аннотация

Большие языковые модели (LLM) недавно привлекли много внимания в создании автономных агентов. Однако производительность текущих веб-агентов на основе LLM в задачах с долгим горизонтом планирования далека от оптимальной, часто приводя к ошибкам, таким как повторная покупка невозвратного авиабилета. В отличие от этого, люди могут избегать такой необратимой ошибки, поскольку мы осознаем потенциальные последствия (например, потерю денег) наших действий, также известных как "модель мира". Под влиянием этого наше исследование начинается с предварительного анализа, подтверждающего отсутствие моделей мира в текущих LLM (например, GPT-4o, Claude-3.5-Sonnet и т. д.). Затем мы представляем веб-агента с расширенной моделью мира (WMA), который моделирует результаты своих действий для принятия лучших решений. Для преодоления вызовов в обучении LLM в качестве моделей мира, предсказывающих следующие наблюдения, таких как повторяющиеся элементы между наблюдениями и длинные входы HTML, мы предлагаем абстракцию наблюдения, сосредоточенную на переходах, где целями предсказания являются описания на естественном языке, исключительно выделяющие важные различия состояний между временными шагами. Эксперименты на WebArena и Mind2Web показывают, что наши модели мира улучшают выбор политики агентов без дополнительного обучения и демонстрируют эффективность наших агентов по стоимости и времени по сравнению с недавними агентами на основе поиска по дереву.

English

Large language models (LLMs) have recently gained much attention in building autonomous agents. However, the performance of current LLM-based web agents in long-horizon tasks is far from optimal, often yielding errors such as repeatedly buying a non-refundable flight ticket. By contrast, humans can avoid such an irreversible mistake, as we have an awareness of the potential outcomes (e.g., losing money) of our actions, also known as the "world model". Motivated by this, our study first starts with preliminary analyses, confirming the absence of world models in current LLMs (e.g., GPT-4o, Claude-3.5-Sonnet, etc.). Then, we present a World-model-augmented (WMA) web agent, which simulates the outcomes of its actions for better decision-making. To overcome the challenges in training LLMs as world models predicting next observations, such as repeated elements across observations and long HTML inputs, we propose a transition-focused observation abstraction, where the prediction objectives are free-form natural language descriptions exclusively highlighting important state differences between time steps. Experiments on WebArena and Mind2Web show that our world models improve agents' policy selection without training and demonstrate our agents' cost- and time-efficiency compared to recent tree-search-based agents.