Agentes Web com Modelos do Mundo: Aprendendo e Alavancando a Dinâmica do Ambiente na Navegação Web

Web Agents with World Models: Learning and Leveraging Environment Dynamics in Web Navigation

October 17, 2024

Autores: Hyungjoo Chae, Namyoung Kim, Kai Tzu-iunn Ong, Minju Gwak, Gwanwoo Song, Jihoon Kim, Sunghwan Kim, Dongha Lee, Jinyoung Yeo

cs.AI

Resumo

Os modelos de linguagem grandes (LLMs) têm recebido muita atenção recentemente na construção de agentes autônomos. No entanto, o desempenho dos atuais agentes web baseados em LLM em tarefas de longo prazo está longe de ser ótimo, frequentemente resultando em erros como a compra repetida de uma passagem aérea não reembolsável. Em contraste, os humanos podem evitar esse tipo de erro irreversível, pois possuem consciência dos resultados potenciais (por exemplo, perda de dinheiro) de suas ações, também conhecida como "modelo do mundo". Motivado por isso, nosso estudo começa com análises preliminares, confirmando a ausência de modelos do mundo nos atuais LLMs (por exemplo, GPT-4o, Claude-3.5-Sonnet, etc.). Em seguida, apresentamos um agente web aumentado com um modelo do mundo (WMA), que simula os resultados de suas ações para uma tomada de decisão melhor. Para superar os desafios no treinamento de LLMs como modelos do mundo que preveem as próximas observações, como elementos repetidos entre observações e entradas HTML longas, propomos uma abstração de observação focada em transição, onde os objetivos de previsão são descrições de linguagem natural de forma livre que destacam exclusivamente as diferenças de estado importantes entre os passos temporais. Experimentos no WebArena e Mind2Web mostram que nossos modelos do mundo melhoram a seleção de políticas dos agentes sem treinamento e demonstram a eficiência em custo e tempo de nossos agentes em comparação com os agentes recentes baseados em busca em árvore.

English

Large language models (LLMs) have recently gained much attention in building autonomous agents. However, the performance of current LLM-based web agents in long-horizon tasks is far from optimal, often yielding errors such as repeatedly buying a non-refundable flight ticket. By contrast, humans can avoid such an irreversible mistake, as we have an awareness of the potential outcomes (e.g., losing money) of our actions, also known as the "world model". Motivated by this, our study first starts with preliminary analyses, confirming the absence of world models in current LLMs (e.g., GPT-4o, Claude-3.5-Sonnet, etc.). Then, we present a World-model-augmented (WMA) web agent, which simulates the outcomes of its actions for better decision-making. To overcome the challenges in training LLMs as world models predicting next observations, such as repeated elements across observations and long HTML inputs, we propose a transition-focused observation abstraction, where the prediction objectives are free-form natural language descriptions exclusively highlighting important state differences between time steps. Experiments on WebArena and Mind2Web show that our world models improve agents' policy selection without training and demonstrate our agents' cost- and time-efficiency compared to recent tree-search-based agents.