SteP: Políticas de LLM Empilhadas para Ações na Web

SteP: Stacked LLM Policies for Web Actions

October 5, 2023

Autores: Paloma Sodhi, S. R. K. Branavan, Ryan McDonald

cs.AI

Resumo

A execução de tarefas na web apresenta desafios fundamentais para modelos de linguagem de grande escala (LLMs), incluindo tarefas de mundo aberto combinatórias e variações entre interfaces da web. Simplesmente especificar um prompt grande para lidar com todos os comportamentos e estados possíveis é extremamente complexo e resulta em vazamentos de comportamento entre ações não relacionadas. A decomposição em políticas distintas pode abordar esse desafio, mas exige a transferência cuidadosa de controle entre as políticas. Propomos o método Stacked LLM Policies for Web Actions (SteP), uma abordagem para compor dinamicamente políticas a fim de resolver um conjunto diversificado de tarefas na web. O SteP define um Processo de Decisão Markoviano em que o estado é uma pilha de políticas que representam o estado de controle, ou seja, a cadeia de chamadas de políticas. Diferente de métodos tradicionais restritos a hierarquias estáticas, o SteP permite um controle dinâmico que se adapta à complexidade da tarefa. Avaliamos o SteP em comparação com múltiplas baselines e ambientes web, incluindo WebArena, MiniWoB++ e um CRM. No WebArena, o SteP apresenta melhorias (de 14,9\% a 33,5\%) em relação ao estado da arte que utiliza políticas GPT-4, enquanto no MiniWob++ o SteP é competitivo com trabalhos anteriores, utilizando significativamente menos dados. Nosso código e dados estão disponíveis em https://asappresearch.github.io/webagents-step.

English

Performing tasks on the web presents fundamental challenges to large language models (LLMs), including combinatorially large open-world tasks and variations across web interfaces. Simply specifying a large prompt to handle all possible behaviors and states is extremely complex, and results in behavior leaks between unrelated behaviors. Decomposition to distinct policies can address this challenge, but requires carefully handing off control between policies. We propose Stacked LLM Policies for Web Actions (SteP), an approach to dynamically compose policies to solve a diverse set of web tasks. SteP defines a Markov Decision Process where the state is a stack of policies representing the control state, i.e., the chain of policy calls. Unlike traditional methods that are restricted to static hierarchies, SteP enables dynamic control that adapts to the complexity of the task. We evaluate SteP against multiple baselines and web environments including WebArena, MiniWoB++, and a CRM. On WebArena, SteP improves (14.9\% to 33.5\%) over SOTA that use GPT-4 policies, while on MiniWob++, SteP is competitive with prior works while using significantly less data. Our code and data are available at https://asappresearch.github.io/webagents-step.