SteP: Políticas de LLM Apiladas para Acciones Web

SteP: Stacked LLM Policies for Web Actions

October 5, 2023

Autores: Paloma Sodhi, S. R. K. Branavan, Ryan McDonald

cs.AI

Resumen

Realizar tareas en la web presenta desafíos fundamentales para los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés), incluyendo tareas de mundo abierto combinatoriamente grandes y variaciones entre interfaces web. Simplemente especificar un prompt extenso para manejar todos los comportamientos y estados posibles es extremadamente complejo y resulta en fugas de comportamiento entre acciones no relacionadas. La descomposición en políticas distintas puede abordar este desafío, pero requiere transferir cuidadosamente el control entre políticas. Proponemos Políticas de LLM Apiladas para Acciones Web (SteP, por sus siglas en inglés), un enfoque para componer dinámicamente políticas que resuelvan un conjunto diverso de tareas web. SteP define un Proceso de Decisión de Markov donde el estado es una pila de políticas que representan el estado de control, es decir, la cadena de llamadas a políticas. A diferencia de los métodos tradicionales que se limitan a jerarquías estáticas, SteP permite un control dinámico que se adapta a la complejidad de la tarea. Evaluamos SteP frente a múltiples líneas base y entornos web, incluyendo WebArena, MiniWoB++ y un CRM. En WebArena, SteP mejora (del 14.9% al 33.5%) sobre el estado del arte que utiliza políticas de GPT-4, mientras que en MiniWoB++, SteP es competitivo con trabajos previos utilizando significativamente menos datos. Nuestro código y datos están disponibles en https://asappresearch.github.io/webagents-step.

English

Performing tasks on the web presents fundamental challenges to large language models (LLMs), including combinatorially large open-world tasks and variations across web interfaces. Simply specifying a large prompt to handle all possible behaviors and states is extremely complex, and results in behavior leaks between unrelated behaviors. Decomposition to distinct policies can address this challenge, but requires carefully handing off control between policies. We propose Stacked LLM Policies for Web Actions (SteP), an approach to dynamically compose policies to solve a diverse set of web tasks. SteP defines a Markov Decision Process where the state is a stack of policies representing the control state, i.e., the chain of policy calls. Unlike traditional methods that are restricted to static hierarchies, SteP enables dynamic control that adapts to the complexity of the task. We evaluate SteP against multiple baselines and web environments including WebArena, MiniWoB++, and a CRM. On WebArena, SteP improves (14.9\% to 33.5\%) over SOTA that use GPT-4 policies, while on MiniWob++, SteP is competitive with prior works while using significantly less data. Our code and data are available at https://asappresearch.github.io/webagents-step.