SteP: Politiche LLM Impilate per Azioni Web

SteP: Stacked LLM Policies for Web Actions

October 5, 2023

Autori: Paloma Sodhi, S. R. K. Branavan, Ryan McDonald

cs.AI

Abstract

L'esecuzione di attività sul web presenta sfide fondamentali per i modelli linguistici di grandi dimensioni (LLM), tra cui compiti di tipo combinatorio in un mondo aperto e variazioni tra le interfacce web. Specificare un prompt di grandi dimensioni per gestire tutti i comportamenti e gli stati possibili è estremamente complesso e porta a perdite di comportamento tra azioni non correlate. La scomposizione in politiche distinte può affrontare questa sfida, ma richiede un passaggio di controllo accurato tra le politiche. Proponiamo Stacked LLM Policies for Web Actions (SteP), un approccio per comporre dinamicamente politiche per risolvere un insieme diversificato di attività web. SteP definisce un Processo Decisionale di Markov in cui lo stato è una pila di politiche che rappresentano lo stato di controllo, ovvero la catena di chiamate alle politiche. A differenza dei metodi tradizionali limitati a gerarchie statiche, SteP consente un controllo dinamico che si adatta alla complessità del compito. Valutiamo SteP rispetto a diverse baseline e ambienti web, tra cui WebArena, MiniWoB++ e un CRM. Su WebArena, SteP migliora (dal 14,9% al 33,5%) rispetto allo stato dell'arte che utilizza politiche GPT-4, mentre su MiniWoB++ è competitivo con i lavori precedenti pur utilizzando significativamente meno dati. Il nostro codice e i dati sono disponibili all'indirizzo https://asappresearch.github.io/webagents-step.

English

Performing tasks on the web presents fundamental challenges to large language models (LLMs), including combinatorially large open-world tasks and variations across web interfaces. Simply specifying a large prompt to handle all possible behaviors and states is extremely complex, and results in behavior leaks between unrelated behaviors. Decomposition to distinct policies can address this challenge, but requires carefully handing off control between policies. We propose Stacked LLM Policies for Web Actions (SteP), an approach to dynamically compose policies to solve a diverse set of web tasks. SteP defines a Markov Decision Process where the state is a stack of policies representing the control state, i.e., the chain of policy calls. Unlike traditional methods that are restricted to static hierarchies, SteP enables dynamic control that adapts to the complexity of the task. We evaluate SteP against multiple baselines and web environments including WebArena, MiniWoB++, and a CRM. On WebArena, SteP improves (14.9\% to 33.5\%) over SOTA that use GPT-4 policies, while on MiniWob++, SteP is competitive with prior works while using significantly less data. Our code and data are available at https://asappresearch.github.io/webagents-step.