SteP : Politiques de LLM empilées pour les actions web

SteP: Stacked LLM Policies for Web Actions

October 5, 2023

papers.authors: Paloma Sodhi, S. R. K. Branavan, Ryan McDonald

cs.AI

papers.abstract

L'exécution de tâches sur le web pose des défis fondamentaux aux grands modèles de langage (LLMs), notamment des tâches combinatoires dans un monde ouvert et des variations entre les interfaces web. Spécifier un grand prompt pour gérer tous les comportements et états possibles est extrêmement complexe et entraîne des fuites de comportement entre actions non liées. La décomposition en politiques distinctes peut résoudre ce problème, mais nécessite un transfert de contrôle minutieux entre les politiques. Nous proposons Stacked LLM Policies for Web Actions (SteP), une approche permettant de composer dynamiquement des politiques pour résoudre un ensemble diversifié de tâches web. SteP définit un processus de décision markovien où l'état est une pile de politiques représentant l'état de contrôle, c'est-à-dire la chaîne d'appels de politiques. Contrairement aux méthodes traditionnelles limitées à des hiérarchies statiques, SteP permet un contrôle dynamique qui s'adapte à la complexité de la tâche. Nous évaluons SteP par rapport à plusieurs références et environnements web, notamment WebArena, MiniWoB++ et un CRM. Sur WebArena, SteP améliore les résultats (de 14,9 % à 33,5 %) par rapport à l'état de l'art utilisant des politiques GPT-4, tandis que sur MiniWoB++, SteP est compétitif avec les travaux antérieurs tout en utilisant nettement moins de données. Notre code et nos données sont disponibles à l'adresse https://asappresearch.github.io/webagents-step.

English

Performing tasks on the web presents fundamental challenges to large language models (LLMs), including combinatorially large open-world tasks and variations across web interfaces. Simply specifying a large prompt to handle all possible behaviors and states is extremely complex, and results in behavior leaks between unrelated behaviors. Decomposition to distinct policies can address this challenge, but requires carefully handing off control between policies. We propose Stacked LLM Policies for Web Actions (SteP), an approach to dynamically compose policies to solve a diverse set of web tasks. SteP defines a Markov Decision Process where the state is a stack of policies representing the control state, i.e., the chain of policy calls. Unlike traditional methods that are restricted to static hierarchies, SteP enables dynamic control that adapts to the complexity of the task. We evaluate SteP against multiple baselines and web environments including WebArena, MiniWoB++, and a CRM. On WebArena, SteP improves (14.9\% to 33.5\%) over SOTA that use GPT-4 policies, while on MiniWob++, SteP is competitive with prior works while using significantly less data. Our code and data are available at https://asappresearch.github.io/webagents-step.