SteP: Gestapelte LLM-Politiken für Web-Aktionen

SteP: Stacked LLM Policies for Web Actions

October 5, 2023

papers.authors: Paloma Sodhi, S. R. K. Branavan, Ryan McDonald

cs.AI

papers.abstract

Die Ausführung von Aufgaben im Web stellt grundlegende Herausforderungen für große Sprachmodelle (LLMs) dar, darunter kombinatorisch große Aufgaben in einer offenen Welt und Variationen zwischen Web-Oberflächen. Die einfache Spezifikation eines großen Prompts, um alle möglichen Verhaltensweisen und Zustände zu handhaben, ist äußerst komplex und führt zu Verhaltenslecks zwischen unabhängigen Verhaltensweisen. Eine Zerlegung in verschiedene Richtlinien kann diese Herausforderung bewältigen, erfordert jedoch eine sorgfältige Übergabe der Kontrolle zwischen den Richtlinien. Wir schlagen Stacked LLM Policies for Web Actions (SteP) vor, einen Ansatz zur dynamischen Zusammensetzung von Richtlinien, um eine Vielzahl von Web-Aufgaben zu lösen. SteP definiert einen Markov-Entscheidungsprozess, bei dem der Zustand ein Stapel von Richtlinien ist, der den Kontrollzustand, d.h. die Kette von Richtlinienaufrufen, repräsentiert. Im Gegensatz zu traditionellen Methoden, die auf statische Hierarchien beschränkt sind, ermöglicht SteP eine dynamische Kontrolle, die sich an die Komplexität der Aufgabe anpasst. Wir bewerten SteP gegen mehrere Baselines und Web-Umgebungen, darunter WebArena, MiniWoB++ und ein CRM. Auf WebArena verbessert SteP (14,9\% bis 33,5\%) gegenüber dem State-of-the-Art, der GPT-4-Richtlinien verwendet, während SteP auf MiniWob++ mit früheren Arbeiten konkurrenzfähig ist, dabei jedoch deutlich weniger Daten verwendet. Unser Code und unsere Daten sind verfügbar unter https://asappresearch.github.io/webagents-step.

English

Performing tasks on the web presents fundamental challenges to large language models (LLMs), including combinatorially large open-world tasks and variations across web interfaces. Simply specifying a large prompt to handle all possible behaviors and states is extremely complex, and results in behavior leaks between unrelated behaviors. Decomposition to distinct policies can address this challenge, but requires carefully handing off control between policies. We propose Stacked LLM Policies for Web Actions (SteP), an approach to dynamically compose policies to solve a diverse set of web tasks. SteP defines a Markov Decision Process where the state is a stack of policies representing the control state, i.e., the chain of policy calls. Unlike traditional methods that are restricted to static hierarchies, SteP enables dynamic control that adapts to the complexity of the task. We evaluate SteP against multiple baselines and web environments including WebArena, MiniWoB++, and a CRM. On WebArena, SteP improves (14.9\% to 33.5\%) over SOTA that use GPT-4 policies, while on MiniWob++, SteP is competitive with prior works while using significantly less data. Our code and data are available at https://asappresearch.github.io/webagents-step.