SteP: Webアクションのための積層型LLMポリシー

要旨

ウェブ上でタスクを実行することは、大規模言語モデル（LLM）にとって根本的な課題を提示します。これには、組み合わせ的に膨大なオープンワールドタスクや、ウェブインターフェース間の多様性が含まれます。すべての可能な動作と状態を処理するために単に大きなプロンプトを指定することは非常に複雑であり、無関係な動作間での動作漏れを引き起こします。異なるポリシーへの分解はこの課題に対処できますが、ポリシー間の制御を慎重に引き継ぐ必要があります。私たちは、ウェブアクションのためのスタック型LLMポリシー（SteP）を提案します。これは、多様なウェブタスクを解決するためにポリシーを動的に構成するアプローチです。StePは、制御状態（つまり、ポリシー呼び出しの連鎖）を表すポリシーのスタックを状態とするマルコフ決定過程を定義します。従来の方法が静的な階層に制限されるのに対し、StePはタスクの複雑さに適応する動的制御を可能にします。私たちは、StePを複数のベースラインおよびウェブ環境（WebArena、MiniWoB++、CRMを含む）に対して評価しました。WebArenaでは、StePはGPT-4ポリシーを使用するSOTAに対して14.9％から33.5％の改善を示し、MiniWoB++では、大幅に少ないデータを使用しながらも、従来の研究と競争力のある結果を示しました。私たちのコードとデータはhttps://asappresearch.github.io/webagents-stepで公開されています。

English

Performing tasks on the web presents fundamental challenges to large language models (LLMs), including combinatorially large open-world tasks and variations across web interfaces. Simply specifying a large prompt to handle all possible behaviors and states is extremely complex, and results in behavior leaks between unrelated behaviors. Decomposition to distinct policies can address this challenge, but requires carefully handing off control between policies. We propose Stacked LLM Policies for Web Actions (SteP), an approach to dynamically compose policies to solve a diverse set of web tasks. SteP defines a Markov Decision Process where the state is a stack of policies representing the control state, i.e., the chain of policy calls. Unlike traditional methods that are restricted to static hierarchies, SteP enables dynamic control that adapts to the complexity of the task. We evaluate SteP against multiple baselines and web environments including WebArena, MiniWoB++, and a CRM. On WebArena, SteP improves (14.9\% to 33.5\%) over SOTA that use GPT-4 policies, while on MiniWob++, SteP is competitive with prior works while using significantly less data. Our code and data are available at https://asappresearch.github.io/webagents-step.

SteP: Webアクションのための積層型LLMポリシー

SteP: Stacked LLM Policies for Web Actions

要旨

Support