SteP: Многоуровневые политики LLM для веб-действий

SteP: Stacked LLM Policies for Web Actions

October 5, 2023

Авторы: Paloma Sodhi, S. R. K. Branavan, Ryan McDonald

cs.AI

Аннотация

Выполнение задач в интернете представляет фундаментальные вызовы для больших языковых моделей (LLM), включая комбинаторно сложные задачи в открытом мире и вариации веб-интерфейсов. Простое задание большого промпта для обработки всех возможных поведений и состояний является крайне сложным и приводит к утечкам поведения между несвязанными действиями. Разделение на отдельные политики может решить эту проблему, но требует тщательной передачи управления между ними. Мы предлагаем подход Stacked LLM Policies for Web Actions (SteP), который динамически комбинирует политики для решения разнообразных веб-задач. SteP определяет Марковский процесс принятия решений, где состояние представляет собой стек политик, отражающих состояние управления, то есть цепочку вызовов политик. В отличие от традиционных методов, ограниченных статическими иерархиями, SteP обеспечивает динамическое управление, адаптирующееся к сложности задачи. Мы оцениваем SteP на нескольких базовых уровнях и веб-средах, включая WebArena, MiniWoB++ и CRM. На WebArena SteP показывает улучшение (от 14,9\% до 33,5\%) по сравнению с современными методами, использующими политики GPT-4, а на MiniWob++ демонстрирует конкурентоспособность с предыдущими работами при значительно меньшем объеме данных. Наш код и данные доступны по адресу https://asappresearch.github.io/webagents-step.

English

Performing tasks on the web presents fundamental challenges to large language models (LLMs), including combinatorially large open-world tasks and variations across web interfaces. Simply specifying a large prompt to handle all possible behaviors and states is extremely complex, and results in behavior leaks between unrelated behaviors. Decomposition to distinct policies can address this challenge, but requires carefully handing off control between policies. We propose Stacked LLM Policies for Web Actions (SteP), an approach to dynamically compose policies to solve a diverse set of web tasks. SteP defines a Markov Decision Process where the state is a stack of policies representing the control state, i.e., the chain of policy calls. Unlike traditional methods that are restricted to static hierarchies, SteP enables dynamic control that adapts to the complexity of the task. We evaluate SteP against multiple baselines and web environments including WebArena, MiniWoB++, and a CRM. On WebArena, SteP improves (14.9\% to 33.5\%) over SOTA that use GPT-4 policies, while on MiniWob++, SteP is competitive with prior works while using significantly less data. Our code and data are available at https://asappresearch.github.io/webagents-step.