CowPilot: Фреймворк для автономной и совместной навигации по веб-ресурсам человека и агента.

CowPilot: A Framework for Autonomous and Human-Agent Collaborative Web Navigation

January 28, 2025

Авторы: Faria Huq, Zora Zhiruo Wang, Frank F. Xu, Tianyue Ou, Shuyan Zhou, Jeffrey P. Bigham, Graham Neubig

cs.AI

Аннотация

В то время как много работ по веб-агентам подчеркивает перспективу автономного выполнения задач от имени пользователей, на практике агенты часто не справляются с сложными задачами в реальных сценариях и моделировании предпочтений пользователей. Это открывает возможность для сотрудничества людей с агентом и эффективного использования его возможностей. Мы предлагаем CowPilot, фреймворк, поддерживающий автономную и совместную веб-навигацию человека с агентом, а также оценку по успешности и эффективности выполнения задач. CowPilot сокращает количество шагов, которые должны выполнить люди, позволяя агентам предлагать следующие шаги, в то время как пользователи могут приостановить, отклонить или выбрать альтернативные действия. Во время выполнения пользователи могут вмешиваться в действия агента, переопределяя предложения или возобновляя контроль агента по необходимости. Мы провели кейс-исследования на пяти популярных веб-сайтах и обнаружили, что совместный режим работы человека с агентом достигает высокой успешности в 95%, требуя от людей выполнения всего лишь 15,2% общего числа шагов. Даже с вмешательством человека во время выполнения задачи, агент успешно завершает до половины задач самостоятельно. CowPilot может служить полезным инструментом для сбора данных и оценки агента на различных веб-сайтах, что, как мы считаем, способствует исследованиям по взаимодействию пользователей и агентов. Видеодемонстрации доступны по ссылке https://oaishi.github.io/cowpilot.html

English

While much work on web agents emphasizes the promise of autonomously performing tasks on behalf of users, in reality, agents often fall short on complex tasks in real-world contexts and modeling user preference. This presents an opportunity for humans to collaborate with the agent and leverage the agent's capabilities effectively. We propose CowPilot, a framework supporting autonomous as well as human-agent collaborative web navigation, and evaluation across task success and task efficiency. CowPilot reduces the number of steps humans need to perform by allowing agents to propose next steps, while users are able to pause, reject, or take alternative actions. During execution, users can interleave their actions with the agent by overriding suggestions or resuming agent control when needed. We conducted case studies on five common websites and found that the human-agent collaborative mode achieves the highest success rate of 95% while requiring humans to perform only 15.2% of the total steps. Even with human interventions during task execution, the agent successfully drives up to half of task success on its own. CowPilot can serve as a useful tool for data collection and agent evaluation across websites, which we believe will enable research in how users and agents can work together. Video demonstrations are available at https://oaishi.github.io/cowpilot.html