CowPilot: Un marco para la navegación web autónoma y colaborativa entre humanos y agentes.

CowPilot: A Framework for Autonomous and Human-Agent Collaborative Web Navigation

January 28, 2025

Autores: Faria Huq, Zora Zhiruo Wang, Frank F. Xu, Tianyue Ou, Shuyan Zhou, Jeffrey P. Bigham, Graham Neubig

cs.AI

Resumen

Si bien gran parte del trabajo sobre agentes web enfatiza la promesa de realizar tareas de forma autónoma en nombre de los usuarios, en realidad, los agentes a menudo no logran realizar tareas complejas en contextos del mundo real y modelar las preferencias de los usuarios. Esto presenta una oportunidad para que los humanos colaboren con el agente y aprovechen de manera efectiva las capacidades del agente. Proponemos CowPilot, un marco que respalda la navegación web autónoma, así como la colaboración entre humanos y agentes, y la evaluación en términos de éxito y eficiencia de las tareas. CowPilot reduce la cantidad de pasos que los humanos necesitan realizar al permitir que los agentes propongan los siguientes pasos, mientras que los usuarios pueden pausar, rechazar o tomar acciones alternativas. Durante la ejecución, los usuarios pueden intercalar sus acciones con las del agente al anular sugerencias o retomar el control del agente cuando sea necesario. Realizamos estudios de caso en cinco sitios web comunes y encontramos que el modo colaborativo entre humanos y agentes logra la tasa de éxito más alta, del 95%, mientras requiere que los humanos realicen solo el 15.2% de los pasos totales. Incluso con intervenciones humanas durante la ejecución de la tarea, el agente logra impulsar con éxito hasta la mitad del éxito de la tarea por sí solo. CowPilot puede servir como una herramienta útil para la recopilación de datos y la evaluación de agentes en sitios web, lo que creemos que permitirá investigar cómo los usuarios y los agentes pueden colaborar. Las demostraciones en video están disponibles en https://oaishi.github.io/cowpilot.html

English

While much work on web agents emphasizes the promise of autonomously performing tasks on behalf of users, in reality, agents often fall short on complex tasks in real-world contexts and modeling user preference. This presents an opportunity for humans to collaborate with the agent and leverage the agent's capabilities effectively. We propose CowPilot, a framework supporting autonomous as well as human-agent collaborative web navigation, and evaluation across task success and task efficiency. CowPilot reduces the number of steps humans need to perform by allowing agents to propose next steps, while users are able to pause, reject, or take alternative actions. During execution, users can interleave their actions with the agent by overriding suggestions or resuming agent control when needed. We conducted case studies on five common websites and found that the human-agent collaborative mode achieves the highest success rate of 95% while requiring humans to perform only 15.2% of the total steps. Even with human interventions during task execution, the agent successfully drives up to half of task success on its own. CowPilot can serve as a useful tool for data collection and agent evaluation across websites, which we believe will enable research in how users and agents can work together. Video demonstrations are available at https://oaishi.github.io/cowpilot.html