CowPilot: Een Raamwerk voor Autonome en Samenwerkende Webnavigatie tussen Mens en Agent

CowPilot: A Framework for Autonomous and Human-Agent Collaborative Web Navigation

January 28, 2025

Auteurs: Faria Huq, Zora Zhiruo Wang, Frank F. Xu, Tianyue Ou, Shuyan Zhou, Jeffrey P. Bigham, Graham Neubig

cs.AI

Samenvatting

Hoewel veel onderzoek naar webagenten de belofte benadrukt van autonoom taken uitvoeren namens gebruikers, vallen agenten in werkelijkheid vaak tekort bij complexe taken in real-world contexten en het modelleren van gebruikersvoorkeuren. Dit biedt een kans voor mensen om samen te werken met de agent en effectief gebruik te maken van de mogelijkheden van de agent. Wij stellen CowPilot voor, een raamwerk dat autonome en mens-agent samenwerkende webnavigatie ondersteunt, en evaluatie over taaksucces en taakefficiëntie. CowPilot vermindert het aantal stappen dat mensen moeten uitvoeren door agenten voorstellen te laten doen voor de volgende stappen, terwijl gebruikers in staat zijn om te pauzeren, af te wijzen of alternatieve acties te ondernemen. Tijdens de uitvoering kunnen gebruikers hun acties afwisselen met die van de agent door suggesties te negeren of de controle van de agent te hervatten wanneer dat nodig is. We hebben casestudies uitgevoerd op vijf veelvoorkomende websites en ontdekten dat de mens-agent samenwerkingsmodus een succespercentage van 95% behaalt, waarbij mensen slechts 15,2% van de totale stappen hoeven uit te voeren. Zelfs met menselijke tussenkomst tijdens de taakuitvoering, kan de agent tot de helft van het taaksucces zelfstandig behalen. CowPilot kan dienen als een nuttige tool voor gegevensverzameling en agentevaluatie over websites, wat naar onze mening onderzoek zal mogelijk maken naar hoe gebruikers en agenten samen kunnen werken. Video-demonstraties zijn beschikbaar op https://oaishi.github.io/cowpilot.html

English

While much work on web agents emphasizes the promise of autonomously performing tasks on behalf of users, in reality, agents often fall short on complex tasks in real-world contexts and modeling user preference. This presents an opportunity for humans to collaborate with the agent and leverage the agent's capabilities effectively. We propose CowPilot, a framework supporting autonomous as well as human-agent collaborative web navigation, and evaluation across task success and task efficiency. CowPilot reduces the number of steps humans need to perform by allowing agents to propose next steps, while users are able to pause, reject, or take alternative actions. During execution, users can interleave their actions with the agent by overriding suggestions or resuming agent control when needed. We conducted case studies on five common websites and found that the human-agent collaborative mode achieves the highest success rate of 95% while requiring humans to perform only 15.2% of the total steps. Even with human interventions during task execution, the agent successfully drives up to half of task success on its own. CowPilot can serve as a useful tool for data collection and agent evaluation across websites, which we believe will enable research in how users and agents can work together. Video demonstrations are available at https://oaishi.github.io/cowpilot.html