Modellierung unterschiedlicher menschlicher Interaktionen in Web-Agenten
Modeling Distinct Human Interaction in Web Agents
February 19, 2026
papers.authors: Faria Huq, Zora Zhiruo Wang, Zhanqiu Guo, Venu Arvind Arangarajan, Tianyue Ou, Frank Xu, Shuyan Zhou, Graham Neubig, Jeffrey P. Bigham
cs.AI
papers.abstract
Trotz rasanter Fortschritte bei autonomen Web-Agenten bleibt menschliches Eingreifen unerlässlich, um Präferenzen zu steuern und das Agentenverhalten im Laufe von Aufgaben zu korrigieren. Allerdings fehlt heutigen agentenbasierten Systemen ein grundlegendes Verständnis dafür, wann und warum Menschen eingreifen; sie agieren oft autonom an kritischen Entscheidungspunkten vorbei oder fordern unnötige Bestätigungen ein. In dieser Arbeit stellen wir die Aufgabe vor, menschliche Interventionen zu modellieren, um die kollaborative Ausführung von Web-Aufgaben zu unterstützen. Wir erheben CowCorpus, einen Datensatz mit 400 Web-Navigationsverläufen realer Nutzer, die über 4.200 verzahnte menschliche und Agenten-Aktionen enthalten. Wir identifizieren vier distinkte Muster der Nutzerinteraktion mit Agenten: unbeaufsichtigte Überwachung, aktive Kontrolle, kollaborative Aufgabenerfüllung und vollständige Übernahme durch den Nutzer. Gestützt auf diese Erkenntnisse trainieren wir Sprachmodelle (LMs) darauf vorherzusagen, wann Nutzer basierend auf ihren Interaktionsstilen voraussichtlich eingreifen, was zu einer Steigerung der Vorhersagegenauigkeit für Interventionen um 61,4–63,4 % gegenüber Basis-LMs führt. Abschließend setzen wir diese interventionsbewussten Modelle in live agierenden Web-Navigationsagenten ein und evaluieren sie in einer Nutzerstudie, wobei wir eine Steigerung der nutzerbewerteten Agentennützlichkeit um 26,5 % feststellen. Insgesamt zeigen unsere Ergebnisse, dass eine strukturierte Modellierung menschlicher Interventionen zu adaptiveren, kollaborativeren Agenten führt.
English
Despite rapid progress in autonomous web agents, human involvement remains essential for shaping preferences and correcting agent behavior as tasks unfold. However, current agentic systems lack a principled understanding of when and why humans intervene, often proceeding autonomously past critical decision points or requesting unnecessary confirmation. In this work, we introduce the task of modeling human intervention to support collaborative web task execution. We collect CowCorpus, a dataset of 400 real-user web navigation trajectories containing over 4,200 interleaved human and agent actions. We identify four distinct patterns of user interaction with agents -- hands-off supervision, hands-on oversight, collaborative task-solving, and full user takeover. Leveraging these insights, we train language models (LMs) to anticipate when users are likely to intervene based on their interaction styles, yielding a 61.4-63.4% improvement in intervention prediction accuracy over base LMs. Finally, we deploy these intervention-aware models in live web navigation agents and evaluate them in a user study, finding a 26.5% increase in user-rated agent usefulness. Together, our results show structured modeling of human intervention leads to more adaptive, collaborative agents.