Modélisation des interactions humaines distinctes dans les agents web
Modeling Distinct Human Interaction in Web Agents
February 19, 2026
papers.authors: Faria Huq, Zora Zhiruo Wang, Zhanqiu Guo, Venu Arvind Arangarajan, Tianyue Ou, Frank Xu, Shuyan Zhou, Graham Neubig, Jeffrey P. Bigham
cs.AI
papers.abstract
Malgré les progrès rapides des agents web autonomes, l'intervention humaine reste essentielle pour définir les préférences et corriger le comportement des agents au fur et à mesure du déroulement des tâches. Cependant, les systèmes agentiels actuels manquent d'une compréhension raisonnée du moment et des raisons pour lesquelles les humains interviennent, poursuivant souvent de manière autonome au-delà de points de décision critiques ou demandant des confirmations inutiles. Dans ce travail, nous introduisons la tâche de modélisation de l'intervention humaine pour soutenir l'exécution collaborative de tâches web. Nous collectons CowCorpus, un jeu de données de 400 trajectoires de navigation web d'utilisateurs réels contenant plus de 4 200 actions entrelacées d'humains et d'agents. Nous identifions quatre modes distincts d'interaction des utilisateurs avec les agents : la supervision distante, le contrôle rapproché, la résolution collaborative de tâches et la reprise de contrôle totale par l'utilisateur. En nous appuyant sur ces observations, nous entraînons des modèles de langage (LM) à anticiper le moment où les utilisateurs sont susceptibles d'intervenir en fonction de leurs styles d'interaction, ce qui permet une amélioration de 61,4 à 63,4 % de la précision de prédiction des interventions par rapport aux modèles de base. Enfin, nous déployons ces modèles sensibles à l'intervention dans des agents de navigation web en temps réel et les évaluons lors d'une étude utilisateur, constatant une augmentation de 26,5 % de l'utilité perçue des agents par les utilisateurs. Ensemble, nos résultats montrent qu'une modélisation structurée de l'intervention humaine conduit à des agents plus adaptatifs et collaboratifs.
English
Despite rapid progress in autonomous web agents, human involvement remains essential for shaping preferences and correcting agent behavior as tasks unfold. However, current agentic systems lack a principled understanding of when and why humans intervene, often proceeding autonomously past critical decision points or requesting unnecessary confirmation. In this work, we introduce the task of modeling human intervention to support collaborative web task execution. We collect CowCorpus, a dataset of 400 real-user web navigation trajectories containing over 4,200 interleaved human and agent actions. We identify four distinct patterns of user interaction with agents -- hands-off supervision, hands-on oversight, collaborative task-solving, and full user takeover. Leveraging these insights, we train language models (LMs) to anticipate when users are likely to intervene based on their interaction styles, yielding a 61.4-63.4% improvement in intervention prediction accuracy over base LMs. Finally, we deploy these intervention-aware models in live web navigation agents and evaluate them in a user study, finding a 26.5% increase in user-rated agent usefulness. Together, our results show structured modeling of human intervention leads to more adaptive, collaborative agents.