Modelado de Interacciones Humanas Distintas en Agentes Web
Modeling Distinct Human Interaction in Web Agents
February 19, 2026
Autores: Faria Huq, Zora Zhiruo Wang, Zhanqiu Guo, Venu Arvind Arangarajan, Tianyue Ou, Frank Xu, Shuyan Zhou, Graham Neubig, Jeffrey P. Bigham
cs.AI
Resumen
A pesar del rápido progreso en los agentes web autónomos, la participación humana sigue siendo esencial para moldear preferencias y corregir el comportamiento del agente a medida que las tareas se desarrollan. Sin embargo, los sistemas agentivos actuales carecen de una comprensión fundamentada de cuándo y por qué los humanos intervienen, a menudo procediendo de forma autónoma más allá de puntos de decisión críticos o solicitando confirmaciones innecesarias. En este trabajo, presentamos la tarea de modelar la intervención humana para apoyar la ejecución colaborativa de tareas web. Recopilamos CowCorpus, un conjunto de datos de 400 trayectorias de navegación web de usuarios reales que contiene más de 4.200 acciones intercaladas de humanos y agentes. Identificamos cuatro patrones distintos de interacción del usuario con los agentes: supervisión pasiva, supervisión activa, resolución colaborativa de tareas y toma de control completa por parte del usuario. Aprovechando estas observaciones, entrenamos modelos de lenguaje (LM) para anticipar cuándo es probable que los usuarios intervengan según sus estilos de interacción, logrando una mejora del 61.4-63.4% en la precisión de la predicción de intervenciones sobre los LM base. Finalmente, implementamos estos modelos conscientes de la intervención en agentes de navegación web en vivo y los evaluamos en un estudio de usuarios, encontrando un aumento del 26.5% en la utilidad del agente valorada por los usuarios. En conjunto, nuestros resultados demuestran que el modelado estructurado de la intervención humana conduce a agentes más adaptativos y colaborativos.
English
Despite rapid progress in autonomous web agents, human involvement remains essential for shaping preferences and correcting agent behavior as tasks unfold. However, current agentic systems lack a principled understanding of when and why humans intervene, often proceeding autonomously past critical decision points or requesting unnecessary confirmation. In this work, we introduce the task of modeling human intervention to support collaborative web task execution. We collect CowCorpus, a dataset of 400 real-user web navigation trajectories containing over 4,200 interleaved human and agent actions. We identify four distinct patterns of user interaction with agents -- hands-off supervision, hands-on oversight, collaborative task-solving, and full user takeover. Leveraging these insights, we train language models (LMs) to anticipate when users are likely to intervene based on their interaction styles, yielding a 61.4-63.4% improvement in intervention prediction accuracy over base LMs. Finally, we deploy these intervention-aware models in live web navigation agents and evaluate them in a user study, finding a 26.5% increase in user-rated agent usefulness. Together, our results show structured modeling of human intervention leads to more adaptive, collaborative agents.