웹 에이전트에서의 독특한 인간 상호작용 모델링

Modeling Distinct Human Interaction in Web Agents

February 19, 2026

저자: Faria Huq, Zora Zhiruo Wang, Zhanqiu Guo, Venu Arvind Arangarajan, Tianyue Ou, Frank Xu, Shuyan Zhou, Graham Neubig, Jeffrey P. Bigham

cs.AI

초록

자율 웹 에이전트의 급속한 발전에도 불구하고, 작업이 진행됨에 따라 선호도를 형성하고 에이전트 행동을 수정하기 위해서는 여전히 인간의 개입이 필수적입니다. 그러나 현재의 에이전트 시스템은 인간이 언제, 왜 개입하는지에 대한 체계적인 이해가 부족하여 중요한 의사 결정 시점을 자율적으로 통과하거나 불필요한 확인을 요청하는 경우가 많습니다. 본 연구에서는 협업적 웹 작업 실행을 지원하기 위해 인간 개입을 모델링하는 과제를 소개합니다. 우리는 4,200개 이상의 인간과 에이전트의 교차 행동을 포함하는 400개의 실제 사용자 웹 탐색 궤적 데이터셋인 CowCorpus를 구축했습니다. 우리는 사용자와 에이전트 간의 상호작용에서 네 가지 뚜렷한 패턴(미동조 감독, 직접적 감시, 협업적 문제 해결, 완전한 사용자 인수)을 확인했습니다. 이러한 통찰력을 바탕으로 언어 모델(LM)을 활용하여 사용자의 상호작용 스타일을 기반으로 개입 가능성을 예측하도록 훈련시켰으며, 기본 LM 대비 개입 예측 정확도가 61.4-63.4% 향상되었습니다. 마지막으로, 이러한 개입 인식 모델을 실시간 웹 탐색 에이전트에 배포하고 사용자 연구를 통해 평가한 결과, 사용자 평가 에이전트 유용성이 26.5% 증가한 것으로 나타났습니다. 종합적으로, 우리의 결과는 인간 개입을 구조적으로 모델링함으로써 더욱 적응적이고 협업적인 에이전트를 구현할 수 있음을 보여줍니다.

English

Despite rapid progress in autonomous web agents, human involvement remains essential for shaping preferences and correcting agent behavior as tasks unfold. However, current agentic systems lack a principled understanding of when and why humans intervene, often proceeding autonomously past critical decision points or requesting unnecessary confirmation. In this work, we introduce the task of modeling human intervention to support collaborative web task execution. We collect CowCorpus, a dataset of 400 real-user web navigation trajectories containing over 4,200 interleaved human and agent actions. We identify four distinct patterns of user interaction with agents -- hands-off supervision, hands-on oversight, collaborative task-solving, and full user takeover. Leveraging these insights, we train language models (LMs) to anticipate when users are likely to intervene based on their interaction styles, yielding a 61.4-63.4% improvement in intervention prediction accuracy over base LMs. Finally, we deploy these intervention-aware models in live web navigation agents and evaluate them in a user study, finding a 26.5% increase in user-rated agent usefulness. Together, our results show structured modeling of human intervention leads to more adaptive, collaborative agents.