AgentHijack: Een benchmark voor de robuustheid van computergebruikagenten tegen veelvoorkomende omgevingsverstoringen

Samenvatting

Autonome computergebruikagenten die worden aangedreven door multimodale grote taalmodellen (MLLM's) komen op als capabele assistenten voor het uitvoeren van complexe digitale workflows. In de praktijk zijn uitvoeringsomgevingen echter verre van ideaal: pop-ups, resolutiewijzigingen en concurrerende applicaties verstoren vaak de perceptie en controle van de agent. Wij introduceren AgentHijack, een benchmark die is ontworpen om de robuustheid van computergebruikagenten te evalueren onder veelvoorkomende verstoringen, waarbij de onzekerheden in een dynamische omgeving de uitvoeringsstroom verstoren zonder directe vijandige bedoelingen. Concreet introduceert AgentHijack 9 configureerbare veelvoorkomende verstoringen om realistische imperfecte scenario's na te bootsen. We evalueren een verscheidenheid aan desktop-taken die gebruikmaken van MLLM-gebaseerde agenten en ontdekken dat zelfs kleine verstoringen kunnen leiden tot aanzienlijke prestatievermindering, wat de kwetsbaarheid van agenten benadrukt en de noodzaak van robuustheidsevaluatie onderstreept. Vervolgens stellen we AgentHijack-Agent voor, een raamwerk dat een actiegenerator met verbeterde grondingsmogelijkheden integreert en een toeschouwer die verantwoordelijk is voor gedragssamenvatting en omgevingscontrole. Uitgebreide experimenten bevestigen de effectiviteit ervan. Onze code, omgeving, basismodellen en gegevens zijn openbaar beschikbaar op: https://AgentHijack.github.io.

English

Autonomous computer use agents that powered by multimodal large language models (MLLMs) are emerging as capable assistants for completing complex digital workflows. However, real-world execution environments are far from ideal: pop-ups, resolution changes, and competing applications frequently interfere with agent perception and control. We introduce AgentHijack, a benchmark designed to evaluate the robustness of computer-use agents under common corruptions, where the uncertainties in dynamic environment disrupt the execution flow without direct adversarial intent. Specifically, AgentHijack introduces 9 configurable common corruptions to replicate realistic imperfect scenarios. We evaluate a variety of desktop tasks that utilize MLLM-based agents and discover that even minor instances of corruption can result in substantial performance degradation, which emphasizes the fragility of agents and underscores the necessity of robustness evaluation. Afterward, we propose AgentHijack-Agent, a framework that integrates an action generator with enhanced grounding capabilities and an onlooker responsible for behavior summarization and environment checking. Extensive experiments validate its effectiveness. Our code, environment, baseline models and data are publicly available at: https://AgentHijack.github.io.