AgentHijack : Évaluation comparative de la robustesse des agents d'utilisation d'ordinateur face aux corruptions environnementales courantes

Résumé

Les agents autonomes d'utilisation d'ordinateur, pilotés par des modèles de langage multimodaux de grande taille (MLLMs), émergent comme des assistants compétents pour accomplir des flux de travail numériques complexes. Cependant, les environnements d'exécution réels sont loin d'être idéaux : les fenêtres contextuelles, les changements de résolution et les applications concurrentes interfèrent fréquemment avec la perception et le contrôle des agents. Nous introduisons AgentHijack, un référentiel conçu pour évaluer la robustesse des agents d'utilisation d'ordinateur face à des corruptions courantes, où les incertitudes dans un environnement dynamique perturbent le flux d'exécution sans intention malveillante directe. Plus précisément, AgentHijack propose 9 corruptions courantes configurables pour reproduire des scénarios imparfaits réalistes. Nous évaluons diverses tâches de bureau utilisant des agents basés sur MLLM et découvrons que même des cas mineurs de corruption peuvent entraîner une dégradation substantielle des performances, ce qui souligne la fragilité des agents et souligne la nécessité d'une évaluation de la robustesse. Ensuite, nous proposons AgentHijack-Agent, un cadre qui intègre un générateur d'actions avec des capacités d'ancrage améliorées et un observateur chargé du résumé du comportement et de la vérification de l'environnement. Des expériences approfondies valident son efficacité. Notre code, notre environnement, nos modèles de référence et nos données sont disponibles publiquement à l'adresse : https://AgentHijack.github.io.

English

Autonomous computer use agents that powered by multimodal large language models (MLLMs) are emerging as capable assistants for completing complex digital workflows. However, real-world execution environments are far from ideal: pop-ups, resolution changes, and competing applications frequently interfere with agent perception and control. We introduce AgentHijack, a benchmark designed to evaluate the robustness of computer-use agents under common corruptions, where the uncertainties in dynamic environment disrupt the execution flow without direct adversarial intent. Specifically, AgentHijack introduces 9 configurable common corruptions to replicate realistic imperfect scenarios. We evaluate a variety of desktop tasks that utilize MLLM-based agents and discover that even minor instances of corruption can result in substantial performance degradation, which emphasizes the fragility of agents and underscores the necessity of robustness evaluation. Afterward, we propose AgentHijack-Agent, a framework that integrates an action generator with enhanced grounding capabilities and an onlooker responsible for behavior summarization and environment checking. Extensive experiments validate its effectiveness. Our code, environment, baseline models and data are publicly available at: https://AgentHijack.github.io.