AgentHijack: Benchmarking der Robustheit von Computer-Use-Agents gegenüber gängigen Umgebungsstörungen

Zusammenfassung

Autonome Computer-Nutzungsagenten, die auf multimodalen großen Sprachmodellen (MLLMs) basieren, entwickeln sich zu leistungsfähigen Assistenten für die Bewältigung komplexer digitaler Arbeitsabläufe. Allerdings sind reale Ausführungsumgebungen alles andere als ideal: Pop-ups, Auflösungsänderungen und konkurrierende Anwendungen beeinträchtigen häufig die Wahrnehmung und Kontrolle der Agenten. Wir stellen AgentHijack vor, einen Benchmark zur Bewertung der Robustheit von Computer-Nutzungsagenten unter üblichen Störungen, bei denen die Unsicherheiten einer dynamischen Umgebung den Ausführungsablauf ohne direkte gegnerische Absicht unterbrechen. Insbesondere führt AgentHijack 9 konfigurierbare übliche Korruptionen ein, um realistische unvollkommene Szenarien zu replizieren. Wir evaluieren eine Vielzahl von Desktop-Aufgaben, die MLLM-basierte Agenten nutzen, und stellen fest, dass selbst geringfügige Korruptionen zu erheblichen Leistungseinbußen führen können. Dies unterstreicht die Fragilität der Agenten und die Notwendigkeit einer Robustheitsbewertung. Anschließend schlagen wir AgentHijack-Agent vor, ein Framework, das einen Aktionsgenerator mit verbesserten Verankerungsfähigkeiten und einen Beobachter integriert, der für die Verhaltenszusammenfassung und Umgebungsprüfung zuständig ist. Umfangreiche Experimente bestätigen seine Wirksamkeit. Unser Code, die Umgebung, die Basismodelle und die Daten sind öffentlich verfügbar unter: https://AgentHijack.github.io.

English

Autonomous computer use agents that powered by multimodal large language models (MLLMs) are emerging as capable assistants for completing complex digital workflows. However, real-world execution environments are far from ideal: pop-ups, resolution changes, and competing applications frequently interfere with agent perception and control. We introduce AgentHijack, a benchmark designed to evaluate the robustness of computer-use agents under common corruptions, where the uncertainties in dynamic environment disrupt the execution flow without direct adversarial intent. Specifically, AgentHijack introduces 9 configurable common corruptions to replicate realistic imperfect scenarios. We evaluate a variety of desktop tasks that utilize MLLM-based agents and discover that even minor instances of corruption can result in substantial performance degradation, which emphasizes the fragility of agents and underscores the necessity of robustness evaluation. Afterward, we propose AgentHijack-Agent, a framework that integrates an action generator with enhanced grounding capabilities and an onlooker responsible for behavior summarization and environment checking. Extensive experiments validate its effectiveness. Our code, environment, baseline models and data are publicly available at: https://AgentHijack.github.io.