AgentHijack: бенчмаркинг устойчивости компьютерных агентов к распространенным искажениям среды

Аннотация

Автономные агенты компьютерного использования, работающие на основе мультимодальных больших языковых моделей (MLLM), становятся способными помощниками для выполнения сложных цифровых рабочих процессов. Однако реальные среды выполнения далеки от идеала: всплывающие окна, изменения разрешения и конкурирующие приложения часто нарушают восприятие и управление агента. Мы представляем AgentHijack — эталонный тест, предназначенный для оценки устойчивости агентов компьютерного использования при распространенных нарушениях, где неопределенности в динамической среде нарушают поток выполнения без прямого враждебного намерения. В частности, AgentHijack вводит 9 настраиваемых распространенных нарушений для воспроизведения реалистичных несовершенных сценариев. Мы оцениваем множество задач на рабочем столе, использующих агентов на основе MLLM, и обнаруживаем, что даже незначительные случаи нарушений могут привести к существенному снижению производительности, что подчеркивает хрупкость агентов и необходимость оценки устойчивости. После этого мы предлагаем AgentHijack-Agent — структуру, которая объединяет генератор действий с расширенными возможностями привязки и наблюдателя, ответственного за обобщение поведения и проверку среды. Обширные эксперименты подтверждают его эффективность. Наш код, среда, базовые модели и данные общедоступны по адресу: https://AgentHijack.github.io.

English

Autonomous computer use agents that powered by multimodal large language models (MLLMs) are emerging as capable assistants for completing complex digital workflows. However, real-world execution environments are far from ideal: pop-ups, resolution changes, and competing applications frequently interfere with agent perception and control. We introduce AgentHijack, a benchmark designed to evaluate the robustness of computer-use agents under common corruptions, where the uncertainties in dynamic environment disrupt the execution flow without direct adversarial intent. Specifically, AgentHijack introduces 9 configurable common corruptions to replicate realistic imperfect scenarios. We evaluate a variety of desktop tasks that utilize MLLM-based agents and discover that even minor instances of corruption can result in substantial performance degradation, which emphasizes the fragility of agents and underscores the necessity of robustness evaluation. Afterward, we propose AgentHijack-Agent, a framework that integrates an action generator with enhanced grounding capabilities and an onlooker responsible for behavior summarization and environment checking. Extensive experiments validate its effectiveness. Our code, environment, baseline models and data are publicly available at: https://AgentHijack.github.io.