AgentHijack: Evaluación comparativa de la robustez de los agentes de uso de computadora frente a corrupciones comunes del entorno

Resumen

Los agentes autónomos de uso de computadora impulsados por modelos de lenguaje grandes multimodales (MLLMs) están surgiendo como asistentes capaces de completar flujos de trabajo digitales complejos. Sin embargo, los entornos de ejecución del mundo real distan mucho de ser ideales: las ventanas emergentes, los cambios de resolución y las aplicaciones en competencia interfieren frecuentemente con la percepción y el control del agente. Presentamos AgentHijack, un punto de referencia diseñado para evaluar la robustez de los agentes de uso de computadora bajo corrupciones comunes, donde las incertidumbres en un entorno dinámico interrumpen el flujo de ejecución sin intención adversaria directa. Específicamente, AgentHijack introduce 9 corrupciones comunes configurables para replicar escenarios imperfectos realistas. Evaluamos una variedad de tareas de escritorio que utilizan agentes basados en MLLM y descubrimos que incluso instancias menores de corrupción pueden provocar una degradación sustancial del rendimiento, lo que enfatiza la fragilidad de los agentes y subraya la necesidad de una evaluación de robustez. Posteriormente, proponemos AgentHijack-Agent, un marco que integra un generador de acciones con capacidades de anclaje mejoradas y un observador encargado del resumen del comportamiento y la verificación del entorno. Amplios experimentos validan su efectividad. Nuestro código, entorno, modelos de referencia y datos están disponibles públicamente en: https://AgentHijack.github.io.

English

Autonomous computer use agents that powered by multimodal large language models (MLLMs) are emerging as capable assistants for completing complex digital workflows. However, real-world execution environments are far from ideal: pop-ups, resolution changes, and competing applications frequently interfere with agent perception and control. We introduce AgentHijack, a benchmark designed to evaluate the robustness of computer-use agents under common corruptions, where the uncertainties in dynamic environment disrupt the execution flow without direct adversarial intent. Specifically, AgentHijack introduces 9 configurable common corruptions to replicate realistic imperfect scenarios. We evaluate a variety of desktop tasks that utilize MLLM-based agents and discover that even minor instances of corruption can result in substantial performance degradation, which emphasizes the fragility of agents and underscores the necessity of robustness evaluation. Afterward, we propose AgentHijack-Agent, a framework that integrates an action generator with enhanced grounding capabilities and an onlooker responsible for behavior summarization and environment checking. Extensive experiments validate its effectiveness. Our code, environment, baseline models and data are publicly available at: https://AgentHijack.github.io.