SlowBA: Un ataque de puerta trasera de eficiencia dirigido a agentes GUI basados en VLM
SlowBA: An efficiency backdoor attack towards VLM-based GUI agents
March 9, 2026
Autores: Junxian Li, Tu Lan, Haozhen Tan, Yan Meng, Haojin Zhu
cs.AI
Resumen
Se espera que los agentes modernos de interfaz gráfica de usuario (GUI) basados en modelos de visión y lenguaje (VLM) no solo ejecuten acciones con precisión, sino que también respondan a las instrucciones del usuario con baja latencia. Si bien la investigación existente sobre la seguridad de los agentes de GUI se centra principalmente en manipular la corrección de las acciones, los riesgos de seguridad relacionados con la eficiencia de respuesta permanecen en gran medida inexplorados. En este artículo, presentamos SlowBA, un novedoso ataque de puerta trasera (backdoor) que tiene como objetivo la capacidad de respuesta de los agentes de GUI basados en VLM. La idea clave es manipular la latencia de respuesta induciendo cadenas de razonamiento excesivamente largas bajo patrones disparadores específicos. Para lograrlo, proponemos una estrategia de inyección de puerta trasera a nivel de recompensa (RBI) en dos etapas que primero alinea el formato de respuesta larga y luego aprende la activación consciente del disparador mediante aprendizaje por refuerzo. Además, diseñamos ventanas emergentes realistas como disparadores que aparecen de forma natural en entornos de GUI, mejorando el sigilo del ataque. Experimentos exhaustivos en múltiples conjuntos de datos y líneas base demuestran que SlowBA puede aumentar significativamente la longitud de la respuesta y la latencia, preservando en gran medida la precisión de la tarea. El ataque sigue siendo efectivo incluso con una pequeña proporción de envenenamiento de datos y bajo varios entornos de defensa. Estos hallazgos revelan una vulnerabilidad de seguridad previamente pasada por alto en los agentes de GUI y destacan la necesidad de defensas que consideren tanto la corrección de la acción como la eficiencia de la respuesta. El código puede encontrarse en https://github.com/tu-tuing/SlowBA.
English
Modern vision-language-model (VLM) based graphical user interface (GUI) agents are expected not only to execute actions accurately but also to respond to user instructions with low latency. While existing research on GUI-agent security mainly focuses on manipulating action correctness, the security risks related to response efficiency remain largely unexplored. In this paper, we introduce SlowBA, a novel backdoor attack that targets the responsiveness of VLM-based GUI agents. The key idea is to manipulate response latency by inducing excessively long reasoning chains under specific trigger patterns. To achieve this, we propose a two-stage reward-level backdoor injection (RBI) strategy that first aligns the long-response format and then learns trigger-aware activation through reinforcement learning. In addition, we design realistic pop-up windows as triggers that naturally appear in GUI environments, improving the stealthiness of the attack. Extensive experiments across multiple datasets and baselines demonstrate that SlowBA can significantly increase response length and latency while largely preserving task accuracy. The attack remains effective even with a small poisoning ratio and under several defense settings. These findings reveal a previously overlooked security vulnerability in GUI agents and highlight the need for defenses that consider both action correctness and response efficiency. Code can be found in https://github.com/tu-tuing/SlowBA.