SlowBA: Um ataque de backdoor de eficiência direcionado a agentes de interface gráfica baseados em VLM
SlowBA: An efficiency backdoor attack towards VLM-based GUI agents
March 9, 2026
Autores: Junxian Li, Tu Lan, Haozhen Tan, Yan Meng, Haojin Zhu
cs.AI
Resumo
Os agentes modernos de interface gráfica do usuário (GUI) baseados em modelos visão-linguagem (VLM) são esperados não apenas para executar ações com precisão, mas também para responder às instruções do usuário com baixa latência. Embora a pesquisa existente sobre segurança de agentes GUI foque principalmente na manipulação da correção das ações, os riscos de segurança relacionados à eficiência de resposta permanecem amplamente inexplorados. Neste artigo, apresentamos o SlowBA, um novo ataque backdoor que visa a capacidade de resposta de agentes GUI baseados em VLM. A ideia central é manipular a latência de resposta induzindo cadeias de raciocínio excessivamente longas sob padrões específicos de gatilho. Para alcançar este objetivo, propomos uma estratégia de injeção de backdoor em nível de recompensa (RBI) em dois estágios que primeiro alinha o formato de resposta longa e depois aprende a ativação consciente do gatilho através de aprendizado por reforço. Adicionalmente, projetamos janelas pop-up realistas como gatilhos que aparecem naturalmente em ambientes GUI, melhorando a discrição do ataque. Experimentos extensos em múltiplos conjuntos de dados e linhas de base demonstram que o SlowBA pode aumentar significativamente o comprimento da resposta e a latência, preservando em grande parte a precisão da tarefa. O ataque mantém-se eficaz mesmo com uma pequena proporção de envenenamento e sob várias configurações de defesa. Essas descobertas revelam uma vulnerabilidade de segurança previamente negligenciada em agentes GUI e destacam a necessidade de defesas que considerem tanto a correção das ações quanto a eficiência de resposta. O código pode ser encontrado em https://github.com/tu-tuing/SlowBA.
English
Modern vision-language-model (VLM) based graphical user interface (GUI) agents are expected not only to execute actions accurately but also to respond to user instructions with low latency. While existing research on GUI-agent security mainly focuses on manipulating action correctness, the security risks related to response efficiency remain largely unexplored. In this paper, we introduce SlowBA, a novel backdoor attack that targets the responsiveness of VLM-based GUI agents. The key idea is to manipulate response latency by inducing excessively long reasoning chains under specific trigger patterns. To achieve this, we propose a two-stage reward-level backdoor injection (RBI) strategy that first aligns the long-response format and then learns trigger-aware activation through reinforcement learning. In addition, we design realistic pop-up windows as triggers that naturally appear in GUI environments, improving the stealthiness of the attack. Extensive experiments across multiple datasets and baselines demonstrate that SlowBA can significantly increase response length and latency while largely preserving task accuracy. The attack remains effective even with a small poisoning ratio and under several defense settings. These findings reveal a previously overlooked security vulnerability in GUI agents and highlight the need for defenses that consider both action correctness and response efficiency. Code can be found in https://github.com/tu-tuing/SlowBA.