SlowBA: un attacco backdoor efficiente rivolto agli agenti GUI basati su VLM

SlowBA: An efficiency backdoor attack towards VLM-based GUI agents

March 9, 2026

Autori: Junxian Li, Tu Lan, Haozhen Tan, Yan Meng, Haojin Zhu

cs.AI

Abstract

Gli agenti moderni per interfacce grafiche (GUI) basati su modelli visione-linguaggio (VLM) sono tenuti non solo a eseguire azioni con precisione, ma anche a rispondere alle istruzioni dell'utente con bassa latenza. Sebbene la ricerca esistente sulla sicurezza degli agenti GUI si concentri principalmente sulla manipolazione della correttezza delle azioni, i rischi per la sicurezza legati all'efficienza di risposta rimangono in gran parte inesplorati. In questo articolo introduciamo SlowBA, un nuovo attacco backdoor che mira alla reattività degli agenti GUI basati su VLM. L'idea chiave è manipolare la latenza di risposta inducendo catene di ragionamento eccessivamente lunghe in presenza di specifici pattern trigger. Per raggiungere questo obiettivo, proponiamo una strategia di iniezione backdoor a livello di ricompensa (RBI) in due fasi: prima allinea il formato di risposta lunga e poi impara l'attivazione trigger-aware attraverso l'apprendimento per rinforzo. Inoltre, progettiamo finestre pop-up realistiche come trigger che compaiono naturalmente negli ambienti GUI, migliorando la dissimulazione dell'attacco. Esperimenti estesi su più dataset e baseline dimostrano che SlowBA può aumentare significativamente la lunghezza e la latenza delle risposte, preservando in larga misura l'accuratezza del compito. L'attacco rimane efficace anche con un basso rapporto di avvelenamento e in diverse configurazioni di difesa. Questi risultati rivelano una vulnerabilità della sicurezza precedentemente trascurata negli agenti GUI e sottolineano la necessità di difese che considerino sia la correttezza delle azioni che l'efficienza di risposta. Il codice è disponibile all'indirizzo https://github.com/tu-tuing/SlowBA.

English

Modern vision-language-model (VLM) based graphical user interface (GUI) agents are expected not only to execute actions accurately but also to respond to user instructions with low latency. While existing research on GUI-agent security mainly focuses on manipulating action correctness, the security risks related to response efficiency remain largely unexplored. In this paper, we introduce SlowBA, a novel backdoor attack that targets the responsiveness of VLM-based GUI agents. The key idea is to manipulate response latency by inducing excessively long reasoning chains under specific trigger patterns. To achieve this, we propose a two-stage reward-level backdoor injection (RBI) strategy that first aligns the long-response format and then learns trigger-aware activation through reinforcement learning. In addition, we design realistic pop-up windows as triggers that naturally appear in GUI environments, improving the stealthiness of the attack. Extensive experiments across multiple datasets and baselines demonstrate that SlowBA can significantly increase response length and latency while largely preserving task accuracy. The attack remains effective even with a small poisoning ratio and under several defense settings. These findings reveal a previously overlooked security vulnerability in GUI agents and highlight the need for defenses that consider both action correctness and response efficiency. Code can be found in https://github.com/tu-tuing/SlowBA.