SlowBA: Een efficiënte backdooraanval op VLM-gebaseerde GUI-agenten

SlowBA: An efficiency backdoor attack towards VLM-based GUI agents

March 9, 2026

Auteurs: Junxian Li, Tu Lan, Haozhen Tan, Yan Meng, Haojin Zhu

cs.AI

Samenvatting

Moderne visie-taal-model (VLM) gebaseerde grafische gebruikersinterface (GUI) agenten worden niet alleen verwacht acties nauwkeurig uit te voeren, maar ook met lage latentie op gebruikersinstructies te reageren. Terwijl bestaand onderzoek naar GUI-agent beveiliging zich voornamelijk richt op het manipuleren van actienauwkeurigheid, blijven de veiligheidsrisico's met betrekking tot reactie-efficiëntie grotendeels onontgonnen. In dit artikel introduceren we SlowBA, een nieuwe backdoor-aanval die zich richt op de responsiviteit van VLM-gebaseerde GUI-agenten. De kernidee is om reactielatentie te manipuleren door excessief lange redeneerketens op te wekken onder specifieke triggervoorbeelden. Om dit te bereiken, stellen we een tweefasen backdoor-injectiestrategie op beloningsniveau (RBI) voor die eerst het langereactieformaat aligneert en vervolgens triggerbewuste activering aanleert door middel van reinforcement learning. Daarnaast ontwerpen we realistische pop-upvensters als triggers die natuurlijk voorkomen in GUI-omgevingen, wat de stealthiness van de aanval verbetert. Uitgebreide experimenten over meerdere datasets en baseline-methoden tonen aan dat SlowBA de reactielengte en latentie significant kan verhogen, terwijl de taaknauwkeurigheid grotendeels behouden blijft. De aanval blijft effectief, zelfs met een kleine vergiftigingsratio en onder verschillende verdedigingsinstellingen. Deze bevindingen onthullen een voorheen over het hoofd gezien beveiligingslek in GUI-agenten en benadrukken de noodzaak van verdedigingsmechanismen die zowel actienauwkeurigheid als reactie-efficiëntie in overweging nemen. Code is beschikbaar op https://github.com/tu-tuing/SlowBA.

English

Modern vision-language-model (VLM) based graphical user interface (GUI) agents are expected not only to execute actions accurately but also to respond to user instructions with low latency. While existing research on GUI-agent security mainly focuses on manipulating action correctness, the security risks related to response efficiency remain largely unexplored. In this paper, we introduce SlowBA, a novel backdoor attack that targets the responsiveness of VLM-based GUI agents. The key idea is to manipulate response latency by inducing excessively long reasoning chains under specific trigger patterns. To achieve this, we propose a two-stage reward-level backdoor injection (RBI) strategy that first aligns the long-response format and then learns trigger-aware activation through reinforcement learning. In addition, we design realistic pop-up windows as triggers that naturally appear in GUI environments, improving the stealthiness of the attack. Extensive experiments across multiple datasets and baselines demonstrate that SlowBA can significantly increase response length and latency while largely preserving task accuracy. The attack remains effective even with a small poisoning ratio and under several defense settings. These findings reveal a previously overlooked security vulnerability in GUI agents and highlight the need for defenses that consider both action correctness and response efficiency. Code can be found in https://github.com/tu-tuing/SlowBA.