SlowBA : une attaque par porte dérobée visant l'efficacité des agents d'interface graphique basés sur VLM

SlowBA: An efficiency backdoor attack towards VLM-based GUI agents

March 9, 2026

Auteurs: Junxian Li, Tu Lan, Haozhen Tan, Yan Meng, Haojin Zhu

cs.AI

Résumé

Les agents d’interface graphique (GUI) modernes basés sur des modèles vision-langage (VLM) sont censés non seulement exécuter des actions avec précision, mais aussi répondre aux instructions utilisateur avec une faible latence. Si les recherches existantes sur la sécurité des agents GUI se concentrent principalement sur la manipulation de la justesse des actions, les risques liés à l’efficacité des réponses restent largement inexplorés. Dans cet article, nous présentons SlowBA, une nouvelle attaque par porte dérobée qui cible la réactivité des agents GUI basés sur VLM. L’idée clé est de manipuler la latence des réponses en induisant des chaînes de raisonnement excessivement longues sous certaines configurations déclencheuses. Pour y parvenir, nous proposons une stratégie d’injection de porte dérobée au niveau de la récompense (RBI) en deux étapes : d’abord aligner le format de réponse longue, puis apprendre l’activation conditionnée par le déclencheur via l’apprentissage par renforcement. De plus, nous concevons des fenêtres contextuelles réalistes comme déclencheurs, qui apparaissent naturellement dans les environnements GUI, améliorant ainsi la furtivité de l’attaque. Des expériences approfondies sur plusieurs jeux de données et modèles de référence montrent que SlowBA peut augmenter significativement la longueur et la latence des réponses, tout en préservant largement la précision des tâches. L’attaque reste efficace même avec un faible taux d’empoisonnement et sous plusieurs configurations défensives. Ces résultats révèlent une vulnérabilité de sécurité jusqu’alors négligée dans les agents GUI et soulignent la nécessité de défenses prenant en compte à la fois la justesse des actions et l’efficacité des réponses. Le code est disponible à l’adresse https://github.com/tu-tuing/SlowBA.

English

Modern vision-language-model (VLM) based graphical user interface (GUI) agents are expected not only to execute actions accurately but also to respond to user instructions with low latency. While existing research on GUI-agent security mainly focuses on manipulating action correctness, the security risks related to response efficiency remain largely unexplored. In this paper, we introduce SlowBA, a novel backdoor attack that targets the responsiveness of VLM-based GUI agents. The key idea is to manipulate response latency by inducing excessively long reasoning chains under specific trigger patterns. To achieve this, we propose a two-stage reward-level backdoor injection (RBI) strategy that first aligns the long-response format and then learns trigger-aware activation through reinforcement learning. In addition, we design realistic pop-up windows as triggers that naturally appear in GUI environments, improving the stealthiness of the attack. Extensive experiments across multiple datasets and baselines demonstrate that SlowBA can significantly increase response length and latency while largely preserving task accuracy. The attack remains effective even with a small poisoning ratio and under several defense settings. These findings reveal a previously overlooked security vulnerability in GUI agents and highlight the need for defenses that consider both action correctness and response efficiency. Code can be found in https://github.com/tu-tuing/SlowBA.