SlowBA: Ein effizienter Backdoor-Angriff auf GUI-Agenten basierend auf VLMs

SlowBA: An efficiency backdoor attack towards VLM-based GUI agents

March 9, 2026

Autoren: Junxian Li, Tu Lan, Haozhen Tan, Yan Meng, Haojin Zhu

cs.AI

Zusammenfassung

Moderne grafische Benutzeroberflächen-Agenten (GUI-Agenten) auf Basis von Vision-Language-Modellen (VLM) sollen nicht nur Aktionen präzise ausführen, sondern auch Nutzeranweisungen mit geringer Latenz beantworten. Während sich bestehende Forschung zur Sicherheit von GUI-Agenten hauptsächlich auf die Manipulation der Aktionskorrektheit konzentriert, sind die Sicherheitsrisiken im Zusammenhang mit der Antworteffizienz weitgehend unerforscht. In dieser Arbeit stellen wir SlowBA vor, einen neuartigen Backdoor-Angriff, der die Reaktionsfähigkeit von VLM-basierten GUI-Agenten ins Visier nimmt. Der Kernansatz besteht darin, die Antwortlatenz durch die Induktion übermäßig langer Reasoning-Ketten unter bestimmten Trigger-Mustern zu manipulieren. Um dies zu erreichen, schlagen wir eine zweistufige Backdoor-Injektionsstrategie auf Belohnungsebene (RBI) vor, die zunächst das Langantwort-Format aligniert und anschließend triggerbewusste Aktivierung durch Reinforcement Learning erlernt. Zusätzlich entwerfen wir realistische Pop-up-Fenster als Trigger, die natürlich in GUI-Umgebungen auftreten, um die Heimlichkeit des Angriffs zu verbessern. Umfangreiche Experimente über mehrere Datensätze und Baseline-Modelle hinweg zeigen, dass SlowBA die Antwortlänge und -latenz signifikant erhöhen kann, während die Aufgabengenauigkeit weitgehend erhalten bleibt. Der Angriff bleibt selbst bei geringen Poisoning-Raten und unter verschiedenen Abwehrszenarien wirksam. Diese Ergebnisse decken eine bisher übersehene Sicherheitslücke in GUI-Agenten auf und unterstreichen die Notwendigkeit von Abwehrmaßnahmen, die sowohl Aktionskorrektheit als auch Antworteffizienz berücksichtigen. Code ist verfügbar unter https://github.com/tu-tuing/SlowBA.

English

Modern vision-language-model (VLM) based graphical user interface (GUI) agents are expected not only to execute actions accurately but also to respond to user instructions with low latency. While existing research on GUI-agent security mainly focuses on manipulating action correctness, the security risks related to response efficiency remain largely unexplored. In this paper, we introduce SlowBA, a novel backdoor attack that targets the responsiveness of VLM-based GUI agents. The key idea is to manipulate response latency by inducing excessively long reasoning chains under specific trigger patterns. To achieve this, we propose a two-stage reward-level backdoor injection (RBI) strategy that first aligns the long-response format and then learns trigger-aware activation through reinforcement learning. In addition, we design realistic pop-up windows as triggers that naturally appear in GUI environments, improving the stealthiness of the attack. Extensive experiments across multiple datasets and baselines demonstrate that SlowBA can significantly increase response length and latency while largely preserving task accuracy. The attack remains effective even with a small poisoning ratio and under several defense settings. These findings reveal a previously overlooked security vulnerability in GUI agents and highlight the need for defenses that consider both action correctness and response efficiency. Code can be found in https://github.com/tu-tuing/SlowBA.