SlowBA: VLMベースGUIエージェントに対する効率性を標的としたバックドア攻撃

SlowBA: An efficiency backdoor attack towards VLM-based GUI agents

March 9, 2026

著者: Junxian Li, Tu Lan, Haozhen Tan, Yan Meng, Haojin Zhu

cs.AI

要旨

現代の視覚言語モデル（VLM）ベースのグラフィカルユーザーインターフェース（GUI）エージェントには、アクションを正確に実行するだけでなく、低遅延でユーザー指示に応答することが求められる。既存のGUIエージェントのセキュリティ研究は主にアクションの正確性の操作に焦点を当てており、応答効率に関連するセキュリティリスクはほとんど検討されていない。本論文では、VLMベースGUIエージェントの応答性を標的とした新しいバックドア攻撃「SlowBA」を提案する。核心的なアイデアは、特定のトリガーパターン下で過度に長い推論チェーンを誘導することにより、応答遅延を操作する点にある。これを実現するため、まず長い応答形式に適合させ、その後強化学習を通じてトリガーを意識した活性化を学習する、2段階の報酬レベルバックドア注入（RBI）戦略を提案する。さらに、GUI環境に自然に出現する現実的なポップアップウィンドウをトリガーとして設計し、攻撃の潜行性を高めている。複数のデータセットとベースラインを用いた広範な実験により、SlowBAがタスク精度をほぼ維持しつつ、応答長と遅延を大幅に増加させ得ることを実証する。本攻撃は、低い毒入れ比率や複数の防御設定下でも有効性を維持する。これらの知見は、GUIエージェントにおいて従来看過されてきたセキュリティ脆弱性を明らかにするとともに、アクションの正確性と応答効率の両方を考慮した防御の必要性を浮き彫りにする。コードはhttps://github.com/tu-tuing/SlowBAで公開されている。

English

Modern vision-language-model (VLM) based graphical user interface (GUI) agents are expected not only to execute actions accurately but also to respond to user instructions with low latency. While existing research on GUI-agent security mainly focuses on manipulating action correctness, the security risks related to response efficiency remain largely unexplored. In this paper, we introduce SlowBA, a novel backdoor attack that targets the responsiveness of VLM-based GUI agents. The key idea is to manipulate response latency by inducing excessively long reasoning chains under specific trigger patterns. To achieve this, we propose a two-stage reward-level backdoor injection (RBI) strategy that first aligns the long-response format and then learns trigger-aware activation through reinforcement learning. In addition, we design realistic pop-up windows as triggers that naturally appear in GUI environments, improving the stealthiness of the attack. Extensive experiments across multiple datasets and baselines demonstrate that SlowBA can significantly increase response length and latency while largely preserving task accuracy. The attack remains effective even with a small poisoning ratio and under several defense settings. These findings reveal a previously overlooked security vulnerability in GUI agents and highlight the need for defenses that consider both action correctness and response efficiency. Code can be found in https://github.com/tu-tuing/SlowBA.