SlowBA: VLM 기반 GUI 에이전트를 대상으로 하는 효율성 백도어 공격

SlowBA: An efficiency backdoor attack towards VLM-based GUI agents

March 9, 2026

저자: Junxian Li, Tu Lan, Haozhen Tan, Yan Meng, Haojin Zhu

cs.AI

초록

현대 시각-언어 모델(VLM) 기반 그래픽 사용자 인터페이스(GUI) 에이전트는 동작을 정확하게 실행할 뿐만 아니라 낮은 지연 시간으로 사용자 명령에 응답할 것이 요구됩니다. GUI 에이전트 보안에 대한 기존 연구는 주로 동작 정확성 조작에 초점을 맞추는 반면, 응답 효율성과 관련된 보안 위험은 크게 탐구되지 않았습니다. 본 논문에서는 VLM 기반 GUI 에이전트의 응답성(responsiveness)을 표적으로 하는 새로운 백도어 공격인 SlowBA를 소개합니다. 핵심 아이디어는 특정 트리거 패턴에서 과도하게 긴 추론 체인을 유도하여 응답 지연 시간을 조작하는 것입니다. 이를 위해 장문 응답 형식을 먼저 정렬하고 강화 학습을 통해 트리거 인식 활성화를 학습하는 두 단계의 보상 수준 백도어 주입(RBI) 전략을 제안합니다. 또한 GUI 환경에서 자연스럽게 나타나는 현실적인 팝업 창을 트리거로 설계하여 공격의 은밀성을 향상시켰습니다. 여러 데이터셋과 기준 모델에서 수행한 폭넓은 실험을 통해 SlowBA가 작업 정확성을 크게 유지하면서도 응답 길이와 지연 시간을 유의미하게 증가시킬 수 있음을 입증했습니다. 이 공격은 적은 양의 데이터 오염 비율에서와 여러 방어 설정 하에서도 효과적으로 동작합니다. 이러한 결과는 GUI 에이전트에서 이전에 간과되었던 보안 취약점을 드러내며, 동작 정확성과 응답 효율성 모두를 고려한 방어의 필요성을 강조합니다. 코드는 https://github.com/tu-tuing/SlowBA에서 확인할 수 있습니다.

English

Modern vision-language-model (VLM) based graphical user interface (GUI) agents are expected not only to execute actions accurately but also to respond to user instructions with low latency. While existing research on GUI-agent security mainly focuses on manipulating action correctness, the security risks related to response efficiency remain largely unexplored. In this paper, we introduce SlowBA, a novel backdoor attack that targets the responsiveness of VLM-based GUI agents. The key idea is to manipulate response latency by inducing excessively long reasoning chains under specific trigger patterns. To achieve this, we propose a two-stage reward-level backdoor injection (RBI) strategy that first aligns the long-response format and then learns trigger-aware activation through reinforcement learning. In addition, we design realistic pop-up windows as triggers that naturally appear in GUI environments, improving the stealthiness of the attack. Extensive experiments across multiple datasets and baselines demonstrate that SlowBA can significantly increase response length and latency while largely preserving task accuracy. The attack remains effective even with a small poisoning ratio and under several defense settings. These findings reveal a previously overlooked security vulnerability in GUI agents and highlight the need for defenses that consider both action correctness and response efficiency. Code can be found in https://github.com/tu-tuing/SlowBA.