Android GUI 에이전트는 런타임 이상 상황에도 견고한가? AnTrap: 동적 적대 환경에서의 에이전트 평가

초록

GUI 에이전트는 Android 기기에 배포될 때 예상치 못한 팝업부터 잘못된 동작 실행에 이르기까지 동적 이상을 자주 마주치지만, 기존 벤치마크는 런타임 이상에 대한 에이전트 견고성을 체계적으로 평가하지 못한다. 우리는 에이전트 실행 궤적에 동적 교란을 주입하는 포괄적인 벤치마크인 AnTrap을 소개한다. 우리는 실제 세계의 이상을 네 계층(State, Thinking, Action, Round)과 열 개의 세분화된 하위 범주로 체계화하는 분류 체계를 제안하고, 현실적인 적대적 조건을 도입하면서도 작업 해결 가능성을 유지하는 구축 파이프라인을 개발한다. 16개의 주요 GUI 모델을 평가한 결과, 가장 강력한 모델조차 상당한 성능 저하를 겪을 만큼 동적 이상에 대한 보편적 취약성이 드러났다. 나아가 원본 환경과 적대적 환경 모두에서 GRPO 훈련을 수행하여 벤치마크를 검증하고, 환경에서 학습 가능한 이상과 추론 병목이 있는 이상을 구분한다. 우리의 연구 결과는 State 및 Action 계층의 단일 단계 함정은 적대적 강화 학습을 통해 대부분 해결할 수 있지만, 상태 교착(state deadlock)과 같은 심층 맥락적 함정은 함정이 있는 환경에서의 훈련만으로는 해결할 수 없는 본질적 한계를 드러낸다는 것을 보여준다.

English

GUI agents often encounter dynamic anomalies when deployed on Android devices, from unexpected pop-ups to action misuse, yet existing benchmarks lack systematic evaluation of agent robustness against runtime anomalies. We introduce AnTrap, a comprehensive benchmark that injects dynamic perturbations into agent execution trajectories. We propose a taxonomy organizing real-world anomalies into four layers (State, Thinking, Action and Round) with ten fine-grained subcategories, and develop a construction pipeline that preserves task solvability while introducing realistic adversarial conditions. Evaluating 16 leading GUI models, we reveal universal vulnerability to dynamic anomalies, with even the strongest models suffering significant performance degradation. Furthermore, we conduct GRPO training in both original and adversarial environments to validate our benchmark, separating environment-learnable anomalies from reasoning-bottlenecked ones. Our findings show that while single-step traps at state and action layers are largely addressable through adversarial reinforcement learning, deep contextual traps, like state deadlock, expose intrinsic limitations that cannot be resolved by training in environments with traps alone.