Android GUIエージェントは実行時異常に対してロバストか？AnTrap：動的敵対的環境におけるエージェント評価

要旨

GUIエージェントはAndroidデバイスに展開されると、予期しないポップアップからアクションの誤使用に至るまで、動的異常にしばしば遭遇する。しかし、既存のベンチマークは実行時異常に対するエージェントのロバスト性を体系的に評価していない。本研究では、エージェントの実行軌跡に動的摂動を注入する包括的ベンチマークAnTrapを提案する。実世界の異常を4つのレイヤー（状態、思考、行動、ラウンド）と10の詳細なサブカテゴリに整理する分類体系を提示し、現実的な敵対的条件を導入しつつタスクの解決可能性を維持する構築パイプラインを開発する。16の主要なGUIモデルを評価した結果、動的異常に対する普遍的な脆弱性が明らかとなり、最強のモデルでさえも著しい性能低下を被ることが示された。さらに、元の環境と敵対的環境の両方でGRPOトレーニングを実施してベンチマークを検証し、環境で学習可能な異常と推論にボトルネックを有する異常を区別する。本研究の知見は、状態レイヤーと行動レイヤーにおける単一ステップのトラップは敵対的強化学習によって大部分が対処可能である一方、状態デッドロックのような深い文脈的トラップは、トラップを含む環境でのトレーニングのみでは解決できない本質的な限界を露呈することを示している。

English

GUI agents often encounter dynamic anomalies when deployed on Android devices, from unexpected pop-ups to action misuse, yet existing benchmarks lack systematic evaluation of agent robustness against runtime anomalies. We introduce AnTrap, a comprehensive benchmark that injects dynamic perturbations into agent execution trajectories. We propose a taxonomy organizing real-world anomalies into four layers (State, Thinking, Action and Round) with ten fine-grained subcategories, and develop a construction pipeline that preserves task solvability while introducing realistic adversarial conditions. Evaluating 16 leading GUI models, we reveal universal vulnerability to dynamic anomalies, with even the strongest models suffering significant performance degradation. Furthermore, we conduct GRPO training in both original and adversarial environments to validate our benchmark, separating environment-learnable anomalies from reasoning-bottlenecked ones. Our findings show that while single-step traps at state and action layers are largely addressable through adversarial reinforcement learning, deep contextual traps, like state deadlock, expose intrinsic limitations that cannot be resolved by training in environments with traps alone.