VenusBench-Mobile : Un benchmark exigeant et centré sur l'utilisateur pour les agents d'interface graphique mobile avec diagnostic des capacités
VenusBench-Mobile: A Challenging and User-Centric Benchmark for Mobile GUI Agents with Capability Diagnostics
February 6, 2026
Auteurs: Yichen Gong, Zhuohan Cai, Sunhao Dai, Yuqi Zhou, Zhangxuan Gu, Changhua Meng, Shuheng Shen
cs.AI
Résumé
Les référentiels en ligne existants pour les agents d'interface graphique mobile restent largement centrés sur les applications et homogènes dans leurs tâches, ne reflétant pas la diversité et l'instabilité des usages mobiles réels. Pour pallier cela, nous présentons VenusBench-Mobile, un référentiel en ligne exigeant pour évaluer les agents d'interface graphique mobile polyvalents dans des conditions réalistes et centrées sur l'utilisateur. VenusBench-Mobile s'appuie sur deux piliers d'évaluation fondamentaux : la définition de ce qu'il faut évaluer via une conception de tâches pilotée par l'intention utilisateur reflétant l'usage mobile réel, et la manière d'évaluer grâce à un système d'annotation axé sur les capacités pour une analyse fine des comportements des agents. Une évaluation approfondie des agents d'interface graphique mobile les plus avancés révèle d'importants écarts de performance par rapport aux référentiels antérieurs, indiquant que VenusBench-Mobile propose des tâches substantiellement plus difficiles et réalistes, et que les agents actuels sont encore loin d'être déployables de façon fiable dans le monde réel. L'analyse diagnostique montre en outre que les échecs sont dominés par des lacunes en perception et en mémoire, largement masquées par les évaluations à granularité grossière. De plus, même les agents les plus performants affichent un taux de succès quasi nul face aux variations de l'environnement, soulignant leur fragilité dans des conditions réalistes. Sur la base de ces observations, nous estimons que VenusBench-Mobile constitue une étape importante vers un déploiement robuste des agents d'interface graphique mobile dans le monde réel. Le code et les données sont disponibles à l'adresse https://github.com/inclusionAI/UI-Venus/tree/VenusBench-Mobile.
English
Existing online benchmarks for mobile GUI agents remain largely app-centric and task-homogeneous, failing to reflect the diversity and instability of real-world mobile usage. To this end, we introduce VenusBench-Mobile, a challenging online benchmark for evaluating general-purpose mobile GUI agents under realistic, user-centric conditions. VenusBench-Mobile builds two core evaluation pillars: defining what to evaluate via user-intent-driven task design that reflects real mobile usage, and how to evaluate through a capability-oriented annotation scheme for fine-grained agent behavior analysis. Extensive evaluation of state-of-the-art mobile GUI agents reveals large performance gaps relative to prior benchmarks, indicating that VenusBench-Mobile poses substantially more challenging and realistic tasks and that current agents remain far from reliable real-world deployment. Diagnostic analysis further shows that failures are dominated by deficiencies in perception and memory, which are largely obscured by coarse-grained evaluations. Moreover, even the strongest agents exhibit near-zero success under environment variations, highlighting their brittleness in realistic settings. Based on these insights, we believe VenusBench-Mobile provides an important stepping stone toward robust real-world deployment of mobile GUI agents. Code and data are available at https://github.com/inclusionAI/UI-Venus/tree/VenusBench-Mobile.