VenusBench-Mobile: Eine anspruchsvolle und nutzerzentrierte Benchmark für mobile GUI-Agenten mit Fähigkeitsdiagnose
VenusBench-Mobile: A Challenging and User-Centric Benchmark for Mobile GUI Agents with Capability Diagnostics
February 6, 2026
Autoren: Yichen Gong, Zhuohan Cai, Sunhao Dai, Yuqi Zhou, Zhangxuan Gu, Changhua Meng, Shuheng Shen
cs.AI
Zusammenfassung
Bestehende Online-Benchmarks für mobile GUI-Agenten bleiben weitgehend app-zentriert und aufgabenhomogen, wodurch sie die Diversität und Instabilität realer mobiler Nutzung nicht abbilden. Daher führen wir VenusBench-Mobile ein, eine anspruchsvolle Online-Benchmark zur Bewertung universeller mobiler GUI-Agenten unter realistischen, nutzerzentrierten Bedingungen. VenusBench-Mobile basiert auf zwei zentralen Evaluierungssäulen: der Definition was evaluiert werden soll durch nutzerintentionsgesteuerte Aufgaben, die reale mobile Nutzung widerspiegeln, und wie evaluiert wird durch ein kompetenzorientiertes Annotationsschema zur feingranularen Verhaltensanalyse von Agenten. Umfangreiche Evaluierungen modernster mobiler GUI-Agenten zeigen große Leistungslücken im Vergleich zu früheren Benchmarks auf, was darauf hindeutet, dass VenusBench-Mobile wesentlich anspruchsvollere und realistischere Aufgaben stellt und aktuelle Agenten noch weit von zuverlässigem realem Einsatz entfernt sind. Diagnostische Analysen zeigen weiterhin, dass Fehler hauptsächlich auf Defizite in Wahrnehmung und Gedächtnis zurückzuführen sind, die durch grobgranulare Evaluationen weitgehend verdeckt bleiben. Selbst die leistungsstärksten Agenten erzielen unter Umgebungsvariationen nahezu null Erfolge, was ihre Brüchigkeit unter realistischen Bedingungen unterstreicht. Aufbauend auf diesen Erkenntnissen bietet VenusBench-Mobile einen wichtigen Meilenstein auf dem Weg zum robusten realen Einsatz mobiler GUI-Agenten. Code und Daten sind verfügbar unter https://github.com/inclusionAI/UI-Venus/tree/VenusBench-Mobile.
English
Existing online benchmarks for mobile GUI agents remain largely app-centric and task-homogeneous, failing to reflect the diversity and instability of real-world mobile usage. To this end, we introduce VenusBench-Mobile, a challenging online benchmark for evaluating general-purpose mobile GUI agents under realistic, user-centric conditions. VenusBench-Mobile builds two core evaluation pillars: defining what to evaluate via user-intent-driven task design that reflects real mobile usage, and how to evaluate through a capability-oriented annotation scheme for fine-grained agent behavior analysis. Extensive evaluation of state-of-the-art mobile GUI agents reveals large performance gaps relative to prior benchmarks, indicating that VenusBench-Mobile poses substantially more challenging and realistic tasks and that current agents remain far from reliable real-world deployment. Diagnostic analysis further shows that failures are dominated by deficiencies in perception and memory, which are largely obscured by coarse-grained evaluations. Moreover, even the strongest agents exhibit near-zero success under environment variations, highlighting their brittleness in realistic settings. Based on these insights, we believe VenusBench-Mobile provides an important stepping stone toward robust real-world deployment of mobile GUI agents. Code and data are available at https://github.com/inclusionAI/UI-Venus/tree/VenusBench-Mobile.