VenusBench-Mobile: Een Uitdagende en Gebruikersgerichte Benchmark voor Mobiele GUI-agents met Capaciteitsdiagnostiek
VenusBench-Mobile: A Challenging and User-Centric Benchmark for Mobile GUI Agents with Capability Diagnostics
February 6, 2026
Auteurs: Yichen Gong, Zhuohan Cai, Sunhao Dai, Yuqi Zhou, Zhangxuan Gu, Changhua Meng, Shuheng Shen
cs.AI
Samenvatting
Bestaande online benchmarks voor mobiele GUI-agents blijven grotendeels app-gericht en taakhomogeen, waardoor ze de diversiteit en instabiliteit van real-world mobiel gebruik niet weerspiegelen. Daarom introduceren wij VenusBench-Mobile, een uitdagende online benchmark voor het evalueren van algemene mobiele GUI-agents onder realistische, gebruikersgerichte omstandigheden. VenusBench-Mobile bouwt twee kernpijlers voor evaluatie: het definiëren van wat te evalueren via gebruikersintentie-gedreven taakontwerp dat realistisch mobiel gebruik reflecteert, en hoe te evalueren via een capaciteitsgericht annotatieschema voor fijnmazige gedragsanalyse van agents. Uitgebreide evaluatie van state-of-the-art mobiele GUI-agents toont grote prestatiekloffen ten opzichte van eerdere benchmarks, wat aangeeft dat VenusBench-Mobile aanzienlijk uitdagendere en realistischer taken stelt en dat huidige agents ver verwijderd zijn van betrouwbare inzet in de praktijk. Diagnostische analyse toont verder aan dat falen vooral wordt gedomineerd door tekortkomingen in perceptie en geheugen, die grotendeels verhuld blijven door grofmazige evaluaties. Bovendien vertonen zelfs de sterkste agents een succespercentage van bijna nul onder omgevingsvariatie, wat hun broosheid in realistische settings benadrukt. Gebaseerd op deze inzichten menen wij dat VenusBench-Mobile een belangrijke stap vormt richting robuuste praktijkimplementatie van mobiele GUI-agents. Code en data zijn beschikbaar op https://github.com/inclusionAI/UI-Venus/tree/VenusBench-Mobile.
English
Existing online benchmarks for mobile GUI agents remain largely app-centric and task-homogeneous, failing to reflect the diversity and instability of real-world mobile usage. To this end, we introduce VenusBench-Mobile, a challenging online benchmark for evaluating general-purpose mobile GUI agents under realistic, user-centric conditions. VenusBench-Mobile builds two core evaluation pillars: defining what to evaluate via user-intent-driven task design that reflects real mobile usage, and how to evaluate through a capability-oriented annotation scheme for fine-grained agent behavior analysis. Extensive evaluation of state-of-the-art mobile GUI agents reveals large performance gaps relative to prior benchmarks, indicating that VenusBench-Mobile poses substantially more challenging and realistic tasks and that current agents remain far from reliable real-world deployment. Diagnostic analysis further shows that failures are dominated by deficiencies in perception and memory, which are largely obscured by coarse-grained evaluations. Moreover, even the strongest agents exhibit near-zero success under environment variations, highlighting their brittleness in realistic settings. Based on these insights, we believe VenusBench-Mobile provides an important stepping stone toward robust real-world deployment of mobile GUI agents. Code and data are available at https://github.com/inclusionAI/UI-Venus/tree/VenusBench-Mobile.