GUI-360 : Un ensemble de données et un benchmark complets pour les agents informatiques

GUI-360: A Comprehensive Dataset and Benchmark for Computer-Using Agents

November 6, 2025

papers.authors: Jian Mu, Chaoyun Zhang, Chiming Ni, Lu Wang, Bo Qiao, Kartik Mathur, Qianhui Wu, Yuhang Xie, Xiaojun Ma, Mengyu Zhou, Si Qin, Liqun Li, Yu Kang, Minghua Ma, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

cs.AI

papers.abstract

Nous présentons GUI-360°, une base de données à grande échelle et exhaustive ainsi qu'une suite de benchmarks conçues pour faire progresser les agents informatiques utilisateurs (AIU). Les AIU présentent des défis uniques et sont contraints par trois lacunes persistantes : une pénurie de tâches réalistes pour les AIU, l'absence de pipelines automatisés de collecte et d'annotation pour les trajectoires multimodales, et le manque d'un benchmark unifié évaluant conjointement l'ancrage dans l'interface graphique, l'analyse de l'écran et la prédiction d'actions. GUI-360° résout ces lacunes avec un pipeline augmenté par LLM, largement automatisé, pour le sourcing de requêtes, la construction de modèles d'environnements, l'instanciation de tâches, l'exécution par lots et le filtrage qualité piloté par LLM. Le corpus publié contient plus de 1,2 million d'étapes d'action exécutées à travers des milliers de trajectoires dans des applications bureautiques Windows populaires, et inclut des captures d'écran en pleine résolution, des métadonnées d'accessibilité lorsqu'elles sont disponibles, des objectifs instanciés, des traces de raisonnement intermédiaires, ainsi que des trajectoires d'actions réussies et échouées. La base de données prend en charge trois tâches canoniques - l'ancrage dans l'interface graphique, l'analyse de l'écran et la prédiction d'actions - et un espace d'action hybride GUI+API qui reflète les conceptions modernes d'agents. L'évaluation des modèles état-de-l'art vision-langage sur GUI-360° révèle des lacunes substantielles immédiates en matière d'ancrage et de prédiction d'actions ; le fine-tuning supervisé et l'apprentissage par renforcement apportent des gains significatifs mais ne comblent pas l'écart avec la fiabilité du niveau humain. Nous publions GUI-360° et le code accompagnateur pour faciliter la recherche reproductible et accélérer les progrès sur les AIU robustes pour poste de travail. L'ensemble complet des données a été rendu public sur https://huggingface.co/datasets/vyokky/GUI-360.

English

We introduce GUI-360^circ, a large-scale, comprehensive dataset and benchmark suite designed to advance computer-using agents (CUAs). CUAs present unique challenges and is constrained by three persistent gaps: a scarcity of real-world CUA tasks, the lack of automated collection-and-annotation pipelines for multi-modal trajectories, and the absence of a unified benchmark that jointly evaluates GUI grounding, screen parsing, and action prediction. GUI-360^circ addresses these gaps with an LLM-augmented, largely automated pipeline for query sourcing, environment-template construction, task instantiation, batched execution, and LLM-driven quality filtering. The released corpus contains over 1.2M executed action steps across thousands of trajectories in popular Windows office applications, and includes full-resolution screenshots, accessibility metadata when available, instantiated goals, intermediate reasoning traces, and both successful and failed action trajectories. The dataset supports three canonical tasks, GUI grounding, screen parsing, and action prediction, and a hybrid GUI+API action space that reflects modern agent designs. Benchmarking state-of-the-art vision--language models on GUI-360^circ reveals substantial out-of-the-box shortcomings in grounding and action prediction; supervised fine-tuning and reinforcement learning yield significant gains but do not close the gap to human-level reliability. We release GUI-360^circ and accompanying code to facilitate reproducible research and accelerate progress on robust desktop CUAs. The full dataset has been made public on https://huggingface.co/datasets/vyokky/GUI-360.