GUI-360: un dataset e benchmark completo per agenti informatici
GUI-360: A Comprehensive Dataset and Benchmark for Computer-Using Agents
November 6, 2025
Autori: Jian Mu, Chaoyun Zhang, Chiming Ni, Lu Wang, Bo Qiao, Kartik Mathur, Qianhui Wu, Yuhang Xie, Xiaojun Ma, Mengyu Zhou, Si Qin, Liqun Li, Yu Kang, Minghua Ma, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang
cs.AI
Abstract
Introduciamo GUI-360°, un dataset su larga scala e completo, insieme a una suite di benchmark, progettati per far progredire gli agenti che utilizzano il computer (CUA). I CUA presentano sfide uniche e sono limitati da tre lacune persistenti: la scarsità di compiti CUA del mondo reale, la mancanza di pipeline automatizzate di raccolta e annotazione per traiettorie multimodali e l'assenza di un benchmark unificato che valuti congiuntamente il grounding dell'interfaccia grafica (GUI), il parsing dello schermo e la previsione delle azioni.
GUI-360° affronta queste lacune con una pipeline potenziata da LLM e largamente automatizzata per il reperimento di query, la costruzione di template ambientali, l'istanziazione di compiti, l'esecuzione in batch e il filtraggio qualitativo guidato da LLM. Il corpus rilasciato contiene oltre 1,2 milioni di passi d'azione eseguiti attraverso migliaia di traiettorie in popolari applicazioni office per Windows e include screenshot a piena risoluzione, metadati di accessibilità quando disponibili, obiettivi istanziati, tracce di ragionamento intermedie e traiettorie d'azione sia riuscite che fallite. Il dataset supporta tre compiti canonici - grounding della GUI, parsing dello schermo e previsione delle azioni - e uno spazio d'azione ibrido GUI+API che riflette i progetti moderni di agenti. Il benchmarking di modelli stato dell'arte visione-linguaggio su GUI-360° rivela carenze sostanziali pronte all'uso nel grounding e nella previsione delle azioni; la messa a punto supervisionata e l'apprendimento per rinforzo producono miglioramenti significativi ma non colmano il divario con l'affidabilità di livello umano. Rilasciamo GUI-360° e il codice associato per facilitare la ricerca riproducibile e accelerare i progressi verso CUA desktop robusti.
Il dataset completo è stato reso pubblico su
https://huggingface.co/datasets/vyokky/GUI-360.
English
We introduce GUI-360^circ, a large-scale, comprehensive dataset and
benchmark suite designed to advance computer-using agents (CUAs). CUAs present
unique challenges and is constrained by three persistent gaps: a scarcity of
real-world CUA tasks, the lack of automated collection-and-annotation pipelines
for multi-modal trajectories, and the absence of a unified benchmark that
jointly evaluates GUI grounding, screen parsing, and action prediction.
GUI-360^circ addresses these gaps with an LLM-augmented, largely automated
pipeline for query sourcing, environment-template construction, task
instantiation, batched execution, and LLM-driven quality filtering. The
released corpus contains over 1.2M executed action steps across thousands of
trajectories in popular Windows office applications, and includes
full-resolution screenshots, accessibility metadata when available,
instantiated goals, intermediate reasoning traces, and both successful and
failed action trajectories. The dataset supports three canonical tasks, GUI
grounding, screen parsing, and action prediction, and a hybrid GUI+API action
space that reflects modern agent designs. Benchmarking state-of-the-art
vision--language models on GUI-360^circ reveals substantial out-of-the-box
shortcomings in grounding and action prediction; supervised fine-tuning and
reinforcement learning yield significant gains but do not close the gap to
human-level reliability. We release GUI-360^circ and accompanying code to
facilitate reproducible research and accelerate progress on robust desktop
CUAs.
The full dataset has been made public on
https://huggingface.co/datasets/vyokky/GUI-360.