GUI-360: Een uitgebreide dataset en benchmark voor computergebruikende agents
GUI-360: A Comprehensive Dataset and Benchmark for Computer-Using Agents
November 6, 2025
Auteurs: Jian Mu, Chaoyun Zhang, Chiming Ni, Lu Wang, Bo Qiao, Kartik Mathur, Qianhui Wu, Yuhang Xie, Xiaojun Ma, Mengyu Zhou, Si Qin, Liqun Li, Yu Kang, Minghua Ma, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang
cs.AI
Samenvatting
Wij introduceren GUI-360°, een grootschalige, uitgebreide dataset en benchmark-suite ontworpen om computergebruikende agents (CUA's) verder te ontwikkelen. CUA's brengen unieke uitdagingen met zich mee en worden beperkt door drie hardnekkige tekortkomingen: een schaarste aan realistische CUA-taken, het ontbreken van geautomatiseerde pipelines voor het verzamelen en annoteren van multimodale trajecten, en de afwezigheid van een uniforme benchmark die GUI-gronding, schermparsing en actievoorspelling gezamenlijk evalueert.
GUI-360° lost deze tekortkomingen op met een door LLM's (Large Language Models) versterkte, grotendeels geautomatiseerde pipeline voor queryverzameling, omgevingssjabloonconstructie, taakinstantiatie, gebatchte uitvoering en LLM-gestuurde kwaliteitsfiltering. De vrijgegeven corpus bevat meer dan 1,2 miljoen uitgevoerde actiestappen verspreid over duizenden trajecten in populaire Windows-kantoortoepassingen, en omvat schermafbeeldingen in volledige resolutie, beschikbare toegankelijkheidsmetadata, geïnstantieerde doelen, tussenliggende redeneersporen, en zowel succesvolle als mislukte actietrajecten. De dataset ondersteunt drie klassieke taken: GUI-gronding, schermparsing en actievoorspelling, en een hybride GUI+API-actieruimte die moderne agentontwerpen weerspiegelt.
Het benchmarken van state-of-the-art vision-language-modellen op GUI-360° toont aanzienlijke tekortkomingen 'out-of-the-box' op het gebied van gronding en actievoorspelling; supervised fine-tuning en reinforcement learning leveren significante verbeteringen op maar dichten de kloof met de betrouwbaarheid van menselijk niveau niet. Wij geven GUI-360° en bijbehorende code vrij om reproduceerbaar onderzoek te vergemakkelijken en de vooruitgang naar robuuste desktop-CUA's te versnellen.
De volledige dataset is openbaar gemaakt op https://huggingface.co/datasets/vyokky/GUI-360.
English
We introduce GUI-360^circ, a large-scale, comprehensive dataset and
benchmark suite designed to advance computer-using agents (CUAs). CUAs present
unique challenges and is constrained by three persistent gaps: a scarcity of
real-world CUA tasks, the lack of automated collection-and-annotation pipelines
for multi-modal trajectories, and the absence of a unified benchmark that
jointly evaluates GUI grounding, screen parsing, and action prediction.
GUI-360^circ addresses these gaps with an LLM-augmented, largely automated
pipeline for query sourcing, environment-template construction, task
instantiation, batched execution, and LLM-driven quality filtering. The
released corpus contains over 1.2M executed action steps across thousands of
trajectories in popular Windows office applications, and includes
full-resolution screenshots, accessibility metadata when available,
instantiated goals, intermediate reasoning traces, and both successful and
failed action trajectories. The dataset supports three canonical tasks, GUI
grounding, screen parsing, and action prediction, and a hybrid GUI+API action
space that reflects modern agent designs. Benchmarking state-of-the-art
vision--language models on GUI-360^circ reveals substantial out-of-the-box
shortcomings in grounding and action prediction; supervised fine-tuning and
reinforcement learning yield significant gains but do not close the gap to
human-level reliability. We release GUI-360^circ and accompanying code to
facilitate reproducible research and accelerate progress on robust desktop
CUAs.
The full dataset has been made public on
https://huggingface.co/datasets/vyokky/GUI-360.