GUI-360: Um Conjunto de Dados Abrangente e um Benchmark para Agentes de Uso de Computador
GUI-360: A Comprehensive Dataset and Benchmark for Computer-Using Agents
November 6, 2025
Autores: Jian Mu, Chaoyun Zhang, Chiming Ni, Lu Wang, Bo Qiao, Kartik Mathur, Qianhui Wu, Yuhang Xie, Xiaojun Ma, Mengyu Zhou, Si Qin, Liqun Li, Yu Kang, Minghua Ma, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang
cs.AI
Resumo
Apresentamos o GUI-360°, um conjunto de dados em larga escala e abrangente e uma suíte de benchmarks projetados para avançar os agentes de uso de computador (CUAs). Os CUAs apresentam desafios únicos e são limitados por três lacunas persistentes: a escassez de tarefas reais de CUAs, a falta de pipelines automatizados de coleta e anotação para trajetórias multimodais e a ausência de um benchmark unificado que avalie conjuntamente a fundamentação em GUI, a análise de tela e a previsão de ações.
O GUI-360° aborda essas lacunas com um pipeline aumentado por LLM e largamente automatizado para obtenção de consultas, construção de modelos de ambiente, instanciação de tarefas, execução em lote e filtragem de qualidade dirigida por LLM. O corpus liberado contém mais de 1,2 milhão de etapas de ação executadas em milhares de trajetórias em aplicativos populares do Windows Office, e inclui capturas de tela em resolução total, metadados de acessibilidade quando disponíveis, objetivos instanciados, rastros de raciocínio intermediários e trajetórias de ação bem-sucedidas e mal-sucedidas. O conjunto de dados suporta três tarefas canônicas - fundamentação em GUI, análise de tela e previsão de ações - e um espaço de ação híbrido GUI+API que reflete os projetos modernos de agentes. A avaliação de modelos state-of-the-art de visão e linguagem no GUI-360° revela deficiências substanciais prontas para uso na fundamentação e previsão de ações; o ajuste fino supervisionado e o aprendizado por reforço produzem ganhos significativos, mas não fecham a lacuna para a confiabilidade em nível humano. Liberamos o GUI-360° e o código que o acompanha para facilitar pesquisas reproduzíveis e acelerar o progresso em CUAs robustos para desktop.
O conjunto de dados completo foi disponibilizado publicamente em
https://huggingface.co/datasets/vyokky/GUI-360.
English
We introduce GUI-360^circ, a large-scale, comprehensive dataset and
benchmark suite designed to advance computer-using agents (CUAs). CUAs present
unique challenges and is constrained by three persistent gaps: a scarcity of
real-world CUA tasks, the lack of automated collection-and-annotation pipelines
for multi-modal trajectories, and the absence of a unified benchmark that
jointly evaluates GUI grounding, screen parsing, and action prediction.
GUI-360^circ addresses these gaps with an LLM-augmented, largely automated
pipeline for query sourcing, environment-template construction, task
instantiation, batched execution, and LLM-driven quality filtering. The
released corpus contains over 1.2M executed action steps across thousands of
trajectories in popular Windows office applications, and includes
full-resolution screenshots, accessibility metadata when available,
instantiated goals, intermediate reasoning traces, and both successful and
failed action trajectories. The dataset supports three canonical tasks, GUI
grounding, screen parsing, and action prediction, and a hybrid GUI+API action
space that reflects modern agent designs. Benchmarking state-of-the-art
vision--language models on GUI-360^circ reveals substantial out-of-the-box
shortcomings in grounding and action prediction; supervised fine-tuning and
reinforcement learning yield significant gains but do not close the gap to
human-level reliability. We release GUI-360^circ and accompanying code to
facilitate reproducible research and accelerate progress on robust desktop
CUAs.
The full dataset has been made public on
https://huggingface.co/datasets/vyokky/GUI-360.