GUI-360: Комплексный набор данных и эталонный тест для агентов, взаимодействующих с компьютером
GUI-360: A Comprehensive Dataset and Benchmark for Computer-Using Agents
November 6, 2025
Авторы: Jian Mu, Chaoyun Zhang, Chiming Ni, Lu Wang, Bo Qiao, Kartik Mathur, Qianhui Wu, Yuhang Xie, Xiaojun Ma, Mengyu Zhou, Si Qin, Liqun Li, Yu Kang, Minghua Ma, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang
cs.AI
Аннотация
Мы представляем GUI-360° — масштабный, комплексный набор данных и набор тестов, предназначенный для продвижения компьютерных агентов (CUA). CUA представляют уникальные проблемы и ограничены тремя устойчивыми пробелами: нехваткой реальных задач для CUA, отсутствием автоматизированных конвейеров сбора и аннотирования мультимодальных траекторий и отсутствием унифицированного теста, который совместно оценивает граундинг в GUI, парсинг экрана и предсказание действий.
GUI-360° решает эти пробелы с помощью усиленного LLM-ами, в значительной степени автоматизированного конвейера для поиска запросов, построения шаблонов окружений, инстанцирования задач, пакетного выполнения и LLM-управляемой фильтрации по качеству. Опубликованный корпус содержит более 1,2 миллиона выполненных шагов действий в тысячах траекторий в популярных офисных приложениях Windows и включает скриншоты в полном разрешении, метаданные доступности (при их наличии), конкретизированные цели, промежуточные трассировки рассуждений, а также как успешные, так и неудачные траектории действий. Набор данных поддерживает три канонические задачи — граундинг в GUI, парсинг экрана и предсказание действий — и гибридное пространство действий GUI+API, отражающее современные архитектуры агентов.
Тестирование передовых моделей «визуальный язык» на GUI-360° выявляет существенные недостатки «из коробки» в граундинге и предсказании действий; контролируемое тонкое обучение и обучение с подкреплением дают значительное улучшение, но не закрывают разрыв с надежностью человеческого уровня. Мы публикуем GUI-360° и сопутствующий код, чтобы способствовать воспроизводимым исследованиям и ускорить прогресс в создании надежных настольных CUA.
Полный набор данных был опубликован по адресу: https://huggingface.co/datasets/vyokky/GUI-360.
English
We introduce GUI-360^circ, a large-scale, comprehensive dataset and
benchmark suite designed to advance computer-using agents (CUAs). CUAs present
unique challenges and is constrained by three persistent gaps: a scarcity of
real-world CUA tasks, the lack of automated collection-and-annotation pipelines
for multi-modal trajectories, and the absence of a unified benchmark that
jointly evaluates GUI grounding, screen parsing, and action prediction.
GUI-360^circ addresses these gaps with an LLM-augmented, largely automated
pipeline for query sourcing, environment-template construction, task
instantiation, batched execution, and LLM-driven quality filtering. The
released corpus contains over 1.2M executed action steps across thousands of
trajectories in popular Windows office applications, and includes
full-resolution screenshots, accessibility metadata when available,
instantiated goals, intermediate reasoning traces, and both successful and
failed action trajectories. The dataset supports three canonical tasks, GUI
grounding, screen parsing, and action prediction, and a hybrid GUI+API action
space that reflects modern agent designs. Benchmarking state-of-the-art
vision--language models on GUI-360^circ reveals substantial out-of-the-box
shortcomings in grounding and action prediction; supervised fine-tuning and
reinforcement learning yield significant gains but do not close the gap to
human-level reliability. We release GUI-360^circ and accompanying code to
facilitate reproducible research and accelerate progress on robust desktop
CUAs.
The full dataset has been made public on
https://huggingface.co/datasets/vyokky/GUI-360.