GUI-360: Un Conjunto de Datos y Punto de Referencia Integral para Agentes de Interacción con Ordenadores

Resumen

Presentamos GUI-360°, un conjunto de datos a gran escala y exhaustivo, junto con un conjunto de pruebas de referencia, diseñado para impulsar el avance de los agentes de uso informático (CUA, por sus siglas en inglés). Los CUA presentan desafíos únicos y están limitados por tres brechas persistentes: la escasez de tareas realistas para CUA, la falta de pipelines automatizados de recopilación y anotación para trayectorias multimodales, y la ausencia de una prueba de referencia unificada que evalúe conjuntamente el grounding en la GUI, el análisis de pantalla y la predicción de acciones. GUI-360° aborda estas brechas con una pipeline aumentada por LLM y en gran medida automatizada para la obtención de consultas, la construcción de plantillas de entorno, la instanciación de tareas, la ejecución por lotes y el filtrado de calidad impulsado por LLM. El corpus publicado contiene más de 1.2 millones de pasos de acción ejecutados a lo largo de miles de trayectorias en aplicaciones populares de oficina de Windows, e incluye capturas de pantalla en resolución completa, metadatos de accesibilidad cuando están disponibles, objetivos instanciados, trazas de razonamiento intermedias y trayectorias de acción tanto exitosas como fallidas. El conjunto de datos admite tres tareas canónicas: grounding en la GUI, análisis de pantalla y predicción de acciones, así como un espacio de acciones híbrido GUI+API que refleja los diseños modernos de agentes. La evaluación de modelos de última generación de visión y lenguaje en GUI-360° revela deficiencias sustanciales inmediatas en el grounding y la predicción de acciones; el ajuste fino supervisado y el aprendizaje por refuerzo producen mejoras significativas, pero no logran alcanzar la confiabilidad a nivel humano. Publicamos GUI-360° y el código asociado para facilitar la investigación reproducible y acelerar el progreso en el desarrollo de CUA robustos para entornos de escritorio. El conjunto de datos completo ha sido hecho público en https://huggingface.co/datasets/vyokky/GUI-360.

English

We introduce GUI-360^circ, a large-scale, comprehensive dataset and benchmark suite designed to advance computer-using agents (CUAs). CUAs present unique challenges and is constrained by three persistent gaps: a scarcity of real-world CUA tasks, the lack of automated collection-and-annotation pipelines for multi-modal trajectories, and the absence of a unified benchmark that jointly evaluates GUI grounding, screen parsing, and action prediction. GUI-360^circ addresses these gaps with an LLM-augmented, largely automated pipeline for query sourcing, environment-template construction, task instantiation, batched execution, and LLM-driven quality filtering. The released corpus contains over 1.2M executed action steps across thousands of trajectories in popular Windows office applications, and includes full-resolution screenshots, accessibility metadata when available, instantiated goals, intermediate reasoning traces, and both successful and failed action trajectories. The dataset supports three canonical tasks, GUI grounding, screen parsing, and action prediction, and a hybrid GUI+API action space that reflects modern agent designs. Benchmarking state-of-the-art vision--language models on GUI-360^circ reveals substantial out-of-the-box shortcomings in grounding and action prediction; supervised fine-tuning and reinforcement learning yield significant gains but do not close the gap to human-level reliability. We release GUI-360^circ and accompanying code to facilitate reproducible research and accelerate progress on robust desktop CUAs. The full dataset has been made public on https://huggingface.co/datasets/vyokky/GUI-360.

GUI-360: Un Conjunto de Datos y Punto de Referencia Integral para Agentes de Interacción con Ordenadores

GUI-360: A Comprehensive Dataset and Benchmark for Computer-Using Agents

Resumen

Support