GUI-360: Ein umfassender Datensatz und Benchmark für Computer-nutzende Agenten

papers.abstract

Wir stellen GUI-360° vor, einen groß angelegten, umfassenden Datensatz und Benchmark-Suite, der darauf abzielt, computerbasierte Agenten (CUAs) voranzubringen. CUAs stellen einzigartige Herausforderungen dar und sind durch drei anhaltende Lücken eingeschränkt: eine Knappheit an realen CUA-Aufgaben, das Fehlen automatisierter Erfassungs- und Annotationspipelines für multimodale Trajektorien sowie das Fehlen eines einheitlichen Benchmarks, der GUI-Verknüpfung, Bildschirmparsing und Aktionsvorhersage gemeinsam evaluiert. GUI-360° adressiert diese Lücken mit einer LLM-gestützten, weitgehend automatisierten Pipeline für die Abfragebeschaffung, die Konstruktion von Umgebungsvorlagen, die Aufgabeninstanziierung, die gebündelte Ausführung und die LLM-gestützte Qualitätsfilterung. Der veröffentlichte Korpus enthält über 1,2 Millionen ausgeführte Aktionenschritte über Tausende von Trajektorien in gängigen Windows-Office-Anwendungen hinweg und beinhaltet hochauflösende Bildschirmfotos, verfügbare Barrierefreiheits-Metadaten, instanziierte Ziele, Zwischen-Denkprozesse sowie sowohl erfolgreiche als auch fehlgeschlagene Aktionsverläufe. Der Datensatz unterstützt drei kanonische Aufgaben: GUI-Verknüpfung, Bildschirmparsing und Aktionsvorhersage, sowie einen hybriden GUI+API-Aktionsraum, der modernen Agenten-Designs entspricht. Das Benchmarking modernster Vision-Language-Modelle auf GUI-360° zeigt erhebliche Defizite in der Verknüpfung und Aktionsvorhersage ohne Anpassung; überwachte Feinabstimmung und bestärkendes Lernen erzielen signifikante Verbesserungen, schließen die Lücke zur menschlichen Zuverlässigkeit jedoch nicht. Wir veröffentlichen GUI-360° und begleitenden Code, um reproduzierbare Forschung zu ermöglichen und Fortschritte bei robusten Desktop-CUAs zu beschleunigen. Der vollständige Datensatz wurde öffentlich auf https://huggingface.co/datasets/vyokky/GUI-360 zugänglich gemacht.

English

We introduce GUI-360^circ, a large-scale, comprehensive dataset and benchmark suite designed to advance computer-using agents (CUAs). CUAs present unique challenges and is constrained by three persistent gaps: a scarcity of real-world CUA tasks, the lack of automated collection-and-annotation pipelines for multi-modal trajectories, and the absence of a unified benchmark that jointly evaluates GUI grounding, screen parsing, and action prediction. GUI-360^circ addresses these gaps with an LLM-augmented, largely automated pipeline for query sourcing, environment-template construction, task instantiation, batched execution, and LLM-driven quality filtering. The released corpus contains over 1.2M executed action steps across thousands of trajectories in popular Windows office applications, and includes full-resolution screenshots, accessibility metadata when available, instantiated goals, intermediate reasoning traces, and both successful and failed action trajectories. The dataset supports three canonical tasks, GUI grounding, screen parsing, and action prediction, and a hybrid GUI+API action space that reflects modern agent designs. Benchmarking state-of-the-art vision--language models on GUI-360^circ reveals substantial out-of-the-box shortcomings in grounding and action prediction; supervised fine-tuning and reinforcement learning yield significant gains but do not close the gap to human-level reliability. We release GUI-360^circ and accompanying code to facilitate reproducible research and accelerate progress on robust desktop CUAs. The full dataset has been made public on https://huggingface.co/datasets/vyokky/GUI-360.

GUI-360: Ein umfassender Datensatz und Benchmark für Computer-nutzende Agenten

GUI-360: A Comprehensive Dataset and Benchmark for Computer-Using Agents

papers.abstract

Support