AMEX: Dataset Android Multi-annotazione Expo per Agenti GUI Mobili

Abstract

Gli agenti AI hanno attirato un'attenzione crescente principalmente per la loro capacità di percepire ambienti, comprendere compiti e raggiungere obiettivi in modo autonomo. Per avanzare la ricerca sugli agenti AI in scenari mobili, introduciamo l'Android Multi-annotation EXpo (AMEX), un dataset completo e su larga scala progettato per agenti generalisti di controllo dell'interfaccia grafica (GUI) mobile. Le loro capacità di completare compiti complessi interagendo direttamente con l'interfaccia grafica su dispositivi mobili vengono addestrate e valutate con il dataset proposto. AMEX comprende oltre 104K screenshot ad alta risoluzione provenienti da 110 applicazioni mobili popolari, annotati a più livelli. A differenza dei dataset esistenti per il controllo di dispositivi mobili, come MoTIF, AitW, ecc., AMEX include tre livelli di annotazioni: individuazione degli elementi interattivi della GUI, descrizioni delle funzionalità dello schermo e degli elementi della GUI, e istruzioni complesse in linguaggio naturale, ciascuna con una media di 13 passi con catene di azioni GUI passo-passo. Abbiamo sviluppato questo dataset da una prospettiva più istruttiva e dettagliata, integrando le impostazioni generali dei dataset esistenti. Inoltre, sviluppiamo un modello di base chiamato SPHINX Agent e confrontiamo le sue prestazioni con quelle degli agenti all'avanguardia addestrati su altri dataset. Per facilitare ulteriori ricerche, rendiamo disponibili in open source il nostro dataset, i modelli e gli strumenti di valutazione pertinenti. Il progetto è disponibile all'indirizzo https://yuxiangchai.github.io/AMEX/.

English

AI agents have drawn increasing attention mostly on their ability to perceive environments, understand tasks, and autonomously achieve goals. To advance research on AI agents in mobile scenarios, we introduce the Android Multi-annotation EXpo (AMEX), a comprehensive, large-scale dataset designed for generalist mobile GUI-control agents. Their capabilities of completing complex tasks by directly interacting with the graphical user interface (GUI) on mobile devices are trained and evaluated with the proposed dataset. AMEX comprises over 104K high-resolution screenshots from 110 popular mobile applications, which are annotated at multiple levels. Unlike existing mobile device-control datasets, e.g., MoTIF, AitW, etc., AMEX includes three levels of annotations: GUI interactive element grounding, GUI screen and element functionality descriptions, and complex natural language instructions, each averaging 13 steps with stepwise GUI-action chains. We develop this dataset from a more instructive and detailed perspective, complementing the general settings of existing datasets. Additionally, we develop a baseline model SPHINX Agent and compare its performance across state-of-the-art agents trained on other datasets. To facilitate further research, we open-source our dataset, models, and relevant evaluation tools. The project is available at https://yuxiangchai.github.io/AMEX/

AMEX: Dataset Android Multi-annotazione Expo per Agenti GUI Mobili

AMEX: Android Multi-annotation Expo Dataset for Mobile GUI Agents

Abstract

Support