AMEX: Android Multi-annotatie Expo Dataset voor Mobiele GUI Agents

Samenvatting

AI-agents hebben steeds meer aandacht gekregen, vooral vanwege hun vermogen om omgevingen waar te nemen, taken te begrijpen en doelen autonoom te bereiken. Om onderzoek naar AI-agents in mobiele scenario's te bevorderen, introduceren we de Android Multi-annotation EXpo (AMEX), een uitgebreide, grootschalige dataset ontworpen voor generalistische mobiele GUI-besturingsagents. Hun vermogen om complexe taken uit te voeren door direct te interacteren met de grafische gebruikersinterface (GUI) op mobiele apparaten wordt getraind en geëvalueerd met de voorgestelde dataset. AMEX omvat meer dan 104K hoogwaardige schermafbeeldingen van 110 populaire mobiele applicaties, die op meerdere niveaus zijn geannoteerd. In tegenstelling tot bestaande datasets voor mobiele apparaatbesturing, zoals MoTIF en AitW, bevat AMEX drie niveaus van annotaties: GUI-interactieve elementen lokaliseren, GUI-scherm- en elementfunctionaliteitsbeschrijvingen, en complexe natuurlijke taal-instructies, elk gemiddeld 13 stappen met stapsgewijze GUI-actieketens. We ontwikkelen deze dataset vanuit een meer instructief en gedetailleerd perspectief, waardoor de algemene instellingen van bestaande datasets worden aangevuld. Daarnaast ontwikkelen we een basismodel, de SPHINX Agent, en vergelijken we de prestaties ervan met state-of-the-art agents die op andere datasets zijn getraind. Om verder onderzoek te faciliteren, maken we onze dataset, modellen en relevante evaluatietools openbaar. Het project is beschikbaar op https://yuxiangchai.github.io/AMEX/.

English

AI agents have drawn increasing attention mostly on their ability to perceive environments, understand tasks, and autonomously achieve goals. To advance research on AI agents in mobile scenarios, we introduce the Android Multi-annotation EXpo (AMEX), a comprehensive, large-scale dataset designed for generalist mobile GUI-control agents. Their capabilities of completing complex tasks by directly interacting with the graphical user interface (GUI) on mobile devices are trained and evaluated with the proposed dataset. AMEX comprises over 104K high-resolution screenshots from 110 popular mobile applications, which are annotated at multiple levels. Unlike existing mobile device-control datasets, e.g., MoTIF, AitW, etc., AMEX includes three levels of annotations: GUI interactive element grounding, GUI screen and element functionality descriptions, and complex natural language instructions, each averaging 13 steps with stepwise GUI-action chains. We develop this dataset from a more instructive and detailed perspective, complementing the general settings of existing datasets. Additionally, we develop a baseline model SPHINX Agent and compare its performance across state-of-the-art agents trained on other datasets. To facilitate further research, we open-source our dataset, models, and relevant evaluation tools. The project is available at https://yuxiangchai.github.io/AMEX/

AMEX: Android Multi-annotatie Expo Dataset voor Mobiele GUI Agents

AMEX: Android Multi-annotation Expo Dataset for Mobile GUI Agents

Samenvatting

Support