AMEX: Conjunto de Dados de Multi-anotação Android para Agentes de GUI Móvel

AMEX: Android Multi-annotation Expo Dataset for Mobile GUI Agents

July 3, 2024

Autores: Yuxiang Chai, Siyuan Huang, Yazhe Niu, Han Xiao, Liang Liu, Dingyu Zhang, Peng Gao, Shuai Ren, Hongsheng Li

cs.AI

Resumo

Agentes de IA têm atraído crescente atenção principalmente por sua capacidade de perceber ambientes, entender tarefas e alcançar objetivos autonomamente. Para avançar na pesquisa sobre agentes de IA em cenários móveis, apresentamos o Android Multi-annotation EXpo (AMEX), um conjunto de dados abrangente em grande escala projetado para agentes de controle de GUI móvel generalistas. Suas capacidades de completar tarefas complexas interagindo diretamente com a interface gráfica do usuário (GUI) em dispositivos móveis são treinadas e avaliadas com o conjunto de dados proposto. AMEX é composto por mais de 104 mil capturas de tela de alta resolução de 110 aplicativos móveis populares, que são anotados em vários níveis. Ao contrário de conjuntos de dados existentes de controle de dispositivos móveis, como MoTIF, AitW, etc., AMEX inclui três níveis de anotações: fundamentação de elementos interativos da GUI, descrições de tela e elementos da GUI e instruções complexas em linguagem natural, cada uma com uma média de 13 etapas com cadeias de ações da GUI passo a passo. Desenvolvemos este conjunto de dados a partir de uma perspectiva mais instrutiva e detalhada, complementando as configurações gerais de conjuntos de dados existentes. Além disso, desenvolvemos um modelo de referência, o Agente SPHINX, e comparamos seu desempenho com agentes de última geração treinados em outros conjuntos de dados. Para facilitar pesquisas futuras, disponibilizamos nosso conjunto de dados, modelos e ferramentas de avaliação relevantes em código aberto. O projeto está disponível em https://yuxiangchai.github.io/AMEX/

English

AI agents have drawn increasing attention mostly on their ability to perceive environments, understand tasks, and autonomously achieve goals. To advance research on AI agents in mobile scenarios, we introduce the Android Multi-annotation EXpo (AMEX), a comprehensive, large-scale dataset designed for generalist mobile GUI-control agents. Their capabilities of completing complex tasks by directly interacting with the graphical user interface (GUI) on mobile devices are trained and evaluated with the proposed dataset. AMEX comprises over 104K high-resolution screenshots from 110 popular mobile applications, which are annotated at multiple levels. Unlike existing mobile device-control datasets, e.g., MoTIF, AitW, etc., AMEX includes three levels of annotations: GUI interactive element grounding, GUI screen and element functionality descriptions, and complex natural language instructions, each averaging 13 steps with stepwise GUI-action chains. We develop this dataset from a more instructive and detailed perspective, complementing the general settings of existing datasets. Additionally, we develop a baseline model SPHINX Agent and compare its performance across state-of-the-art agents trained on other datasets. To facilitate further research, we open-source our dataset, models, and relevant evaluation tools. The project is available at https://yuxiangchai.github.io/AMEX/