AMEX: Conjunto de datos de exposición multi-anotación para agentes de GUI móviles en Android

AMEX: Android Multi-annotation Expo Dataset for Mobile GUI Agents

July 3, 2024

Autores: Yuxiang Chai, Siyuan Huang, Yazhe Niu, Han Xiao, Liang Liu, Dingyu Zhang, Peng Gao, Shuai Ren, Hongsheng Li

cs.AI

Resumen

Los agentes de IA han atraído una atención creciente principalmente por su capacidad para percibir entornos, comprender tareas y lograr objetivos de forma autónoma. Para avanzar en la investigación sobre agentes de IA en escenarios móviles, presentamos el Android Multi-annotation EXpo (AMEX), un conjunto de datos exhaustivo y a gran escala diseñado para agentes generalistas de control de GUI móvil. Sus capacidades para completar tareas complejas mediante la interacción directa con la interfaz gráfica de usuario (GUI) en dispositivos móviles se entrenan y evalúan con el conjunto de datos propuesto. AMEX consta de más de 104 mil capturas de pantalla de alta resolución de 110 aplicaciones móviles populares, las cuales están anotadas en varios niveles. A diferencia de conjuntos de datos existentes para el control de dispositivos móviles, como MoTIF, AitW, etc., AMEX incluye tres niveles de anotaciones: fundamentos de elementos interactivos de GUI, descripciones de pantalla y elementos de GUI, e instrucciones complejas en lenguaje natural, cada una con un promedio de 13 pasos con cadenas de acciones de GUI paso a paso. Desarrollamos este conjunto de datos desde una perspectiva más instructiva y detallada, complementando la configuración general de los conjuntos de datos existentes. Además, creamos un modelo base, el Agente SPHINX, y comparamos su rendimiento con el de agentes de vanguardia entrenados en otros conjuntos de datos. Para facilitar investigaciones adicionales, hemos hecho de código abierto nuestro conjunto de datos, modelos y herramientas de evaluación relevantes. El proyecto está disponible en https://yuxiangchai.github.io/AMEX/

English

AI agents have drawn increasing attention mostly on their ability to perceive environments, understand tasks, and autonomously achieve goals. To advance research on AI agents in mobile scenarios, we introduce the Android Multi-annotation EXpo (AMEX), a comprehensive, large-scale dataset designed for generalist mobile GUI-control agents. Their capabilities of completing complex tasks by directly interacting with the graphical user interface (GUI) on mobile devices are trained and evaluated with the proposed dataset. AMEX comprises over 104K high-resolution screenshots from 110 popular mobile applications, which are annotated at multiple levels. Unlike existing mobile device-control datasets, e.g., MoTIF, AitW, etc., AMEX includes three levels of annotations: GUI interactive element grounding, GUI screen and element functionality descriptions, and complex natural language instructions, each averaging 13 steps with stepwise GUI-action chains. We develop this dataset from a more instructive and detailed perspective, complementing the general settings of existing datasets. Additionally, we develop a baseline model SPHINX Agent and compare its performance across state-of-the-art agents trained on other datasets. To facilitate further research, we open-source our dataset, models, and relevant evaluation tools. The project is available at https://yuxiangchai.github.io/AMEX/