A3: Арена агентов Android для мобильных GUI-агентов

A3: Android Agent Arena for Mobile GUI Agents

January 2, 2025

Авторы: Yuxiang Chai, Hanhao Li, Jiayu Zhang, Liang Liu, Guozhi Wang, Shuai Ren, Siyuan Huang, Hongsheng Li

cs.AI

Аннотация

Искусственные интеллектуальные агенты стали все более распространенными в последние годы, благодаря значительным достижениям в области крупных языковых моделей (LLM). Мобильные GUI-агенты, подмножество искусственных интеллектуальных агентов, разработаны для автономного выполнения задач на мобильных устройствах. Хотя множество исследований представили агентов, наборы данных и бенчмарки для продвижения исследований мобильных GUI-агентов, многие существующие наборы данных сосредоточены на оценках статических кадров и не предоставляют всесторонней платформы для оценки производительности на реальных, в дикой природе задачах. Для решения этого пробела мы представляем Android Agent Arena (A3), новую платформу оценки. В отличие от существующих систем в дикой природе, A3 предлагает: (1) значимые и практические задачи, такие как получение информации онлайн в реальном времени и операционные инструкции; (2) более крупное, более гибкое пространство действий, обеспечивающее совместимость с агентами, обученными на любом наборе данных; и (3) автоматизированный процесс оценки на уровне бизнеса на основе LLM. A3 включает 21 широко используемое общее стороннее приложение и 201 задачу, представляющую типичные сценарии использования пользователей, обеспечивая прочную основу для оценки мобильных GUI-агентов в реальных ситуациях и новый автономный процесс оценки для уменьшения человеческого труда и экспертизы в области кодирования. Проект доступен по адресу https://yuxiangchai.github.io/Android-Agent-Arena/.

English

AI agents have become increasingly prevalent in recent years, driven by significant advancements in the field of large language models (LLMs). Mobile GUI agents, a subset of AI agents, are designed to autonomously perform tasks on mobile devices. While numerous studies have introduced agents, datasets, and benchmarks to advance mobile GUI agent research, many existing datasets focus on static frame evaluations and fail to provide a comprehensive platform for assessing performance on real-world, in-the-wild tasks. To address this gap, we present Android Agent Arena (A3), a novel evaluation platform. Unlike existing in-the-wild systems, A3 offers: (1) meaningful and practical tasks, such as real-time online information retrieval and operational instructions; (2) a larger, more flexible action space, enabling compatibility with agents trained on any dataset; and (3) automated business-level LLM-based evaluation process. A3 includes 21 widely used general third-party apps and 201 tasks representative of common user scenarios, providing a robust foundation for evaluating mobile GUI agents in real-world situations and a new autonomous evaluation process for less human labor and coding expertise. The project is available at https://yuxiangchai.github.io/Android-Agent-Arena/.