AndroidLab: Обучение и систематическое тестирование автономных агентов Android

AndroidLab: Training and Systematic Benchmarking of Android Autonomous Agents

October 31, 2024

Авторы: Yifan Xu, Xiao Liu, Xueqiao Sun, Siyi Cheng, Hao Yu, Hanyu Lai, Shudan Zhang, Dan Zhang, Jie Tang, Yuxiao Dong

cs.AI

Аннотация

Автономные агенты становятся все более важными для взаимодействия с реальным миром. Агенты Android, в частности, недавно стали часто упоминаемым методом взаимодействия. Однако существующие исследования по обучению и оценке агентов Android не имеют систематических исследований как по открытым, так и по закрытым моделям. В данной работе мы предлагаем AndroidLab как систематическую платформу для агентов Android. Она включает в себя рабочее окружение с различными модальностями, пространство действий и воспроизводимый бенчмарк. Платформа поддерживает как большие языковые модели (LLM), так и мультимодальные модели (LMM) в одном пространстве действий. Бенчмарк AndroidLab включает предопределенные виртуальные устройства Android и 138 задач по девяти приложениям, построенным на этих устройствах. Используя среду AndroidLab, мы разрабатываем набор данных Android Instruction и обучаем шесть открытых моделей LLM и LMM, увеличивая средние показатели успешности с 4.59% до 21.50% для LLM и с 1.93% до 13.28% для LMM. AndroidLab является открытым и доступным публично по адресу https://github.com/THUDM/Android-Lab.

English

Autonomous agents have become increasingly important for interacting with the real world. Android agents, in particular, have been recently a frequently-mentioned interaction method. However, existing studies for training and evaluating Android agents lack systematic research on both open-source and closed-source models. In this work, we propose AndroidLab as a systematic Android agent framework. It includes an operation environment with different modalities, action space, and a reproducible benchmark. It supports both large language models (LLMs) and multimodal models (LMMs) in the same action space. AndroidLab benchmark includes predefined Android virtual devices and 138 tasks across nine apps built on these devices. By using the AndroidLab environment, we develop an Android Instruction dataset and train six open-source LLMs and LMMs, lifting the average success rates from 4.59% to 21.50% for LLMs and from 1.93% to 13.28% for LMMs. AndroidLab is open-sourced and publicly available at https://github.com/THUDM/Android-Lab.