AndroidLab：Android自律エージェントのトレーニングと体系的なベンチマーキング

AndroidLab: Training and Systematic Benchmarking of Android Autonomous Agents

October 31, 2024

著者: Yifan Xu, Xiao Liu, Xueqiao Sun, Siyi Cheng, Hao Yu, Hanyu Lai, Shudan Zhang, Dan Zhang, Jie Tang, Yuxiao Dong

cs.AI

要旨

自律エージェントは、現実世界とのやり取りにおいてますます重要になっています。特に、Android エージェントは最近、頻繁に言及されるやり取り方法となっています。ただし、既存の Android エージェントのトレーニングと評価に関する研究は、オープンソースおよびクローズドソースのモデルの両方について系統的な研究が不足しています。本研究では、Android エージェントのシステム的なフレームワークとして AndroidLab を提案します。これには、異なるモダリティ、アクションスペース、再現可能なベンチマークを備えた操作環境が含まれています。また、同じアクションスペースで大規模言語モデル（LLMs）とマルチモーダルモデル（LMMs）の両方をサポートしています。AndroidLab ベンチマークには、事前定義された Android 仮想デバイスとこれらのデバイス上に構築された 9 つのアプリにまたがる 138 のタスクが含まれています。AndroidLab 環境を使用して、Android Instruction データセットを開発し、6 つのオープンソースの LLMs および LMMs をトレーニングしました。これにより、LLMs の平均成功率が 4.59% から 21.50%、LMMs の平均成功率が 1.93% から 13.28% に向上しました。AndroidLab はオープンソースであり、https://github.com/THUDM/Android-Lab で公開されています。

English

Autonomous agents have become increasingly important for interacting with the real world. Android agents, in particular, have been recently a frequently-mentioned interaction method. However, existing studies for training and evaluating Android agents lack systematic research on both open-source and closed-source models. In this work, we propose AndroidLab as a systematic Android agent framework. It includes an operation environment with different modalities, action space, and a reproducible benchmark. It supports both large language models (LLMs) and multimodal models (LMMs) in the same action space. AndroidLab benchmark includes predefined Android virtual devices and 138 tasks across nine apps built on these devices. By using the AndroidLab environment, we develop an Android Instruction dataset and train six open-source LLMs and LMMs, lifting the average success rates from 4.59% to 21.50% for LLMs and from 1.93% to 13.28% for LMMs. AndroidLab is open-sourced and publicly available at https://github.com/THUDM/Android-Lab.