AndroidLab: Treinamento e Avaliação Sistemática de Agentes Autônomos Android

AndroidLab: Training and Systematic Benchmarking of Android Autonomous Agents

October 31, 2024

Autores: Yifan Xu, Xiao Liu, Xueqiao Sun, Siyi Cheng, Hao Yu, Hanyu Lai, Shudan Zhang, Dan Zhang, Jie Tang, Yuxiao Dong

cs.AI

Resumo

Agentes autônomos tornaram-se cada vez mais importantes para interagir com o mundo real. Agentes Android, em particular, têm sido recentemente um método de interação frequentemente mencionado. No entanto, estudos existentes para treinar e avaliar agentes Android carecem de pesquisa sistemática em modelos de código aberto e proprietários. Neste trabalho, propomos o AndroidLab como um framework sistemático para agentes Android. Ele inclui um ambiente operacional com diferentes modalidades, espaço de ação e um benchmark reprodutível. Ele suporta tanto grandes modelos de linguagem (LLMs) quanto modelos multimodais (LMMs) no mesmo espaço de ação. O benchmark do AndroidLab inclui dispositivos virtuais Android predefinidos e 138 tarefas em nove aplicativos construídos nesses dispositivos. Ao utilizar o ambiente AndroidLab, desenvolvemos um conjunto de dados de instruções Android e treinamos seis LLMs e LMMs de código aberto, aumentando as taxas médias de sucesso de 4,59% para 21,50% para LLMs e de 1,93% para 13,28% para LMMs. O AndroidLab é de código aberto e está disponível publicamente em https://github.com/THUDM/Android-Lab.

English

Autonomous agents have become increasingly important for interacting with the real world. Android agents, in particular, have been recently a frequently-mentioned interaction method. However, existing studies for training and evaluating Android agents lack systematic research on both open-source and closed-source models. In this work, we propose AndroidLab as a systematic Android agent framework. It includes an operation environment with different modalities, action space, and a reproducible benchmark. It supports both large language models (LLMs) and multimodal models (LMMs) in the same action space. AndroidLab benchmark includes predefined Android virtual devices and 138 tasks across nine apps built on these devices. By using the AndroidLab environment, we develop an Android Instruction dataset and train six open-source LLMs and LMMs, lifting the average success rates from 4.59% to 21.50% for LLMs and from 1.93% to 13.28% for LMMs. AndroidLab is open-sourced and publicly available at https://github.com/THUDM/Android-Lab.