MobA: Um Sistema de Agente em Dois Níveis para Automação Eficiente de Tarefas Móveis

MobA: A Two-Level Agent System for Efficient Mobile Task Automation

October 17, 2024

Autores: Zichen Zhu, Hao Tang, Yansi Li, Kunyao Lan, Yixuan Jiang, Hao Zhou, Yixiao Wang, Situo Zhang, Liangtai Sun, Lu Chen, Kai Yu

cs.AI

Resumo

Os assistentes móveis atuais são limitados pela dependência de APIs do sistema ou têm dificuldades com instruções complexas dos usuários e interfaces diversas devido a habilidades restritas de compreensão e tomada de decisão. Para enfrentar esses desafios, propomos o MobA, um novo Agente de Telefone Móvel alimentado por modelos de linguagem multimodais que aprimoram as capacidades de compreensão e planejamento por meio de uma sofisticada arquitetura de agente em dois níveis. O Agente Global de alto nível (GA) é responsável por entender os comandos do usuário, rastrear memórias de histórico e planejar tarefas. O Agente Local de baixo nível (LA) prevê ações detalhadas na forma de chamadas de função, guiadas por subtarefas e memória do GA. A integração de um Módulo de Reflexão permite a conclusão eficiente de tarefas e capacita o sistema a lidar com tarefas complexas previamente não vistas. O MobA demonstra melhorias significativas na eficiência de execução de tarefas e na taxa de conclusão em avaliações da vida real, destacando o potencial dos assistentes móveis potencializados por MLLM.

English

Current mobile assistants are limited by dependence on system APIs or struggle with complex user instructions and diverse interfaces due to restricted comprehension and decision-making abilities. To address these challenges, we propose MobA, a novel Mobile phone Agent powered by multimodal large language models that enhances comprehension and planning capabilities through a sophisticated two-level agent architecture. The high-level Global Agent (GA) is responsible for understanding user commands, tracking history memories, and planning tasks. The low-level Local Agent (LA) predicts detailed actions in the form of function calls, guided by sub-tasks and memory from the GA. Integrating a Reflection Module allows for efficient task completion and enables the system to handle previously unseen complex tasks. MobA demonstrates significant improvements in task execution efficiency and completion rate in real-life evaluations, underscoring the potential of MLLM-empowered mobile assistants.