Agente Móvel-E: Assistente Móvel Autoevolutivo para Tarefas Complexas

Mobile-Agent-E: Self-Evolving Mobile Assistant for Complex Tasks

January 20, 2025

Autores: Zhenhailong Wang, Haiyang Xu, Junyang Wang, Xi Zhang, Ming Yan, Ji Zhang, Fei Huang, Heng Ji

cs.AI

Resumo

Os smartphones tornaram-se indispensáveis na vida moderna, no entanto, a realização de tarefas complexas em dispositivos móveis frequentemente continua a ser frustrante. Avanços recentes em agentes móveis baseados em grandes modelos multimodais (LMM) demonstraram a capacidade de perceber e agir em ambientes móveis. No entanto, abordagens atuais enfrentam limitações significativas: elas não conseguem atender às necessidades humanas do mundo real, têm dificuldades com tarefas intensivas em raciocínio e de longo prazo, e carecem de mecanismos para aprender e melhorar a partir de experiências anteriores. Para superar esses desafios, apresentamos o Mobile-Agent-E, um framework hierárquico de múltiplos agentes capaz de autoevolução por meio de experiências passadas. Por hierárquico, entendemos uma separação explícita entre planejamento de alto nível e execução de ações de baixo nível. O framework é composto por um Gerente, responsável por elaborar planos gerais desmembrando tarefas complexas em submetas, e quatro agentes subordinados - Perceptor, Operador, Refletor de Ação e Anotador - que lidam com percepção visual detalhada, execução imediata de ações, verificação de erros e agregação de informações, respectivamente. O Mobile-Agent-E também apresenta um módulo de autoevolução inovador que mantém uma memória persistente de longo prazo composta por Dicas e Atalhos. As Dicas são orientações gerais e lições aprendidas de tarefas anteriores sobre como interagir efetivamente com o ambiente. Os Atalhos são sequências reutilizáveis e executáveis de operações atômicas adaptadas para rotinas específicas. A inclusão de Dicas e Atalhos facilita o refinamento contínuo de desempenho e eficiência. Juntamente com este framework, apresentamos o Mobile-Eval-E, um novo benchmark com tarefas móveis complexas que exigem interações de longo prazo entre vários aplicativos. Resultados empíricos mostram que o Mobile-Agent-E alcança uma melhoria absoluta de 22% em relação às abordagens anteriores de ponta em três espinhas dorsais de modelos fundamentais. Página do projeto: https://x-plug.github.io/MobileAgent.

English

Smartphones have become indispensable in modern life, yet navigating complex tasks on mobile devices often remains frustrating. Recent advancements in large multimodal model (LMM)-based mobile agents have demonstrated the ability to perceive and act in mobile environments. However, current approaches face significant limitations: they fall short in addressing real-world human needs, struggle with reasoning-intensive and long-horizon tasks, and lack mechanisms to learn and improve from prior experiences. To overcome these challenges, we introduce Mobile-Agent-E, a hierarchical multi-agent framework capable of self-evolution through past experience. By hierarchical, we mean an explicit separation of high-level planning and low-level action execution. The framework comprises a Manager, responsible for devising overall plans by breaking down complex tasks into subgoals, and four subordinate agents--Perceptor, Operator, Action Reflector, and Notetaker--which handle fine-grained visual perception, immediate action execution, error verification, and information aggregation, respectively. Mobile-Agent-E also features a novel self-evolution module which maintains a persistent long-term memory comprising Tips and Shortcuts. Tips are general guidance and lessons learned from prior tasks on how to effectively interact with the environment. Shortcuts are reusable, executable sequences of atomic operations tailored for specific subroutines. The inclusion of Tips and Shortcuts facilitates continuous refinement in performance and efficiency. Alongside this framework, we introduce Mobile-Eval-E, a new benchmark featuring complex mobile tasks requiring long-horizon, multi-app interactions. Empirical results show that Mobile-Agent-E achieves a 22% absolute improvement over previous state-of-the-art approaches across three foundation model backbones. Project page: https://x-plug.github.io/MobileAgent.