Agente-Móvil-E: Asistente Móvil Autoevolutivo para Tareas Complejas

Mobile-Agent-E: Self-Evolving Mobile Assistant for Complex Tasks

January 20, 2025

Autores: Zhenhailong Wang, Haiyang Xu, Junyang Wang, Xi Zhang, Ming Yan, Ji Zhang, Fei Huang, Heng Ji

cs.AI

Resumen

Los teléfonos inteligentes se han vuelto indispensables en la vida moderna, sin embargo, la realización de tareas complejas en dispositivos móviles a menudo sigue siendo frustrante. Los avances recientes en agentes móviles basados en modelos multimodales grandes (LMM) han demostrado la capacidad de percibir y actuar en entornos móviles. Sin embargo, los enfoques actuales enfrentan limitaciones significativas: no logran abordar las necesidades humanas del mundo real, tienen dificultades con tareas intensivas en razonamiento y a largo plazo, y carecen de mecanismos para aprender y mejorar a partir de experiencias previas. Para superar estos desafíos, presentamos Mobile-Agent-E, un marco jerárquico de múltiples agentes capaz de autoevolucionar a través de experiencias pasadas. Por jerárquico, nos referimos a una separación explícita de la planificación de alto nivel y la ejecución de acciones de bajo nivel. El marco comprende un Gerente, responsable de idear planes generales desglosando tareas complejas en submetas, y cuatro agentes subordinados: Perceptor, Operador, Reflector de Acción y Tomador de Notas, que manejan percepción visual detallada, ejecución de acciones inmediatas, verificación de errores y agregación de información, respectivamente. Mobile-Agent-E también cuenta con un módulo de autoevolución novedoso que mantiene una memoria a largo plazo persistente que incluye Consejos y Atajos. Los Consejos son orientaciones generales y lecciones aprendidas de tareas anteriores sobre cómo interactuar efectivamente con el entorno. Los Atajos son secuencias reutilizables y ejecutables de operaciones atómicas adaptadas para subrutinas específicas. La inclusión de Consejos y Atajos facilita el refinamiento continuo en rendimiento y eficiencia. Junto con este marco, presentamos Mobile-Eval-E, un nuevo punto de referencia que presenta tareas móviles complejas que requieren interacciones de múltiples aplicaciones a largo plazo. Los resultados empíricos muestran que Mobile-Agent-E logra una mejora absoluta del 22% sobre enfoques anteriores de vanguardia en tres estructuras de modelos base. Página del proyecto: https://x-plug.github.io/MobileAgent.

English

Smartphones have become indispensable in modern life, yet navigating complex tasks on mobile devices often remains frustrating. Recent advancements in large multimodal model (LMM)-based mobile agents have demonstrated the ability to perceive and act in mobile environments. However, current approaches face significant limitations: they fall short in addressing real-world human needs, struggle with reasoning-intensive and long-horizon tasks, and lack mechanisms to learn and improve from prior experiences. To overcome these challenges, we introduce Mobile-Agent-E, a hierarchical multi-agent framework capable of self-evolution through past experience. By hierarchical, we mean an explicit separation of high-level planning and low-level action execution. The framework comprises a Manager, responsible for devising overall plans by breaking down complex tasks into subgoals, and four subordinate agents--Perceptor, Operator, Action Reflector, and Notetaker--which handle fine-grained visual perception, immediate action execution, error verification, and information aggregation, respectively. Mobile-Agent-E also features a novel self-evolution module which maintains a persistent long-term memory comprising Tips and Shortcuts. Tips are general guidance and lessons learned from prior tasks on how to effectively interact with the environment. Shortcuts are reusable, executable sequences of atomic operations tailored for specific subroutines. The inclusion of Tips and Shortcuts facilitates continuous refinement in performance and efficiency. Alongside this framework, we introduce Mobile-Eval-E, a new benchmark featuring complex mobile tasks requiring long-horizon, multi-app interactions. Empirical results show that Mobile-Agent-E achieves a 22% absolute improvement over previous state-of-the-art approaches across three foundation model backbones. Project page: https://x-plug.github.io/MobileAgent.