Mobile-Agent-E: Assistente Mobile Auto-evolutivo per Compiti Complessi

Mobile-Agent-E: Self-Evolving Mobile Assistant for Complex Tasks

January 20, 2025

Autori: Zhenhailong Wang, Haiyang Xu, Junyang Wang, Xi Zhang, Ming Yan, Ji Zhang, Fei Huang, Heng Ji

cs.AI

Abstract

Gli smartphone sono diventati indispensabili nella vita moderna, tuttavia affrontare compiti complessi sui dispositivi mobili rimane spesso frustrante. I recenti progressi nei modelli multimodali di grandi dimensioni (LMM) basati su agenti mobili hanno dimostrato la capacità di percepire e agire negli ambienti mobili. Tuttavia, gli approcci attuali presentano significative limitazioni: non riescono ad affrontare le reali esigenze umane, faticano con compiti che richiedono ragionamento intensivo e a lungo termine, e mancano di meccanismi per imparare e migliorare dalle esperienze precedenti. Per superare queste sfide, presentiamo Mobile-Agent-E, un framework gerarchico multi-agente in grado di auto-evolversi attraverso esperienze passate. Per gerarchico intendiamo una separazione esplicita tra la pianificazione ad alto livello e l'esecuzione delle azioni a basso livello. Il framework è composto da un Manager, responsabile della pianificazione generale suddividendo compiti complessi in sotto-obiettivi, e quattro agenti subordinati - Perceptor, Operator, Action Reflector e Notetaker - che gestiscono rispettivamente la percezione visiva dettagliata, l'esecuzione immediata delle azioni, la verifica degli errori e l'aggregazione delle informazioni. Mobile-Agent-E include anche un modulo di auto-evoluzione innovativo che mantiene una memoria a lungo termine persistente comprendente Suggerimenti e Scorciatoie. I Suggerimenti sono indicazioni generali e lezioni apprese da compiti precedenti su come interagire efficacemente con l'ambiente. Le Scorciatoie sono sequenze riutilizzabili ed eseguibili di operazioni atomiche adattate a subroutine specifiche. L'inclusione di Suggerimenti e Scorciatoie facilita il continuo perfezionamento delle prestazioni e dell'efficienza. Insieme a questo framework, presentiamo Mobile-Eval-E, un nuovo benchmark che include compiti mobili complessi che richiedono interazioni a lungo termine tra più app. I risultati empirici mostrano che Mobile-Agent-E ottiene un miglioramento assoluto del 22% rispetto agli approcci precedenti allo stato dell'arte su tre fondamentali modelli di base. Pagina del progetto: https://x-plug.github.io/MobileAgent.

English

Smartphones have become indispensable in modern life, yet navigating complex tasks on mobile devices often remains frustrating. Recent advancements in large multimodal model (LMM)-based mobile agents have demonstrated the ability to perceive and act in mobile environments. However, current approaches face significant limitations: they fall short in addressing real-world human needs, struggle with reasoning-intensive and long-horizon tasks, and lack mechanisms to learn and improve from prior experiences. To overcome these challenges, we introduce Mobile-Agent-E, a hierarchical multi-agent framework capable of self-evolution through past experience. By hierarchical, we mean an explicit separation of high-level planning and low-level action execution. The framework comprises a Manager, responsible for devising overall plans by breaking down complex tasks into subgoals, and four subordinate agents--Perceptor, Operator, Action Reflector, and Notetaker--which handle fine-grained visual perception, immediate action execution, error verification, and information aggregation, respectively. Mobile-Agent-E also features a novel self-evolution module which maintains a persistent long-term memory comprising Tips and Shortcuts. Tips are general guidance and lessons learned from prior tasks on how to effectively interact with the environment. Shortcuts are reusable, executable sequences of atomic operations tailored for specific subroutines. The inclusion of Tips and Shortcuts facilitates continuous refinement in performance and efficiency. Alongside this framework, we introduce Mobile-Eval-E, a new benchmark featuring complex mobile tasks requiring long-horizon, multi-app interactions. Empirical results show that Mobile-Agent-E achieves a 22% absolute improvement over previous state-of-the-art approaches across three foundation model backbones. Project page: https://x-plug.github.io/MobileAgent.