複雑なタスクのための自己進化型モバイルアシスタント、Mobile-Agent-E

Mobile-Agent-E: Self-Evolving Mobile Assistant for Complex Tasks

January 20, 2025

著者: Zhenhailong Wang, Haiyang Xu, Junyang Wang, Xi Zhang, Ming Yan, Ji Zhang, Fei Huang, Heng Ji

cs.AI

要旨

現代社会において、スマートフォンは欠かせない存在となっていますが、モバイルデバイス上での複雑なタスクの操作はしばしばストレスを与えます。大規模なマルチモーダルモデル（LMM）に基づくモバイルエージェントの最近の進歩により、モバイル環境での知覚と行動が可能となりました。しかしながら、現行のアプローチには重要な制約があります。それらは、現実世界の人間のニーズに対処するのに不十分であり、推論集約型および長期的なタスクに苦労し、以前の経験から学習し改善するメカニズムが欠如しています。これらの課題を克服するために、私たちはMobile-Agent-Eを導入します。これは、過去の経験を通じて自己進化することができる階層的なマルチエージェントフレームワークです。階層的とは、高レベルの計画と低レベルのアクション実行を明示的に分離することを意味します。このフレームワークには、複雑なタスクをサブゴールに分解して全体の計画を立案するManagerと、細かい視覚認識、即時のアクション実行、エラー検証、情報集約を担当するPerceptor、Operator、Action Reflector、Notetakerの4つの従属エージェントが含まれています。Mobile-Agent-Eには、過去のタスクから学んだ一般的なガイダンスや教訓であるTipsからなる持続的な長期記憶と、特定のサブルーチンに適した再利用可能なアトミック操作のシーケンスであるShortcutsからなる革新的な自己進化モジュールも備わっています。TipsとShortcutsの組み込みにより、パフォーマンスと効率の継続的な改善が促進されます。このフレームワークに加えて、長期的でマルチアプリ間の相互作用を必要とする複雑なモバイルタスクを特徴とする新しいベンチマークMobile-Eval-Eを紹介します。実証結果によると、Mobile-Agent-Eは、3つの基本モデルバックボーン全体で従来の最先端アプローチに比べて22%の絶対的な改善を達成しています。プロジェクトページ：https://x-plug.github.io/MobileAgent。

English

Smartphones have become indispensable in modern life, yet navigating complex tasks on mobile devices often remains frustrating. Recent advancements in large multimodal model (LMM)-based mobile agents have demonstrated the ability to perceive and act in mobile environments. However, current approaches face significant limitations: they fall short in addressing real-world human needs, struggle with reasoning-intensive and long-horizon tasks, and lack mechanisms to learn and improve from prior experiences. To overcome these challenges, we introduce Mobile-Agent-E, a hierarchical multi-agent framework capable of self-evolution through past experience. By hierarchical, we mean an explicit separation of high-level planning and low-level action execution. The framework comprises a Manager, responsible for devising overall plans by breaking down complex tasks into subgoals, and four subordinate agents--Perceptor, Operator, Action Reflector, and Notetaker--which handle fine-grained visual perception, immediate action execution, error verification, and information aggregation, respectively. Mobile-Agent-E also features a novel self-evolution module which maintains a persistent long-term memory comprising Tips and Shortcuts. Tips are general guidance and lessons learned from prior tasks on how to effectively interact with the environment. Shortcuts are reusable, executable sequences of atomic operations tailored for specific subroutines. The inclusion of Tips and Shortcuts facilitates continuous refinement in performance and efficiency. Alongside this framework, we introduce Mobile-Eval-E, a new benchmark featuring complex mobile tasks requiring long-horizon, multi-app interactions. Empirical results show that Mobile-Agent-E achieves a 22% absolute improvement over previous state-of-the-art approaches across three foundation model backbones. Project page: https://x-plug.github.io/MobileAgent.