Мобильный агент-E: Саморазвивающийся мобильный помощник для сложных задач

Mobile-Agent-E: Self-Evolving Mobile Assistant for Complex Tasks

January 20, 2025

Авторы: Zhenhailong Wang, Haiyang Xu, Junyang Wang, Xi Zhang, Ming Yan, Ji Zhang, Fei Huang, Heng Ji

cs.AI

Аннотация

Смартфоны стали неотъемлемой частью современной жизни, однако выполнение сложных задач на мобильных устройствах часто остается источником раздражения. Недавние достижения в области мобильных агентов на основе крупных мультимодальных моделей (LMM) продемонстрировали способность воспринимать и действовать в мобильных средах. Однако текущие подходы сталкиваются с существенными ограничениями: они не справляются с реальными потребностями людей, испытывают затруднения с рассудительными и долгосрочными задачами, а также лишены механизмов обучения и улучшения на основе предыдущего опыта. Для преодоления этих проблем мы представляем Mobile-Agent-E, иерархическую мультиагентную структуру, способную к самоэволюции на основе прошлого опыта. Под иерархической структурой мы понимаем явное разделение планирования на высоком уровне и выполнения действий на низком уровне. Структура включает в себя Менеджера, ответственного за разработку общих планов путем разбиения сложных задач на подцели, и четыре подчиненных агента - Восприниматель, Оператор, Действующий Отражатель и Записывающий - которые обрабатывают детализированное визуальное восприятие, мгновенное выполнение действий, проверку ошибок и агрегацию информации соответственно. Mobile-Agent-E также включает новый модуль самоэволюции, который поддерживает постоянную долгосрочную память, включающую Советы и Ярлыки. Советы представляют собой общие рекомендации и уроки, извлеченные из предыдущих задач о том, как эффективно взаимодействовать с окружающей средой. Ярлыки - это многоразовые, исполнимые последовательности атомарных операций, настроенные для конкретных подпрограмм. Включение Советов и Ярлыков способствует непрерывному совершенствованию в производительности и эффективности. Вместе с этой структурой мы представляем Mobile-Eval-E, новый бенчмарк, включающий сложные мобильные задачи, требующие долгосрочного взаимодействия с несколькими приложениями. Эмпирические результаты показывают, что Mobile-Agent-E достигает абсолютного улучшения на 22% по сравнению с предыдущими передовыми подходами на трех основных модельных основах. Страница проекта: https://x-plug.github.io/MobileAgent.

English

Smartphones have become indispensable in modern life, yet navigating complex tasks on mobile devices often remains frustrating. Recent advancements in large multimodal model (LMM)-based mobile agents have demonstrated the ability to perceive and act in mobile environments. However, current approaches face significant limitations: they fall short in addressing real-world human needs, struggle with reasoning-intensive and long-horizon tasks, and lack mechanisms to learn and improve from prior experiences. To overcome these challenges, we introduce Mobile-Agent-E, a hierarchical multi-agent framework capable of self-evolution through past experience. By hierarchical, we mean an explicit separation of high-level planning and low-level action execution. The framework comprises a Manager, responsible for devising overall plans by breaking down complex tasks into subgoals, and four subordinate agents--Perceptor, Operator, Action Reflector, and Notetaker--which handle fine-grained visual perception, immediate action execution, error verification, and information aggregation, respectively. Mobile-Agent-E also features a novel self-evolution module which maintains a persistent long-term memory comprising Tips and Shortcuts. Tips are general guidance and lessons learned from prior tasks on how to effectively interact with the environment. Shortcuts are reusable, executable sequences of atomic operations tailored for specific subroutines. The inclusion of Tips and Shortcuts facilitates continuous refinement in performance and efficiency. Alongside this framework, we introduce Mobile-Eval-E, a new benchmark featuring complex mobile tasks requiring long-horizon, multi-app interactions. Empirical results show that Mobile-Agent-E achieves a 22% absolute improvement over previous state-of-the-art approaches across three foundation model backbones. Project page: https://x-plug.github.io/MobileAgent.