Mobile-Agent-V: Aprendendo Operações em Dispositivos Móveis por Meio de Colaboração Multiagente Guiada por Vídeo

Mobile-Agent-V: Learning Mobile Device Operation Through Video-Guided Multi-Agent Collaboration

February 24, 2025

Autores: Junyang Wang, Haiyang Xu, Xi Zhang, Ming Yan, Ji Zhang, Fei Huang, Jitao Sang

cs.AI

Resumo

O rápido aumento no uso de dispositivos móveis exige uma automação aprimorada para o gerenciamento contínuo de tarefas. No entanto, muitos frameworks baseados em IA enfrentam dificuldades devido ao conhecimento operacional insuficiente. O conhecimento escrito manualmente ajuda, mas é trabalhoso e ineficiente. Para enfrentar esses desafios, apresentamos o Mobile-Agent-V, um framework que utiliza orientação por vídeo para fornecer conhecimento operacional rico e econômico para automação móvel. O Mobile-Agent-V melhora a capacidade de execução de tarefas ao aproveitar entradas de vídeo sem exigir amostragem ou pré-processamento especializados. O Mobile-Agent-V integra uma estratégia de janela deslizante e incorpora um agente de vídeo e um agente de reflexão profunda para garantir que as ações estejam alinhadas com as instruções do usuário. Por meio dessa abordagem inovadora, os usuários podem gravar processos de tarefas com orientação, permitindo que o sistema aprenda e execute tarefas de forma autônoma e eficiente. Resultados experimentais mostram que o Mobile-Agent-V alcança uma melhoria de desempenho de 30% em comparação com frameworks existentes.

English

The rapid increase in mobile device usage necessitates improved automation for seamless task management. However, many AI-driven frameworks struggle due to insufficient operational knowledge. Manually written knowledge helps but is labor-intensive and inefficient. To address these challenges, we introduce Mobile-Agent-V, a framework that leverages video guidance to provide rich and cost-effective operational knowledge for mobile automation. Mobile-Agent-V enhances task execution capabilities by leveraging video inputs without requiring specialized sampling or preprocessing. Mobile-Agent-V integrates a sliding window strategy and incorporates a video agent and deep-reflection agent to ensure that actions align with user instructions. Through this innovative approach, users can record task processes with guidance, enabling the system to autonomously learn and execute tasks efficiently. Experimental results show that Mobile-Agent-V achieves a 30% performance improvement compared to existing frameworks.