Mobile-Agent-V: Aprendizaje de Operaciones en Dispositivos Móviles mediante Colaboración Multiagente Guiada por Video

Mobile-Agent-V: Learning Mobile Device Operation Through Video-Guided Multi-Agent Collaboration

February 24, 2025

Autores: Junyang Wang, Haiyang Xu, Xi Zhang, Ming Yan, Ji Zhang, Fei Huang, Jitao Sang

cs.AI

Resumen

El rápido aumento en el uso de dispositivos móviles exige una mejora en la automatización para una gestión fluida de tareas. Sin embargo, muchos marcos de trabajo impulsados por IA enfrentan dificultades debido a un conocimiento operativo insuficiente. El conocimiento escrito manualmente ayuda, pero resulta laborioso e ineficiente. Para abordar estos desafíos, presentamos Mobile-Agent-V, un marco que aprovecha la guía de video para proporcionar un conocimiento operativo rico y rentable para la automatización móvil. Mobile-Agent-V mejora las capacidades de ejecución de tareas al utilizar entradas de video sin requerir muestreo o preprocesamiento especializado. Mobile-Agent-V integra una estrategia de ventana deslizante e incorpora un agente de video y un agente de reflexión profunda para garantizar que las acciones se alineen con las instrucciones del usuario. A través de este enfoque innovador, los usuarios pueden grabar procesos de tareas con guía, permitiendo que el sistema aprenda y ejecute tareas de manera autónoma y eficiente. Los resultados experimentales muestran que Mobile-Agent-V logra una mejora del 30% en el rendimiento en comparación con los marcos existentes.

English

The rapid increase in mobile device usage necessitates improved automation for seamless task management. However, many AI-driven frameworks struggle due to insufficient operational knowledge. Manually written knowledge helps but is labor-intensive and inefficient. To address these challenges, we introduce Mobile-Agent-V, a framework that leverages video guidance to provide rich and cost-effective operational knowledge for mobile automation. Mobile-Agent-V enhances task execution capabilities by leveraging video inputs without requiring specialized sampling or preprocessing. Mobile-Agent-V integrates a sliding window strategy and incorporates a video agent and deep-reflection agent to ensure that actions align with user instructions. Through this innovative approach, users can record task processes with guidance, enabling the system to autonomously learn and execute tasks efficiently. Experimental results show that Mobile-Agent-V achieves a 30% performance improvement compared to existing frameworks.