Mobile-Agent-V: Mobiele Apparatuur Bedienen Leren via Video-Gestuurde Multi-Agent Samenwerking

Mobile-Agent-V: Learning Mobile Device Operation Through Video-Guided Multi-Agent Collaboration

February 24, 2025

Auteurs: Junyang Wang, Haiyang Xu, Xi Zhang, Ming Yan, Ji Zhang, Fei Huang, Jitao Sang

cs.AI

Samenvatting

De snelle toename in het gebruik van mobiele apparaten vereist verbeterde automatisering voor naadloos takenbeheer. Veel AI-gestuurde frameworks kampen echter met onvoldoende operationele kennis. Handmatig geschreven kennis helpt wel, maar is arbeidsintensief en inefficiënt. Om deze uitdagingen aan te pakken, introduceren we Mobile-Agent-V, een framework dat gebruikmaakt van videobegeleiding om rijke en kosteneffectieve operationele kennis te bieden voor mobiele automatisering. Mobile-Agent-V verbetert de uitvoeringscapaciteiten van taken door gebruik te maken van video-invoer zonder gespecialiseerde bemonstering of voorbewerking. Mobile-Agent-V integreert een schuifvensterstrategie en omvat een video-agent en een deep-reflection-agent om ervoor te zorgen dat acties overeenkomen met gebruikersinstructies. Door deze innovatieve aanpak kunnen gebruikers taakprocessen met begeleiding opnemen, waardoor het systeem taken autonoom kan leren en efficiënt kan uitvoeren. Experimentele resultaten tonen aan dat Mobile-Agent-V een prestatieverbetering van 30% bereikt in vergelijking met bestaande frameworks.

English

The rapid increase in mobile device usage necessitates improved automation for seamless task management. However, many AI-driven frameworks struggle due to insufficient operational knowledge. Manually written knowledge helps but is labor-intensive and inefficient. To address these challenges, we introduce Mobile-Agent-V, a framework that leverages video guidance to provide rich and cost-effective operational knowledge for mobile automation. Mobile-Agent-V enhances task execution capabilities by leveraging video inputs without requiring specialized sampling or preprocessing. Mobile-Agent-V integrates a sliding window strategy and incorporates a video agent and deep-reflection agent to ensure that actions align with user instructions. Through this innovative approach, users can record task processes with guidance, enabling the system to autonomously learn and execute tasks efficiently. Experimental results show that Mobile-Agent-V achieves a 30% performance improvement compared to existing frameworks.