MobileWorldBench: Verso la Modellazione Semantica del Mondo per Agenti Mobili

MobileWorldBench: Towards Semantic World Modeling For Mobile Agents

December 16, 2025

Autori: Shufan Li, Konstantinos Kallidromitis, Akash Gokul, Yusuke Kato, Kazuki Kozuka, Aditya Grover

cs.AI

Abstract

I modelli del mondo hanno dimostrato una grande utilità nel migliorare le prestazioni dei compiti degli agenti embodied. Mentre il lavoro precedente si concentra prevalentemente su modelli del mondo nello spazio dei pixel, questi approcci presentano limitazioni pratiche negli ambienti GUI, dove la previsione di elementi visivi complessi negli stati futuri è spesso difficile. In questo lavoro, esploriamo una formulazione alternativa della modellazione del mondo per agenti GUI, in cui le transizioni di stato sono descritte in linguaggio naturale anziché prevedendo pixel grezzi. In primo luogo, introduciamo MobileWorldBench, un benchmark che valuta la capacità dei modelli visione-linguaggio (VLM) di fungere da modelli del mondo per agenti GUI mobili. In secondo luogo, rilasciamo MobileWorld, un dataset su larga scala composto da 1,4 milioni di campioni, che migliora significativamente le capacità di modellazione del mondo dei VLM. Infine, proponiamo una nuova architettura che integra i modelli del mondo VLM nel framework di pianificazione degli agenti mobili, dimostrando che i modelli del mondo semantici possono avvantaggiare direttamente gli agenti mobili migliorando i tassi di successo dei compiti. Il codice e il dataset sono disponibili all'indirizzo https://github.com/jacklishufan/MobileWorld.

English

World models have shown great utility in improving the task performance of embodied agents. While prior work largely focuses on pixel-space world models, these approaches face practical limitations in GUI settings, where predicting complex visual elements in future states is often difficult. In this work, we explore an alternative formulation of world modeling for GUI agents, where state transitions are described in natural language rather than predicting raw pixels. First, we introduce MobileWorldBench, a benchmark that evaluates the ability of vision-language models (VLMs) to function as world models for mobile GUI agents. Second, we release MobileWorld, a large-scale dataset consisting of 1.4M samples, that significantly improves the world modeling capabilities of VLMs. Finally, we propose a novel framework that integrates VLM world models into the planning framework of mobile agents, demonstrating that semantic world models can directly benefit mobile agents by improving task success rates. The code and dataset is available at https://github.com/jacklishufan/MobileWorld