DigiData: Entrenamiento y Evaluación de Agentes de Control Móvil de Propósito General

DigiData: Training and Evaluating General-Purpose Mobile Control Agents

November 10, 2025

Autores: Yuxuan Sun, Manchen Wang, Shengyi Qian, William R. Wong, Eric Gan, Pierluca D'Oro, Alejandro Castillejo Munoz, Sneha Silwal, Pedro Matias, Nitin Kamra, Satwik Kottur, Nick Raines, Xuanyi Zhao, Joy Chen, Joseph Greer, Andrea Madotto, Allen Bolourchi, James Valori, Kevin Carlberg, Karl Ridgeway, Joseph Tighe

cs.AI

Resumen

Los agentes de IA capaces de controlar interfaces de usuario tienen el potencial de transformar la interacción humana con los dispositivos digitales. Para acelerar esta transformación, son esenciales dos componentes fundamentales: conjuntos de datos de alta calidad que permitan a los agentes alcanzar objetivos complejos y relevantes para humanos, y métodos de evaluación robustos que permitan a investigadores y profesionales mejorar rápidamente el rendimiento de los agentes. En este artículo, presentamos DigiData, un conjunto de datos multimodal, a gran escala, de alta calidad y diverso, diseñado para entrenar agentes de control móvil. A diferencia de los conjuntos de datos existentes, que derivan objetivos de interacciones no estructuradas, DigiData está meticulosamente construido mediante una exploración exhaustiva de las funciones de las aplicaciones, lo que resulta en una mayor diversidad y una mayor complejidad de objetivos. Adicionalmente, presentamos DigiData-Bench, un punto de referencia para evaluar agentes de control móvil en tareas complejas del mundo real. Demostramos que la métrica de precisión por pasos comúnmente utilizada es insuficiente para evaluar de manera confiable a los agentes de control móvil y, para abordar esto, proponemos protocolos de evaluación dinámicos y evaluaciones potenciadas por IA como alternativas rigurosas para la valoración de agentes. Nuestras contribuciones buscan avanzar significativamente en el desarrollo de agentes de control móvil, allanando el camino para interacciones humano-dispositivo más intuitivas y efectivas.

English

AI agents capable of controlling user interfaces have the potential to transform human interaction with digital devices. To accelerate this transformation, two fundamental building blocks are essential: high-quality datasets that enable agents to achieve complex and human-relevant goals, and robust evaluation methods that allow researchers and practitioners to rapidly enhance agent performance. In this paper, we introduce DigiData, a large-scale, high-quality, diverse, multi-modal dataset designed for training mobile control agents. Unlike existing datasets, which derive goals from unstructured interactions, DigiData is meticulously constructed through comprehensive exploration of app features, resulting in greater diversity and higher goal complexity. Additionally, we present DigiData-Bench, a benchmark for evaluating mobile control agents on real-world complex tasks. We demonstrate that the commonly used step-accuracy metric falls short in reliably assessing mobile control agents and, to address this, we propose dynamic evaluation protocols and AI-powered evaluations as rigorous alternatives for agent assessment. Our contributions aim to significantly advance the development of mobile control agents, paving the way for more intuitive and effective human-device interactions.