DigiData: Обучение и оценка универсальных мобильных агентов управления

DigiData: Training and Evaluating General-Purpose Mobile Control Agents

November 10, 2025

Авторы: Yuxuan Sun, Manchen Wang, Shengyi Qian, William R. Wong, Eric Gan, Pierluca D'Oro, Alejandro Castillejo Munoz, Sneha Silwal, Pedro Matias, Nitin Kamra, Satwik Kottur, Nick Raines, Xuanyi Zhao, Joy Chen, Joseph Greer, Andrea Madotto, Allen Bolourchi, James Valori, Kevin Carlberg, Karl Ridgeway, Joseph Tighe

cs.AI

Аннотация

Искусственные интеллектуальные агенты, способные управлять пользовательскими интерфейсами, обладают потенциалом для преобразования взаимодействия человека с цифровыми устройствами. Для ускорения этой трансформации необходимы два фундаментальных элемента: высококачественные наборы данных, позволяющие агентам достигать сложных и релевантных для человека целей, и надежные методы оценки, которые позволяют исследователям и практикам быстро повышать производительность агентов. В данной статье мы представляем DigiData — масштабный, высококачественный, разнородный и многомодальный набор данных, предназначенный для обучения агентов управления мобильными устройствами. В отличие от существующих наборов данных, где цели выводятся из неструктурированных взаимодействий, DigiData тщательно конструируется путем всестороннего исследования функций приложений, что обеспечивает большее разнообразие и более высокую сложность целей. Кроме того, мы представляем DigiData-Bench — эталонный тест для оценки агентов управления мобильными устройствами на реальных сложных задачах. Мы демонстрируем, что широко используемая метрика пошаговой точности недостаточна для надежной оценки таких агентов, и для решения этой проблемы предлагаем динамические протоколы оценки и оценку с помощью ИИ в качестве строгих альтернатив для тестирования агентов. Наши разработки направлены на значительное продвижение в развитии агентов управления мобильными устройствами, прокладывая путь к более интуитивному и эффективному взаимодействию человека с устройствами.

English

AI agents capable of controlling user interfaces have the potential to transform human interaction with digital devices. To accelerate this transformation, two fundamental building blocks are essential: high-quality datasets that enable agents to achieve complex and human-relevant goals, and robust evaluation methods that allow researchers and practitioners to rapidly enhance agent performance. In this paper, we introduce DigiData, a large-scale, high-quality, diverse, multi-modal dataset designed for training mobile control agents. Unlike existing datasets, which derive goals from unstructured interactions, DigiData is meticulously constructed through comprehensive exploration of app features, resulting in greater diversity and higher goal complexity. Additionally, we present DigiData-Bench, a benchmark for evaluating mobile control agents on real-world complex tasks. We demonstrate that the commonly used step-accuracy metric falls short in reliably assessing mobile control agents and, to address this, we propose dynamic evaluation protocols and AI-powered evaluations as rigorous alternatives for agent assessment. Our contributions aim to significantly advance the development of mobile control agents, paving the way for more intuitive and effective human-device interactions.