ColorAgent: Создание надежного, персонализированного и интерактивного агента операционной системы

ColorAgent: Building A Robust, Personalized, and Interactive OS Agent

October 22, 2025

Авторы: Ning Li, Qiqiang Lin, Zheng Wu, Xiaoyun Mo, Weiming Zhang, Yin Zhao, Xiangmou Qu, Jiamu Zhou, Jun Wang, Congmin Zheng, Yuanyi Song, Hongjiang Chen, Heyuan Huang, Jihong Wang, Jiaxin Yin, Jingwei Yu, Junwei Liao, Qiuying Peng, Xingyu Lou, Jun Wang, Weiwen Liu, Zhuosheng Zhang, Weinan Zhang

cs.AI

Аннотация

С развитием аппаратного обеспечения, программного обеспечения и технологий больших языковых моделей взаимодействие между человеком и операционными системами эволюционировало от интерфейса командной строки к быстро развивающимся взаимодействиям с ИИ-агентами. Создание агента операционной системы (ОС), способного выполнять пользовательские инструкции и точно следовать желаниям пользователя, становится реальностью. В данном техническом отчете мы представляем ColorAgent — агента ОС, разработанного для долгосрочного и устойчивого взаимодействия с окружающей средой, а также для персонализированного и проактивного взаимодействия с пользователем. Для обеспечения долгосрочного взаимодействия с окружающей средой мы улучшаем возможности модели с помощью пошагового обучения с подкреплением и саморазвивающегося обучения, а также разрабатываем специализированную мультиагентную структуру, обеспечивающую универсальность, согласованность и устойчивость. В части взаимодействия с пользователем мы исследуем персонализированное распознавание намерений пользователя и проактивное взаимодействие, позиционируя агента ОС не просто как инструмент автоматизации, а как теплого и сотрудничающего партнера. Мы оцениваем ColorAgent на бенчмарках AndroidWorld и AndroidLab, достигая показателей успешности 77,2% и 50,7% соответственно, устанавливая новый уровень передовых технологий. Тем не менее, мы отмечаем, что текущие бенчмарки недостаточны для всесторонней оценки агентов ОС, и предлагаем дальнейшие направления исследований в будущих работах, особенно в областях парадигм оценки, сотрудничества агентов и безопасности. Наш код доступен по адресу https://github.com/MadeAgents/mobile-use.

English

With the advancements in hardware, software, and large language model technologies, the interaction between humans and operating systems has evolved from the command-line interface to the rapidly emerging AI agent interactions. Building an operating system (OS) agent capable of executing user instructions and faithfully following user desires is becoming a reality. In this technical report, we present ColorAgent, an OS agent designed to engage in long-horizon, robust interactions with the environment while also enabling personalized and proactive user interaction. To enable long-horizon interactions with the environment, we enhance the model's capabilities through step-wise reinforcement learning and self-evolving training, while also developing a tailored multi-agent framework that ensures generality, consistency, and robustness. In terms of user interaction, we explore personalized user intent recognition and proactive engagement, positioning the OS agent not merely as an automation tool but as a warm, collaborative partner. We evaluate ColorAgent on the AndroidWorld and AndroidLab benchmarks, achieving success rates of 77.2% and 50.7%, respectively, establishing a new state of the art. Nonetheless, we note that current benchmarks are insufficient for a comprehensive evaluation of OS agents and propose further exploring directions in future work, particularly in the areas of evaluation paradigms, agent collaboration, and security. Our code is available at https://github.com/MadeAgents/mobile-use.