UFO: Агент с фокусом на пользовательский интерфейс для взаимодействия с ОС Windows

UFO: A UI-Focused Agent for Windows OS Interaction

February 8, 2024

Авторы: Chaoyun Zhang, Liqun Li, Shilin He, Xu Zhang, Bo Qiao, Si Qin, Minghua Ma, Yu Kang, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

cs.AI

Аннотация

Мы представляем UFO — инновационного агента, ориентированного на пользовательский интерфейс, для выполнения запросов пользователей, адаптированного для приложений на ОС Windows, с использованием возможностей GPT-Vision. UFO использует двухагентную архитектуру для тщательного наблюдения и анализа графического пользовательского интерфейса (GUI) и управляющей информации приложений Windows. Это позволяет агенту беспрепятственно перемещаться и управлять отдельными приложениями, а также взаимодействовать между ними для выполнения запросов пользователей, даже если они охватывают несколько приложений. Архитектура включает модуль взаимодействия с управлением, что обеспечивает выполнение действий без вмешательства человека и позволяет полностью автоматизировать процесс. В результате UFO превращает сложные и трудоемкие задачи в простые, выполнимые исключительно с помощью команд на естественном языке. Мы провели тестирование UFO на 9 популярных приложениях Windows, охватывая различные сценарии, отражающие повседневное использование пользователями. Результаты, полученные на основе количественных метрик и реальных кейсов, подчеркивают превосходную эффективность UFO в выполнении запросов пользователей. Насколько нам известно, UFO является первым агентом, специально разработанным для выполнения задач в среде ОС Windows. Исходный код UFO доступен на https://github.com/microsoft/UFO.

English

We introduce UFO, an innovative UI-Focused agent to fulfill user requests tailored to applications on Windows OS, harnessing the capabilities of GPT-Vision. UFO employs a dual-agent framework to meticulously observe and analyze the graphical user interface (GUI) and control information of Windows applications. This enables the agent to seamlessly navigate and operate within individual applications and across them to fulfill user requests, even when spanning multiple applications. The framework incorporates a control interaction module, facilitating action grounding without human intervention and enabling fully automated execution. Consequently, UFO transforms arduous and time-consuming processes into simple tasks achievable solely through natural language commands. We conducted testing of UFO across 9 popular Windows applications, encompassing a variety of scenarios reflective of users' daily usage. The results, derived from both quantitative metrics and real-case studies, underscore the superior effectiveness of UFO in fulfilling user requests. To the best of our knowledge, UFO stands as the first UI agent specifically tailored for task completion within the Windows OS environment. The open-source code for UFO is available on https://github.com/microsoft/UFO.