OS-Copilot: На пути к универсальным компьютерным агентам с возможностью самосовершенствования
OS-Copilot: Towards Generalist Computer Agents with Self-Improvement
February 12, 2024
Авторы: Zhiyong Wu, Chengcheng Han, Zichen Ding, Zhenmin Weng, Zhoumianze Liu, Shunyu Yao, Tao Yu, Lingpeng Kong
cs.AI
Аннотация
Автономное взаимодействие с компьютером долгое время оставалось сложной задачей, обладающей огромным потенциалом, и недавнее распространение больших языковых моделей (LLM) значительно ускорило прогресс в создании цифровых агентов. Однако большинство таких агентов разработаны для взаимодействия с узкой областью, например, с конкретным программным обеспечением или веб-сайтом. Такая узкая направленность ограничивает их применимость для выполнения общих компьютерных задач. В связи с этим мы представляем OS-Copilot — фреймворк для создания универсальных агентов, способных взаимодействовать с различными элементами операционной системы (ОС), включая веб, терминалы, файлы, мультимедиа и сторонние приложения. С помощью OS-Copilot мы создали FRIDAY — самообучающегося воплощённого агента для автоматизации общих компьютерных задач. На бенчмарке GAIA, предназначенном для оценки универсальных ИИ-ассистентов, FRIDAY превосходит предыдущие методы на 35%, демонстрируя сильную способность к обобщению для работы с новыми приложениями благодаря накопленным навыкам из предыдущих задач. Мы также представляем численные и качественные доказательства того, что FRIDAY обучается управлению и самообучению в Excel и PowerPoint при минимальном контроле. Наш фреймворк OS-Copilot и эмпирические результаты предоставляют инфраструктуру и идеи для будущих исследований в направлении создания более мощных и универсальных компьютерных агентов.
English
Autonomous interaction with the computer has been a longstanding challenge
with great potential, and the recent proliferation of large language models
(LLMs) has markedly accelerated progress in building digital agents. However,
most of these agents are designed to interact with a narrow domain, such as a
specific software or website. This narrow focus constrains their applicability
for general computer tasks. To this end, we introduce OS-Copilot, a framework
to build generalist agents capable of interfacing with comprehensive elements
in an operating system (OS), including the web, code terminals, files,
multimedia, and various third-party applications. We use OS-Copilot to create
FRIDAY, a self-improving embodied agent for automating general computer tasks.
On GAIA, a general AI assistants benchmark, FRIDAY outperforms previous methods
by 35%, showcasing strong generalization to unseen applications via accumulated
skills from previous tasks. We also present numerical and quantitative evidence
that FRIDAY learns to control and self-improve on Excel and Powerpoint with
minimal supervision. Our OS-Copilot framework and empirical findings provide
infrastructure and insights for future research toward more capable and
general-purpose computer agents.