OS-Copilot: Rumo a Agentes Computacionais Generalistas com Automelhoria
OS-Copilot: Towards Generalist Computer Agents with Self-Improvement
February 12, 2024
Autores: Zhiyong Wu, Chengcheng Han, Zichen Ding, Zhenmin Weng, Zhoumianze Liu, Shunyu Yao, Tao Yu, Lingpeng Kong
cs.AI
Resumo
A interação autônoma com o computador tem sido um desafio de longa data com grande potencial, e a recente proliferação de modelos de linguagem de grande escala (LLMs) acelerou significativamente o progresso na construção de agentes digitais. No entanto, a maioria desses agentes é projetada para interagir com um domínio restrito, como um software ou site específico. Esse foco limitado restringe sua aplicabilidade para tarefas gerais de computador. Para esse fim, introduzimos o OS-Copilot, uma estrutura para construir agentes generalistas capazes de interagir com elementos abrangentes de um sistema operacional (OS), incluindo a web, terminais de código, arquivos, multimídia e diversos aplicativos de terceiros. Utilizamos o OS-Copilot para criar o FRIDAY, um agente incorporado que se autoaperfeiçoa para automatizar tarefas gerais de computador. No GAIA, um benchmark de assistentes de IA geral, o FRIDAY supera métodos anteriores em 35%, demonstrando forte generalização para aplicativos não vistos por meio de habilidades acumuladas de tarefas anteriores. Também apresentamos evidências numéricas e quantitativas de que o FRIDAY aprende a controlar e se autoaperfeiçoar no Excel e no Powerpoint com supervisão mínima. Nossa estrutura OS-Copilot e descobertas empíricas fornecem infraestrutura e insights para pesquisas futuras visando agentes de computador mais capazes e de propósito geral.
English
Autonomous interaction with the computer has been a longstanding challenge
with great potential, and the recent proliferation of large language models
(LLMs) has markedly accelerated progress in building digital agents. However,
most of these agents are designed to interact with a narrow domain, such as a
specific software or website. This narrow focus constrains their applicability
for general computer tasks. To this end, we introduce OS-Copilot, a framework
to build generalist agents capable of interfacing with comprehensive elements
in an operating system (OS), including the web, code terminals, files,
multimedia, and various third-party applications. We use OS-Copilot to create
FRIDAY, a self-improving embodied agent for automating general computer tasks.
On GAIA, a general AI assistants benchmark, FRIDAY outperforms previous methods
by 35%, showcasing strong generalization to unseen applications via accumulated
skills from previous tasks. We also present numerical and quantitative evidence
that FRIDAY learns to control and self-improve on Excel and Powerpoint with
minimal supervision. Our OS-Copilot framework and empirical findings provide
infrastructure and insights for future research toward more capable and
general-purpose computer agents.