OS-Copilot: Hacia agentes informáticos generalistas con capacidad de auto-mejora
OS-Copilot: Towards Generalist Computer Agents with Self-Improvement
February 12, 2024
Autores: Zhiyong Wu, Chengcheng Han, Zichen Ding, Zhenmin Weng, Zhoumianze Liu, Shunyu Yao, Tao Yu, Lingpeng Kong
cs.AI
Resumen
La interacción autónoma con la computadora ha sido un desafío de larga data con un gran potencial, y la reciente proliferación de modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) ha acelerado notablemente el progreso en la construcción de agentes digitales. Sin embargo, la mayoría de estos agentes están diseñados para interactuar con un dominio específico, como un software o sitio web en particular. Este enfoque limitado restringe su aplicabilidad para tareas generales en la computadora. Con este fin, presentamos OS-Copilot, un marco para construir agentes generalistas capaces de interactuar con elementos integrales de un sistema operativo (OS), incluyendo la web, terminales de código, archivos, multimedia y diversas aplicaciones de terceros. Utilizamos OS-Copilot para crear FRIDAY, un agente encarnado que se auto-mejora para automatizar tareas generales en la computadora. En GAIA, un punto de referencia para asistentes de IA generales, FRIDAY supera a los métodos anteriores en un 35%, demostrando una fuerte generalización a aplicaciones no vistas mediante la acumulación de habilidades de tareas previas. También presentamos evidencia numérica y cuantitativa de que FRIDAY aprende a controlar y auto-mejorarse en Excel y Powerpoint con una supervisión mínima. Nuestro marco OS-Copilot y los hallazgos empíricos proporcionan infraestructura y conocimientos para futuras investigaciones hacia agentes computacionales más capaces y de propósito general.
English
Autonomous interaction with the computer has been a longstanding challenge
with great potential, and the recent proliferation of large language models
(LLMs) has markedly accelerated progress in building digital agents. However,
most of these agents are designed to interact with a narrow domain, such as a
specific software or website. This narrow focus constrains their applicability
for general computer tasks. To this end, we introduce OS-Copilot, a framework
to build generalist agents capable of interfacing with comprehensive elements
in an operating system (OS), including the web, code terminals, files,
multimedia, and various third-party applications. We use OS-Copilot to create
FRIDAY, a self-improving embodied agent for automating general computer tasks.
On GAIA, a general AI assistants benchmark, FRIDAY outperforms previous methods
by 35%, showcasing strong generalization to unseen applications via accumulated
skills from previous tasks. We also present numerical and quantitative evidence
that FRIDAY learns to control and self-improve on Excel and Powerpoint with
minimal supervision. Our OS-Copilot framework and empirical findings provide
infrastructure and insights for future research toward more capable and
general-purpose computer agents.