OS-Copilot: Auf dem Weg zu universellen Computeragenten mit Selbstverbesserung
OS-Copilot: Towards Generalist Computer Agents with Self-Improvement
February 12, 2024
papers.authors: Zhiyong Wu, Chengcheng Han, Zichen Ding, Zhenmin Weng, Zhoumianze Liu, Shunyu Yao, Tao Yu, Lingpeng Kong
cs.AI
papers.abstract
Die autonome Interaktion mit dem Computer stellt seit langem eine Herausforderung mit großem Potenzial dar, und die jüngste Verbreitung von großen Sprachmodellen (LLMs) hat den Fortschritt beim Aufbau digitaler Agenten deutlich beschleunigt. Die meisten dieser Agenten sind jedoch darauf ausgelegt, mit einem eng begrenzten Bereich zu interagieren, wie beispielsweise einer bestimmten Software oder Website. Dieser enge Fokus schränkt ihre Anwendbarkeit für allgemeine Computeraufgaben ein. Aus diesem Grund stellen wir OS-Copilot vor, ein Framework zur Entwicklung von Generalisten-Agenten, die in der Lage sind, mit umfassenden Elementen eines Betriebssystems (OS) zu interagieren, einschließlich des Webs, Code-Terminals, Dateien, Multimedia und verschiedener Drittanbieteranwendungen. Wir verwenden OS-Copilot, um FRIDAY zu erstellen, einen sich selbst verbessernden, verkörperten Agenten zur Automatisierung allgemeiner Computeraufgaben. Auf GAIA, einem Benchmark für allgemeine KI-Assistenten, übertrifft FRIDAY bisherige Methoden um 35 % und zeigt eine starke Generalisierung auf unbekannte Anwendungen durch die Akkumulation von Fähigkeiten aus vorherigen Aufgaben. Wir präsentieren auch numerische und quantitative Belege dafür, dass FRIDAY lernt, Excel und Powerpoint mit minimaler Aufsicht zu steuern und sich selbst zu verbessern. Unser OS-Copilot-Framework und die empirischen Erkenntnisse bieten Infrastruktur und Einblicke für zukünftige Forschungen hin zu leistungsfähigeren und allgemeineren Computeragenten.
English
Autonomous interaction with the computer has been a longstanding challenge
with great potential, and the recent proliferation of large language models
(LLMs) has markedly accelerated progress in building digital agents. However,
most of these agents are designed to interact with a narrow domain, such as a
specific software or website. This narrow focus constrains their applicability
for general computer tasks. To this end, we introduce OS-Copilot, a framework
to build generalist agents capable of interfacing with comprehensive elements
in an operating system (OS), including the web, code terminals, files,
multimedia, and various third-party applications. We use OS-Copilot to create
FRIDAY, a self-improving embodied agent for automating general computer tasks.
On GAIA, a general AI assistants benchmark, FRIDAY outperforms previous methods
by 35%, showcasing strong generalization to unseen applications via accumulated
skills from previous tasks. We also present numerical and quantitative evidence
that FRIDAY learns to control and self-improve on Excel and Powerpoint with
minimal supervision. Our OS-Copilot framework and empirical findings provide
infrastructure and insights for future research toward more capable and
general-purpose computer agents.