OS-Copilot: 自己改善能力を備えた汎用コンピュータエージェントの実現に向けて
OS-Copilot: Towards Generalist Computer Agents with Self-Improvement
February 12, 2024
著者: Zhiyong Wu, Chengcheng Han, Zichen Ding, Zhenmin Weng, Zhoumianze Liu, Shunyu Yao, Tao Yu, Lingpeng Kong
cs.AI
要旨
コンピュータとの自律的なインタラクションは、長年にわたる課題でありながら大きな可能性を秘めており、大規模言語モデル（LLM）の最近の普及により、デジタルエージェントの構築が著しく加速しています。しかし、これらのエージェントの多くは、特定のソフトウェアやウェブサイトなど、狭い領域とのインタラクションを目的として設計されています。このような狭い焦点は、一般的なコンピュータタスクへの適用性を制限しています。この目的のために、私たちはOS-Copilotを紹介します。これは、ウェブ、コードターミナル、ファイル、マルチメディア、およびさまざまなサードパーティアプリケーションを含むオペレーティングシステム（OS）内の包括的な要素とインターフェースできる汎用エージェントを構築するためのフレームワークです。私たちはOS-Copilotを使用して、一般的なコンピュータタスクを自動化するための自己改善型エージェントであるFRIDAYを作成しました。一般的なAIアシスタントのベンチマークであるGAIAにおいて、FRIDAYは以前の手法を35%上回り、過去のタスクから蓄積されたスキルを通じて未見のアプリケーションへの強い汎化能力を示しています。また、FRIDAYがExcelやPowerpointを最小限の監督下で制御し、自己改善することを学ぶ数値的および定量的な証拠も提示します。私たちのOS-Copilotフレームワークと実証的な発見は、より能力が高く汎用性のあるコンピュータエージェントに向けた将来の研究のためのインフラストラクチャと洞察を提供します。
English
Autonomous interaction with the computer has been a longstanding challenge
with great potential, and the recent proliferation of large language models
(LLMs) has markedly accelerated progress in building digital agents. However,
most of these agents are designed to interact with a narrow domain, such as a
specific software or website. This narrow focus constrains their applicability
for general computer tasks. To this end, we introduce OS-Copilot, a framework
to build generalist agents capable of interfacing with comprehensive elements
in an operating system (OS), including the web, code terminals, files,
multimedia, and various third-party applications. We use OS-Copilot to create
FRIDAY, a self-improving embodied agent for automating general computer tasks.
On GAIA, a general AI assistants benchmark, FRIDAY outperforms previous methods
by 35%, showcasing strong generalization to unseen applications via accumulated
skills from previous tasks. We also present numerical and quantitative evidence
that FRIDAY learns to control and self-improve on Excel and Powerpoint with
minimal supervision. Our OS-Copilot framework and empirical findings provide
infrastructure and insights for future research toward more capable and
general-purpose computer agents.