LLMエージェントオペレーティングシステム

LLM Agent Operating System

March 25, 2024

著者: Kai Mei, Zelong Li, Shuyuan Xu, Ruosong Ye, Yingqiang Ge, Yongfeng Zhang

cs.AI

要旨

大規模言語モデル（LLM）ベースのインテリジェントエージェントの統合と展開は、その効率性と有効性を損なう多くの課題に直面してきた。これらの課題には、エージェントリクエストのLLMに対する最適でないスケジューリングとリソース割り当て、エージェントとLLM間のインタラクション中にコンテキストを維持する難しさ、異なる能力と専門性を持つ異種エージェントを統合する際の複雑さなどが含まれる。エージェントの数と複雑さの急速な増加は、これらの問題をさらに悪化させ、しばしばボトルネックやリソースの最適でない利用を引き起こす。これらの課題に着想を得て、本論文では、大規模言語モデルをオペレーティングシステム（OS）に組み込んだLLMエージェントオペレーティングシステムであるAIOSを提案する。具体的には、AIOSはリソース割り当ての最適化、エージェント間のコンテキストスイッチの促進、エージェントの並列実行の実現、エージェントのためのツールサービスの提供、およびエージェントのアクセス制御の維持を目的として設計されている。本論文では、このようなオペレーティングシステムのアーキテクチャを提示し、解決を目指す核心的な課題を概説し、AIOSの基本的な設計と実装を提供する。複数のエージェントの並列実行に関する実験を通じて、AIOSモジュールの信頼性と効率性を実証する。これにより、LLMエージェントの性能と効率を向上させるだけでなく、将来のAIOSエコシステムのより良い開発と展開の先駆けとなることを目指す。本プロジェクトはhttps://github.com/agiresearch/AIOSでオープンソースとして公開されている。

English

The integration and deployment of large language model (LLM)-based intelligent agents have been fraught with challenges that compromise their efficiency and efficacy. Among these issues are sub-optimal scheduling and resource allocation of agent requests over the LLM, the difficulties in maintaining context during interactions between agent and LLM, and the complexities inherent in integrating heterogeneous agents with different capabilities and specializations. The rapid increase of agent quantity and complexity further exacerbates these issues, often leading to bottlenecks and sub-optimal utilization of resources. Inspired by these challenges, this paper presents AIOS, an LLM agent operating system, which embeds large language model into operating systems (OS). Specifically, AIOS is designed to optimize resource allocation, facilitate context switch across agents, enable concurrent execution of agents, provide tool service for agents, and maintain access control for agents. We present the architecture of such an operating system, outline the core challenges it aims to resolve, and provide the basic design and implementation of the AIOS. Our experiments on concurrent execution of multiple agents demonstrate the reliability and efficiency of our AIOS modules. Through this, we aim to not only improve the performance and efficiency of LLM agents but also to pioneer for better development and deployment of the AIOS ecosystem in the future. The project is open-source at https://github.com/agiresearch/AIOS.