LLM 에이전트 운영체제

LLM Agent Operating System

March 25, 2024

저자: Kai Mei, Zelong Li, Shuyuan Xu, Ruosong Ye, Yingqiang Ge, Yongfeng Zhang

cs.AI

초록

대규모 언어 모델(LLM) 기반 지능형 에이전트의 통합 및 배포는 효율성과 효과성을 저해하는 여러 도전 과제로 가득 차 있습니다. 이러한 문제들 중에는 에이전트 요청에 대한 LLM 상의 최적화되지 않은 스케줄링 및 자원 할당, 에이전트와 LLM 간 상호작용 중 컨텍스트 유지의 어려움, 그리고 다양한 능력과 전문성을 가진 이질적인 에이전트들을 통합하는 데 내재된 복잡성 등이 있습니다. 에이전트의 수와 복잡성이 급격히 증가함에 따라 이러한 문제들은 더욱 악화되어 병목 현상과 자원의 비효율적 활용을 초래하는 경우가 많습니다. 이러한 도전 과제에 영감을 받아, 본 논문은 대규모 언어 모델을 운영 체제(OS)에 내장한 LLM 에이전트 운영 체제인 AIOS를 제안합니다. 구체적으로, AIOS는 자원 할당을 최적화하고, 에이전트 간 컨텍스트 전환을 용이하게 하며, 에이전트의 동시 실행을 가능하게 하고, 에이전트를 위한 도구 서비스를 제공하며, 에이전트에 대한 접근 제어를 유지하도록 설계되었습니다. 우리는 이러한 운영 체제의 아키텍처를 제시하고, 해결하고자 하는 핵심 과제들을 개괄하며, AIOS의 기본 설계와 구현을 제공합니다. 다중 에이전트의 동시 실행에 대한 실험을 통해 AIOS 모듈의 신뢰성과 효율성을 입증합니다. 이를 통해 우리는 LLM 에이전트의 성능과 효율성을 개선할 뿐만 아니라, 미래 AIOS 생태계의 더 나은 개발과 배포를 선도하고자 합니다. 이 프로젝트는 https://github.com/agiresearch/AIOS에서 오픈소스로 제공됩니다.

English

The integration and deployment of large language model (LLM)-based intelligent agents have been fraught with challenges that compromise their efficiency and efficacy. Among these issues are sub-optimal scheduling and resource allocation of agent requests over the LLM, the difficulties in maintaining context during interactions between agent and LLM, and the complexities inherent in integrating heterogeneous agents with different capabilities and specializations. The rapid increase of agent quantity and complexity further exacerbates these issues, often leading to bottlenecks and sub-optimal utilization of resources. Inspired by these challenges, this paper presents AIOS, an LLM agent operating system, which embeds large language model into operating systems (OS). Specifically, AIOS is designed to optimize resource allocation, facilitate context switch across agents, enable concurrent execution of agents, provide tool service for agents, and maintain access control for agents. We present the architecture of such an operating system, outline the core challenges it aims to resolve, and provide the basic design and implementation of the AIOS. Our experiments on concurrent execution of multiple agents demonstrate the reliability and efficiency of our AIOS modules. Through this, we aim to not only improve the performance and efficiency of LLM agents but also to pioneer for better development and deployment of the AIOS ecosystem in the future. The project is open-source at https://github.com/agiresearch/AIOS.