Sistema Operacional de Agentes de LLM
LLM Agent Operating System
March 25, 2024
Autores: Kai Mei, Zelong Li, Shuyuan Xu, Ruosong Ye, Yingqiang Ge, Yongfeng Zhang
cs.AI
Resumo
A integração e implantação de agentes inteligentes baseados em grandes modelos de linguagem (LLMs) têm sido repletas de desafios que comprometem sua eficiência e eficácia. Entre esses problemas estão o agendamento e a alocação de recursos subótimos para as solicitações dos agentes no LLM, as dificuldades em manter o contexto durante as interações entre o agente e o LLM, e as complexidades inerentes à integração de agentes heterogêneos com diferentes capacidades e especializações. O rápido aumento na quantidade e complexidade dos agentes agrava ainda mais esses problemas, frequentemente levando a gargalos e à utilização subótima dos recursos. Inspirados por esses desafios, este artigo apresenta o AIOS, um sistema operacional para agentes LLM, que integra grandes modelos de linguagem em sistemas operacionais (OS). Especificamente, o AIOS foi projetado para otimizar a alocação de recursos, facilitar a troca de contexto entre agentes, permitir a execução concorrente de agentes, fornecer serviços de ferramentas para agentes e manter o controle de acesso para agentes. Apresentamos a arquitetura desse sistema operacional, delineamos os principais desafios que ele visa resolver e fornecemos o design básico e a implementação do AIOS. Nossos experimentos na execução concorrente de múltiplos agentes demonstram a confiabilidade e eficiência dos módulos do AIOS. Com isso, buscamos não apenas melhorar o desempenho e a eficiência dos agentes LLM, mas também pioneirar um melhor desenvolvimento e implantação do ecossistema AIOS no futuro. O projeto é de código aberto em https://github.com/agiresearch/AIOS.
English
The integration and deployment of large language model (LLM)-based
intelligent agents have been fraught with challenges that compromise their
efficiency and efficacy. Among these issues are sub-optimal scheduling and
resource allocation of agent requests over the LLM, the difficulties in
maintaining context during interactions between agent and LLM, and the
complexities inherent in integrating heterogeneous agents with different
capabilities and specializations. The rapid increase of agent quantity and
complexity further exacerbates these issues, often leading to bottlenecks and
sub-optimal utilization of resources. Inspired by these challenges, this paper
presents AIOS, an LLM agent operating system, which embeds large language model
into operating systems (OS). Specifically, AIOS is designed to optimize
resource allocation, facilitate context switch across agents, enable concurrent
execution of agents, provide tool service for agents, and maintain access
control for agents. We present the architecture of such an operating system,
outline the core challenges it aims to resolve, and provide the basic design
and implementation of the AIOS. Our experiments on concurrent execution of
multiple agents demonstrate the reliability and efficiency of our AIOS modules.
Through this, we aim to not only improve the performance and efficiency of LLM
agents but also to pioneer for better development and deployment of the AIOS
ecosystem in the future. The project is open-source at
https://github.com/agiresearch/AIOS.