Sistema Operativo para Agentes de LLM

LLM Agent Operating System

March 25, 2024

Autores: Kai Mei, Zelong Li, Shuyuan Xu, Ruosong Ye, Yingqiang Ge, Yongfeng Zhang

cs.AI

Resumen

La integración y despliegue de agentes inteligentes basados en modelos de lenguaje de gran escala (LLM) han estado plagados de desafíos que comprometen su eficiencia y eficacia. Entre estos problemas se encuentran la programación y asignación de recursos subóptimas para las solicitudes de los agentes sobre el LLM, las dificultades para mantener el contexto durante las interacciones entre el agente y el LLM, y las complejidades inherentes a la integración de agentes heterogéneos con diferentes capacidades y especializaciones. El rápido aumento en la cantidad y complejidad de los agentes agrava aún más estos problemas, lo que a menudo conduce a cuellos de botella y a una utilización subóptima de los recursos. Inspirados por estos desafíos, este artículo presenta AIOS, un sistema operativo para agentes LLM, que integra modelos de lenguaje de gran escala en los sistemas operativos (OS). Específicamente, AIOS está diseñado para optimizar la asignación de recursos, facilitar el cambio de contexto entre agentes, permitir la ejecución concurrente de agentes, proporcionar servicios de herramientas para los agentes y mantener el control de acceso para los agentes. Presentamos la arquitectura de dicho sistema operativo, delineamos los desafíos centrales que busca resolver y proporcionamos el diseño básico y la implementación de AIOS. Nuestros experimentos sobre la ejecución concurrente de múltiples agentes demuestran la confiabilidad y eficiencia de nuestros módulos de AIOS. A través de esto, nuestro objetivo no solo es mejorar el rendimiento y la eficiencia de los agentes LLM, sino también sentar las bases para un mejor desarrollo y despliegue del ecosistema AIOS en el futuro. El proyecto es de código abierto en https://github.com/agiresearch/AIOS.

English

The integration and deployment of large language model (LLM)-based intelligent agents have been fraught with challenges that compromise their efficiency and efficacy. Among these issues are sub-optimal scheduling and resource allocation of agent requests over the LLM, the difficulties in maintaining context during interactions between agent and LLM, and the complexities inherent in integrating heterogeneous agents with different capabilities and specializations. The rapid increase of agent quantity and complexity further exacerbates these issues, often leading to bottlenecks and sub-optimal utilization of resources. Inspired by these challenges, this paper presents AIOS, an LLM agent operating system, which embeds large language model into operating systems (OS). Specifically, AIOS is designed to optimize resource allocation, facilitate context switch across agents, enable concurrent execution of agents, provide tool service for agents, and maintain access control for agents. We present the architecture of such an operating system, outline the core challenges it aims to resolve, and provide the basic design and implementation of the AIOS. Our experiments on concurrent execution of multiple agents demonstrate the reliability and efficiency of our AIOS modules. Through this, we aim to not only improve the performance and efficiency of LLM agents but also to pioneer for better development and deployment of the AIOS ecosystem in the future. The project is open-source at https://github.com/agiresearch/AIOS.