Système d'exploitation pour agents LLM

LLM Agent Operating System

March 25, 2024

Auteurs: Kai Mei, Zelong Li, Shuyuan Xu, Ruosong Ye, Yingqiang Ge, Yongfeng Zhang

cs.AI

Résumé

L'intégration et le déploiement d'agents intelligents basés sur des modèles de langage de grande taille (LLM) se heurtent à des défis qui compromettent leur efficacité et leur performance. Parmi ces problèmes figurent une planification et une allocation des ressources sous-optimales pour les requêtes des agents sur le LLM, les difficultés à maintenir le contexte lors des interactions entre l'agent et le LLM, ainsi que les complexités inhérentes à l'intégration d'agents hétérogènes aux capacités et spécialisations variées. L'augmentation rapide du nombre et de la complexité des agents aggrave ces problèmes, entraînant souvent des goulots d'étranglement et une utilisation sous-optimale des ressources. Inspirés par ces défis, cet article présente AIOS, un système d'exploitation pour agents LLM, qui intègre un modèle de langage de grande taille dans les systèmes d'exploitation (OS). Concrètement, AIOS est conçu pour optimiser l'allocation des ressources, faciliter la commutation de contexte entre les agents, permettre l'exécution concurrente des agents, fournir des services d'outils aux agents et maintenir un contrôle d'accès pour ces derniers. Nous présentons l'architecture d'un tel système d'exploitation, décrivons les principaux défis qu'il vise à résoudre, et fournissons la conception et l'implémentation de base d'AIOS. Nos expériences sur l'exécution concurrente de plusieurs agents démontrent la fiabilité et l'efficacité des modules d'AIOS. À travers cela, nous visons non seulement à améliorer les performances et l'efficacité des agents LLM, mais aussi à ouvrir la voie à un meilleur développement et déploiement de l'écosystème AIOS à l'avenir. Le projet est open-source à l'adresse suivante : https://github.com/agiresearch/AIOS.

English

The integration and deployment of large language model (LLM)-based intelligent agents have been fraught with challenges that compromise their efficiency and efficacy. Among these issues are sub-optimal scheduling and resource allocation of agent requests over the LLM, the difficulties in maintaining context during interactions between agent and LLM, and the complexities inherent in integrating heterogeneous agents with different capabilities and specializations. The rapid increase of agent quantity and complexity further exacerbates these issues, often leading to bottlenecks and sub-optimal utilization of resources. Inspired by these challenges, this paper presents AIOS, an LLM agent operating system, which embeds large language model into operating systems (OS). Specifically, AIOS is designed to optimize resource allocation, facilitate context switch across agents, enable concurrent execution of agents, provide tool service for agents, and maintain access control for agents. We present the architecture of such an operating system, outline the core challenges it aims to resolve, and provide the basic design and implementation of the AIOS. Our experiments on concurrent execution of multiple agents demonstrate the reliability and efficiency of our AIOS modules. Through this, we aim to not only improve the performance and efficiency of LLM agents but also to pioneer for better development and deployment of the AIOS ecosystem in the future. The project is open-source at https://github.com/agiresearch/AIOS.