Sistema Operativo per Agenti LLM
LLM Agent Operating System
March 25, 2024
Autori: Kai Mei, Zelong Li, Shuyuan Xu, Ruosong Ye, Yingqiang Ge, Yongfeng Zhang
cs.AI
Abstract
L'integrazione e il dispiegamento di agenti intelligenti basati su modelli linguistici di grandi dimensioni (LLM) sono stati caratterizzati da sfide che compromettono la loro efficienza ed efficacia. Tra questi problemi vi sono una pianificazione e un'allocazione delle risorse subottimali per le richieste degli agenti sull'LLM, le difficoltà nel mantenere il contesto durante le interazioni tra agente e LLM, e le complessità intrinseche nell'integrare agenti eterogenei con diverse capacità e specializzazioni. Il rapido aumento della quantità e della complessità degli agenti aggrava ulteriormente questi problemi, portando spesso a colli di bottiglia e a un utilizzo subottimale delle risorse. Ispirati da queste sfide, questo articolo presenta AIOS, un sistema operativo per agenti LLM, che integra il modello linguistico di grandi dimensioni nei sistemi operativi (OS). Nello specifico, AIOS è progettato per ottimizzare l'allocazione delle risorse, facilitare il cambio di contesto tra gli agenti, abilitare l'esecuzione concorrente degli agenti, fornire servizi di strumenti per gli agenti e mantenere il controllo degli accessi per gli agenti. Presentiamo l'architettura di un tale sistema operativo, delineiamo le principali sfide che mira a risolvere e forniamo il design e l'implementazione di base di AIOS. I nostri esperimenti sull'esecuzione concorrente di più agenti dimostrano l'affidabilità e l'efficienza dei nostri moduli AIOS. Attraverso ciò, miriamo non solo a migliorare le prestazioni e l'efficienza degli agenti LLM, ma anche a pionierizzare un migliore sviluppo e dispiegamento dell'ecosistema AIOS in futuro. Il progetto è open-source all'indirizzo https://github.com/agiresearch/AIOS.
English
The integration and deployment of large language model (LLM)-based
intelligent agents have been fraught with challenges that compromise their
efficiency and efficacy. Among these issues are sub-optimal scheduling and
resource allocation of agent requests over the LLM, the difficulties in
maintaining context during interactions between agent and LLM, and the
complexities inherent in integrating heterogeneous agents with different
capabilities and specializations. The rapid increase of agent quantity and
complexity further exacerbates these issues, often leading to bottlenecks and
sub-optimal utilization of resources. Inspired by these challenges, this paper
presents AIOS, an LLM agent operating system, which embeds large language model
into operating systems (OS). Specifically, AIOS is designed to optimize
resource allocation, facilitate context switch across agents, enable concurrent
execution of agents, provide tool service for agents, and maintain access
control for agents. We present the architecture of such an operating system,
outline the core challenges it aims to resolve, and provide the basic design
and implementation of the AIOS. Our experiments on concurrent execution of
multiple agents demonstrate the reliability and efficiency of our AIOS modules.
Through this, we aim to not only improve the performance and efficiency of LLM
agents but also to pioneer for better development and deployment of the AIOS
ecosystem in the future. The project is open-source at
https://github.com/agiresearch/AIOS.