LLM Agent Besturingssysteem
LLM Agent Operating System
March 25, 2024
Auteurs: Kai Mei, Zelong Li, Shuyuan Xu, Ruosong Ye, Yingqiang Ge, Yongfeng Zhang
cs.AI
Samenvatting
De integratie en implementatie van intelligente agents gebaseerd op grote taalmodellen (LLM's) zijn behept met uitdagingen die hun efficiëntie en effectiviteit in gevaar brengen. Tot deze problemen behoren suboptimale planning en toewijzing van resources voor agentverzoeken aan het LLM, de moeilijkheden bij het behouden van context tijdens interacties tussen agent en LLM, en de complexiteiten die inherent zijn aan het integreren van heterogene agents met verschillende capaciteiten en specialisaties. De snelle toename van het aantal agents en hun complexiteit verergert deze problemen verder, wat vaak leidt tot knelpunten en suboptimale benutting van resources. Geïnspireerd door deze uitdagingen presenteert dit artikel AIOS, een LLM-agentbesturingssysteem dat grote taalmodellen integreert in besturingssystemen (OS). Specifiek is AIOS ontworpen om de toewijzing van resources te optimaliseren, contextwisselingen tussen agents te vergemakkelijken, gelijktijdige uitvoering van agents mogelijk te maken, tools te leveren voor agents en toegangscontrole voor agents te handhaven. We presenteren de architectuur van een dergelijk besturingssysteem, schetsen de kernuitdagingen die het wil oplossen, en bieden het basisontwerp en de implementatie van AIOS. Onze experimenten met gelijktijdige uitvoering van meerdere agents demonstreren de betrouwbaarheid en efficiëntie van onze AIOS-modules. Hiermee streven we ernaar niet alleen de prestaties en efficiëntie van LLM-agents te verbeteren, maar ook een voortrekkersrol te spelen in de verdere ontwikkeling en implementatie van het AIOS-ecosysteem in de toekomst. Het project is open-source beschikbaar op https://github.com/agiresearch/AIOS.
English
The integration and deployment of large language model (LLM)-based
intelligent agents have been fraught with challenges that compromise their
efficiency and efficacy. Among these issues are sub-optimal scheduling and
resource allocation of agent requests over the LLM, the difficulties in
maintaining context during interactions between agent and LLM, and the
complexities inherent in integrating heterogeneous agents with different
capabilities and specializations. The rapid increase of agent quantity and
complexity further exacerbates these issues, often leading to bottlenecks and
sub-optimal utilization of resources. Inspired by these challenges, this paper
presents AIOS, an LLM agent operating system, which embeds large language model
into operating systems (OS). Specifically, AIOS is designed to optimize
resource allocation, facilitate context switch across agents, enable concurrent
execution of agents, provide tool service for agents, and maintain access
control for agents. We present the architecture of such an operating system,
outline the core challenges it aims to resolve, and provide the basic design
and implementation of the AIOS. Our experiments on concurrent execution of
multiple agents demonstrate the reliability and efficiency of our AIOS modules.
Through this, we aim to not only improve the performance and efficiency of LLM
agents but also to pioneer for better development and deployment of the AIOS
ecosystem in the future. The project is open-source at
https://github.com/agiresearch/AIOS.