LLM-Agent-Betriebssystem

LLM Agent Operating System

March 25, 2024

Autoren: Kai Mei, Zelong Li, Shuyuan Xu, Ruosong Ye, Yingqiang Ge, Yongfeng Zhang

cs.AI

Zusammenfassung

Die Integration und Bereitstellung von intelligenten Agenten auf der Basis großer Sprachmodelle (LLM) waren von Herausforderungen geprägt, die ihre Effizienz und Wirksamkeit beeinträchtigen. Zu diesen Problemen gehören die suboptimale Planung und Ressourcenzuweisung von Agentenanfragen über das LLM, die Schwierigkeiten bei der Aufrechterhaltung des Kontexts während der Interaktionen zwischen Agent und LLM sowie die inhärenten Komplexitäten bei der Integration heterogener Agenten mit unterschiedlichen Fähigkeiten und Spezialisierungen. Der rasche Anstieg der Anzahl und Komplexität von Agenten verschärft diese Probleme weiter, was häufig zu Engpässen und einer suboptimalen Nutzung von Ressourcen führt. Inspiriert von diesen Herausforderungen stellt dieser Artikel AIOS vor, ein Betriebssystem für LLM-Agenten, das große Sprachmodelle in Betriebssysteme integriert. Speziell wurde AIOS entwickelt, um die Ressourcenzuweisung zu optimieren, den Kontextwechsel zwischen Agenten zu erleichtern, die gleichzeitige Ausführung von Agenten zu ermöglichen, Werkzeugdienste für Agenten bereitzustellen und den Zugriff von Agenten zu kontrollieren. Wir präsentieren die Architektur eines solchen Betriebssystems, umreißen die zentralen Herausforderungen, die es lösen soll, und geben das grundlegende Design und die Implementierung des AIOS an. Unsere Experimente zur gleichzeitigen Ausführung mehrerer Agenten zeigen die Zuverlässigkeit und Effizienz unserer AIOS-Module. Dadurch wollen wir nicht nur die Leistung und Effizienz von LLM-Agenten verbessern, sondern auch Pionierarbeit für eine bessere Entwicklung und Bereitstellung des AIOS-Ökosystems in der Zukunft leisten. Das Projekt ist Open-Source unter https://github.com/agiresearch/AIOS verfügbar.

English

The integration and deployment of large language model (LLM)-based intelligent agents have been fraught with challenges that compromise their efficiency and efficacy. Among these issues are sub-optimal scheduling and resource allocation of agent requests over the LLM, the difficulties in maintaining context during interactions between agent and LLM, and the complexities inherent in integrating heterogeneous agents with different capabilities and specializations. The rapid increase of agent quantity and complexity further exacerbates these issues, often leading to bottlenecks and sub-optimal utilization of resources. Inspired by these challenges, this paper presents AIOS, an LLM agent operating system, which embeds large language model into operating systems (OS). Specifically, AIOS is designed to optimize resource allocation, facilitate context switch across agents, enable concurrent execution of agents, provide tool service for agents, and maintain access control for agents. We present the architecture of such an operating system, outline the core challenges it aims to resolve, and provide the basic design and implementation of the AIOS. Our experiments on concurrent execution of multiple agents demonstrate the reliability and efficiency of our AIOS modules. Through this, we aim to not only improve the performance and efficiency of LLM agents but also to pioneer for better development and deployment of the AIOS ecosystem in the future. The project is open-source at https://github.com/agiresearch/AIOS.