Система управления агентом LLM

LLM Agent Operating System

March 25, 2024

Авторы: Kai Mei, Zelong Li, Shuyuan Xu, Ruosong Ye, Yingqiang Ge, Yongfeng Zhang

cs.AI

Аннотация

Интеграция и развертывание интеллектуальных агентов на основе крупных языковых моделей (LLM) сталкиваются с рядом проблем, которые подрывают их эффективность и эффективность. Среди этих проблем - субоптимальное планирование и распределение ресурсов запросов агентов по LLM, трудности в поддержании контекста во время взаимодействия между агентом и LLM, а также сложности, связанные с интеграцией гетерогенных агентов с различными способностями и специализациями. Быстрый рост количества агентов и их сложности дополнительно усугубляет эти проблемы, часто приводя к узким местам и субоптимальному использованию ресурсов. Вдохновленные этими вызовами, в данной статье представляется AIOS - операционная система агента LLM, которая встраивает крупную языковую модель в операционные системы (OS). Конкретно AIOS разработана для оптимизации распределения ресурсов, облегчения переключения контекста между агентами, обеспечения параллельного выполнения агентов, предоставления сервисов инструментов для агентов и обеспечения контроля доступа для агентов. Мы представляем архитектуру такой операционной системы, обозначаем основные вызовы, которые она ставит перед собой, и предоставляем основной дизайн и реализацию AIOS. Наши эксперименты по параллельному выполнению нескольких агентов демонстрируют надежность и эффективность модулей AIOS. Через это мы стремимся не только улучшить производительность и эффективность агентов LLM, но также выступить за лучшее развитие и развертывание экосистемы AIOS в будущем. Проект является открытым и доступен по адресу https://github.com/agiresearch/AIOS.

English

The integration and deployment of large language model (LLM)-based intelligent agents have been fraught with challenges that compromise their efficiency and efficacy. Among these issues are sub-optimal scheduling and resource allocation of agent requests over the LLM, the difficulties in maintaining context during interactions between agent and LLM, and the complexities inherent in integrating heterogeneous agents with different capabilities and specializations. The rapid increase of agent quantity and complexity further exacerbates these issues, often leading to bottlenecks and sub-optimal utilization of resources. Inspired by these challenges, this paper presents AIOS, an LLM agent operating system, which embeds large language model into operating systems (OS). Specifically, AIOS is designed to optimize resource allocation, facilitate context switch across agents, enable concurrent execution of agents, provide tool service for agents, and maintain access control for agents. We present the architecture of such an operating system, outline the core challenges it aims to resolve, and provide the basic design and implementation of the AIOS. Our experiments on concurrent execution of multiple agents demonstrate the reliability and efficiency of our AIOS modules. Through this, we aim to not only improve the performance and efficiency of LLM agents but also to pioneer for better development and deployment of the AIOS ecosystem in the future. The project is open-source at https://github.com/agiresearch/AIOS.