ModelScope-Agent: Создание вашей настраиваемой системы агентов с использованием открытых больших языковых моделей

ModelScope-Agent: Building Your Customizable Agent System with Open-source Large Language Models

September 2, 2023

Авторы: Chenliang Li, Hehong Chen, Ming Yan, Weizhou Shen, Haiyang Xu, Zhikai Wu, Zhicheng Zhang, Wenmeng Zhou, Yingda Chen, Chen Cheng, Hongzhu Shi, Ji Zhang, Fei Huang, Jingren Zhou

cs.AI

Аннотация

Крупные языковые модели (LLM) недавно продемонстрировали впечатляющие способности в понимании человеческих намерений, участии в рассуждениях и проектировании поведения, напоминающего планирование. Чтобы в полной мере раскрыть потенциал LLM для выполнения сложных задач, наблюдается растущая тенденция к созданию агентских фреймворков, которые наделяют LLM, такие как ChatGPT, способностью использовать инструменты для взаимодействия с многочисленными внешними API. В данной работе мы представляем ModelScope-Agent — универсальный и настраиваемый агентский фреймворк для реальных приложений, основанный на открытых LLM в качестве контроллеров. Он предоставляет удобную системную библиотеку с настраиваемым дизайном движка для поддержки обучения моделей на нескольких открытых LLM, а также обеспечивает бесшовную интеграцию как с модельными API, так и с общедоступными API в едином формате. Чтобы наделить LLM способностью использовать инструменты, предложен комплексный фреймворк, охватывающий сбор данных об использовании инструментов, их поиск, регистрацию, управление памятью, обучение настраиваемых моделей и оценку для практических применений в реальном мире. Наконец, мы демонстрируем ModelScopeGPT — интеллектуального помощника сообщества ModelScope, основанного на фреймворке ModelScope-Agent, который способен связывать открытые LLM с более чем 1000 публичными моделями ИИ и локальными знаниями сообщества в ModelScope. Библиотека ModelScope-Agent (https://github.com/modelscope/modelscope-agent) и онлайн-демонстрация (https://modelscope.cn/studios/damo/ModelScopeGPT/summary) теперь доступны для публичного использования.

English

Large language models (LLMs) have recently demonstrated remarkable capabilities to comprehend human intentions, engage in reasoning, and design planning-like behavior. To further unleash the power of LLMs to accomplish complex tasks, there is a growing trend to build agent framework that equips LLMs, such as ChatGPT, with tool-use abilities to connect with massive external APIs. In this work, we introduce ModelScope-Agent, a general and customizable agent framework for real-world applications, based on open-source LLMs as controllers. It provides a user-friendly system library, with customizable engine design to support model training on multiple open-source LLMs, while also enabling seamless integration with both model APIs and common APIs in a unified way. To equip the LLMs with tool-use abilities, a comprehensive framework has been proposed spanning over tool-use data collection, tool retrieval, tool registration, memory control, customized model training, and evaluation for practical real-world applications. Finally, we showcase ModelScopeGPT, a real-world intelligent assistant of ModelScope Community based on the ModelScope-Agent framework, which is able to connect open-source LLMs with more than 1000 public AI models and localized community knowledge in ModelScope. The ModelScope-Agent libraryhttps://github.com/modelscope/modelscope-agent and online demohttps://modelscope.cn/studios/damo/ModelScopeGPT/summary are now publicly available.