ModelScope-Agent: Construindo Seu Sistema de Agentes Personalizável com Modelos de Linguagem de Grande Escala de Código Aberto

ModelScope-Agent: Building Your Customizable Agent System with Open-source Large Language Models

September 2, 2023

Autores: Chenliang Li, Hehong Chen, Ming Yan, Weizhou Shen, Haiyang Xu, Zhikai Wu, Zhicheng Zhang, Wenmeng Zhou, Yingda Chen, Chen Cheng, Hongzhu Shi, Ji Zhang, Fei Huang, Jingren Zhou

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) demonstraram recentemente capacidades notáveis para compreender intenções humanas, engajar-se em raciocínio e projetar comportamentos semelhantes a planejamento. Para liberar ainda mais o poder dos LLMs na realização de tarefas complexas, há uma tendência crescente de construir frameworks de agentes que equipam LLMs, como o ChatGPT, com habilidades de uso de ferramentas para se conectar a APIs externas massivas. Neste trabalho, apresentamos o ModelScope-Agent, um framework de agente geral e personalizável para aplicações do mundo real, baseado em LLMs de código aberto como controladores. Ele fornece uma biblioteca de sistema amigável ao usuário, com design de motor personalizável para suportar o treinamento de modelos em múltiplos LLMs de código aberto, ao mesmo tempo em que permite a integração perfeita com APIs de modelos e APIs comuns de forma unificada. Para equipar os LLMs com habilidades de uso de ferramentas, foi proposto um framework abrangente que abrange coleta de dados de uso de ferramentas, recuperação de ferramentas, registro de ferramentas, controle de memória, treinamento de modelos personalizados e avaliação para aplicações práticas do mundo real. Por fim, apresentamos o ModelScopeGPT, um assistente inteligente do mundo real da Comunidade ModelScope baseado no framework ModelScope-Agent, que é capaz de conectar LLMs de código aberto com mais de 1000 modelos de IA públicos e conhecimento localizado da comunidade no ModelScope. A biblioteca ModelScope-Agent https://github.com/modelscope/modelscope-agent e a demonstração online https://modelscope.cn/studios/damo/ModelScopeGPT/summary estão agora publicamente disponíveis.

English

Large language models (LLMs) have recently demonstrated remarkable capabilities to comprehend human intentions, engage in reasoning, and design planning-like behavior. To further unleash the power of LLMs to accomplish complex tasks, there is a growing trend to build agent framework that equips LLMs, such as ChatGPT, with tool-use abilities to connect with massive external APIs. In this work, we introduce ModelScope-Agent, a general and customizable agent framework for real-world applications, based on open-source LLMs as controllers. It provides a user-friendly system library, with customizable engine design to support model training on multiple open-source LLMs, while also enabling seamless integration with both model APIs and common APIs in a unified way. To equip the LLMs with tool-use abilities, a comprehensive framework has been proposed spanning over tool-use data collection, tool retrieval, tool registration, memory control, customized model training, and evaluation for practical real-world applications. Finally, we showcase ModelScopeGPT, a real-world intelligent assistant of ModelScope Community based on the ModelScope-Agent framework, which is able to connect open-source LLMs with more than 1000 public AI models and localized community knowledge in ModelScope. The ModelScope-Agent libraryhttps://github.com/modelscope/modelscope-agent and online demohttps://modelscope.cn/studios/damo/ModelScopeGPT/summary are now publicly available.