ModelScope-Agent: Costruisci il Tuo Sistema di Agenti Personalizzabile con Modelli Linguistici di Grande Scala Open-source

ModelScope-Agent: Building Your Customizable Agent System with Open-source Large Language Models

September 2, 2023

Autori: Chenliang Li, Hehong Chen, Ming Yan, Weizhou Shen, Haiyang Xu, Zhikai Wu, Zhicheng Zhang, Wenmeng Zhou, Yingda Chen, Chen Cheng, Hongzhu Shi, Ji Zhang, Fei Huang, Jingren Zhou

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno recentemente dimostrato capacità straordinarie nel comprendere le intenzioni umane, impegnarsi in ragionamenti e progettare comportamenti simili alla pianificazione. Per sfruttare ulteriormente il potenziale degli LLM nel portare a termine compiti complessi, si sta diffondendo la tendenza a costruire framework di agenti che dotano gli LLM, come ChatGPT, di abilità di utilizzo di strumenti per connettersi a un vasto numero di API esterne. In questo lavoro, presentiamo ModelScope-Agent, un framework di agenti generale e personalizzabile per applicazioni nel mondo reale, basato su LLM open-source come controller. Offre una libreria di sistema user-friendly, con un design del motore personalizzabile per supportare l'addestramento di modelli su più LLM open-source, consentendo anche un'integrazione senza soluzione di continuità sia con le API dei modelli che con le API comuni in modo unificato. Per dotare gli LLM di abilità di utilizzo di strumenti, è stato proposto un framework completo che copre la raccolta di dati sull'uso degli strumenti, il recupero degli strumenti, la registrazione degli strumenti, il controllo della memoria, l'addestramento personalizzato dei modelli e la valutazione per applicazioni pratiche nel mondo reale. Infine, presentiamo ModelScopeGPT, un assistente intelligente del mondo reale per la comunità ModelScope basato sul framework ModelScope-Agent, in grado di connettere LLM open-source con più di 1000 modelli di IA pubblici e conoscenze localizzate della comunità in ModelScope. La libreria ModelScope-Agent https://github.com/modelscope/modelscope-agent e la demo online https://modelscope.cn/studios/damo/ModelScopeGPT/summary sono ora disponibili pubblicamente.

English

Large language models (LLMs) have recently demonstrated remarkable capabilities to comprehend human intentions, engage in reasoning, and design planning-like behavior. To further unleash the power of LLMs to accomplish complex tasks, there is a growing trend to build agent framework that equips LLMs, such as ChatGPT, with tool-use abilities to connect with massive external APIs. In this work, we introduce ModelScope-Agent, a general and customizable agent framework for real-world applications, based on open-source LLMs as controllers. It provides a user-friendly system library, with customizable engine design to support model training on multiple open-source LLMs, while also enabling seamless integration with both model APIs and common APIs in a unified way. To equip the LLMs with tool-use abilities, a comprehensive framework has been proposed spanning over tool-use data collection, tool retrieval, tool registration, memory control, customized model training, and evaluation for practical real-world applications. Finally, we showcase ModelScopeGPT, a real-world intelligent assistant of ModelScope Community based on the ModelScope-Agent framework, which is able to connect open-source LLMs with more than 1000 public AI models and localized community knowledge in ModelScope. The ModelScope-Agent libraryhttps://github.com/modelscope/modelscope-agent and online demohttps://modelscope.cn/studios/damo/ModelScopeGPT/summary are now publicly available.