ModelScope-Agent: Het Bouwen van Jouw Aanpasbare Agentsysteem met Open-source Grote Taalmodellen

ModelScope-Agent: Building Your Customizable Agent System with Open-source Large Language Models

September 2, 2023

Auteurs: Chenliang Li, Hehong Chen, Ming Yan, Weizhou Shen, Haiyang Xu, Zhikai Wu, Zhicheng Zhang, Wenmeng Zhou, Yingda Chen, Chen Cheng, Hongzhu Shi, Ji Zhang, Fei Huang, Jingren Zhou

cs.AI

Samenvatting

Grote taalmodellen (LLMs) hebben recentelijk opmerkelijke capaciteiten getoond om menselijke intenties te begrijpen, redeneringen te voeren en planning-achtig gedrag te ontwerpen. Om de kracht van LLMs verder te benutten voor het uitvoeren van complexe taken, is er een groeiende trend om agentframeworks te bouwen die LLMs, zoals ChatGPT, uitrusten met gereedschapsgebruik om verbinding te maken met een groot aantal externe API's. In dit werk introduceren we ModelScope-Agent, een algemeen en aanpasbaar agentframework voor real-world toepassingen, gebaseerd op open-source LLMs als controllers. Het biedt een gebruiksvriendelijke systeembibliotheek, met een aanpasbare engine-ontwerp om modeltraining op meerdere open-source LLMs te ondersteunen, terwijl het ook naadloze integratie mogelijk maakt met zowel model-API's als gewone API's op een uniforme manier. Om de LLMs uit te rusten met gereedschapsgebruik, is een uitgebreid framework voorgesteld dat zich uitstrekt over gegevensverzameling voor gereedschapsgebruik, gereedschapsretrieval, gereedschapsregistratie, geheugenbeheer, aangepaste modeltraining en evaluatie voor praktische real-world toepassingen. Tot slot presenteren we ModelScopeGPT, een real-world intelligente assistent van de ModelScope Community gebaseerd op het ModelScope-Agent framework, die in staat is om open-source LLMs te verbinden met meer dan 1000 openbare AI-modellen en gelokaliseerde communitykennis in ModelScope. De ModelScope-Agent bibliotheek https://github.com/modelscope/modelscope-agent en online demo https://modelscope.cn/studios/damo/ModelScopeGPT/summary zijn nu publiekelijk beschikbaar.

English

Large language models (LLMs) have recently demonstrated remarkable capabilities to comprehend human intentions, engage in reasoning, and design planning-like behavior. To further unleash the power of LLMs to accomplish complex tasks, there is a growing trend to build agent framework that equips LLMs, such as ChatGPT, with tool-use abilities to connect with massive external APIs. In this work, we introduce ModelScope-Agent, a general and customizable agent framework for real-world applications, based on open-source LLMs as controllers. It provides a user-friendly system library, with customizable engine design to support model training on multiple open-source LLMs, while also enabling seamless integration with both model APIs and common APIs in a unified way. To equip the LLMs with tool-use abilities, a comprehensive framework has been proposed spanning over tool-use data collection, tool retrieval, tool registration, memory control, customized model training, and evaluation for practical real-world applications. Finally, we showcase ModelScopeGPT, a real-world intelligent assistant of ModelScope Community based on the ModelScope-Agent framework, which is able to connect open-source LLMs with more than 1000 public AI models and localized community knowledge in ModelScope. The ModelScope-Agent libraryhttps://github.com/modelscope/modelscope-agent and online demohttps://modelscope.cn/studios/damo/ModelScopeGPT/summary are now publicly available.