ModelScope-Agent: Entwicklung Ihres anpassbaren Agentensystems mit Open-Source-Großsprachmodellen

ModelScope-Agent: Building Your Customizable Agent System with Open-source Large Language Models

September 2, 2023

Autoren: Chenliang Li, Hehong Chen, Ming Yan, Weizhou Shen, Haiyang Xu, Zhikai Wu, Zhicheng Zhang, Wenmeng Zhou, Yingda Chen, Chen Cheng, Hongzhu Shi, Ji Zhang, Fei Huang, Jingren Zhou

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben in letzter Zeit bemerkenswerte Fähigkeiten gezeigt, menschliche Absichten zu verstehen, in logisches Denken einzutreten und planungsähnliches Verhalten zu entwerfen. Um die Leistungsfähigkeit von LLMs weiter zu entfesseln und komplexe Aufgaben zu bewältigen, gibt es einen zunehmenden Trend, Agenten-Frameworks zu entwickeln, die LLMs wie ChatGPT mit Werkzeugnutzungsfähigkeiten ausstatten, um sie mit einer Vielzahl externer APIs zu verbinden. In dieser Arbeit stellen wir ModelScope-Agent vor, ein allgemeines und anpassbares Agenten-Framework für reale Anwendungen, das auf Open-Source-LLMs als Steuerungseinheiten basiert. Es bietet eine benutzerfreundliche Systembibliothek mit einem anpassbaren Engine-Design, das das Modelltraining auf mehreren Open-Source-LLMs unterstützt und gleichzeitig eine nahtlose Integration sowohl mit Modell-APIs als auch mit gängigen APIs auf einheitliche Weise ermöglicht. Um die LLMs mit Werkzeugnutzungsfähigkeiten auszustatten, wurde ein umfassendes Framework vorgeschlagen, das die Datensammlung für die Werkzeugnutzung, die Werkzeugrückgewinnung, die Werkzeugregistrierung, die Speichersteuerung, das angepasste Modelltraining und die Bewertung für praktische reale Anwendungen abdeckt. Schließlich präsentieren wir ModelScopeGPT, einen intelligenten Assistenten der ModelScope-Community, der auf dem ModelScope-Agent-Framework basiert und in der Lage ist, Open-Source-LLMs mit mehr als 1000 öffentlichen KI-Modellen und lokalisiertem Community-Wissen in ModelScope zu verbinden. Die ModelScope-Agent-Bibliothek https://github.com/modelscope/modelscope-agent und die Online-Demo https://modelscope.cn/studios/damo/ModelScopeGPT/summary sind nun öffentlich verfügbar.

English

Large language models (LLMs) have recently demonstrated remarkable capabilities to comprehend human intentions, engage in reasoning, and design planning-like behavior. To further unleash the power of LLMs to accomplish complex tasks, there is a growing trend to build agent framework that equips LLMs, such as ChatGPT, with tool-use abilities to connect with massive external APIs. In this work, we introduce ModelScope-Agent, a general and customizable agent framework for real-world applications, based on open-source LLMs as controllers. It provides a user-friendly system library, with customizable engine design to support model training on multiple open-source LLMs, while also enabling seamless integration with both model APIs and common APIs in a unified way. To equip the LLMs with tool-use abilities, a comprehensive framework has been proposed spanning over tool-use data collection, tool retrieval, tool registration, memory control, customized model training, and evaluation for practical real-world applications. Finally, we showcase ModelScopeGPT, a real-world intelligent assistant of ModelScope Community based on the ModelScope-Agent framework, which is able to connect open-source LLMs with more than 1000 public AI models and localized community knowledge in ModelScope. The ModelScope-Agent libraryhttps://github.com/modelscope/modelscope-agent and online demohttps://modelscope.cn/studios/damo/ModelScopeGPT/summary are now publicly available.