ModelScope-Agent: 오픈소스 대형 언어 모델을 활용한 맞춤형 에이전트 시스템 구축

ModelScope-Agent: Building Your Customizable Agent System with Open-source Large Language Models

September 2, 2023

저자: Chenliang Li, Hehong Chen, Ming Yan, Weizhou Shen, Haiyang Xu, Zhikai Wu, Zhicheng Zhang, Wenmeng Zhou, Yingda Chen, Chen Cheng, Hongzhu Shi, Ji Zhang, Fei Huang, Jingren Zhou

cs.AI

초록

대규모 언어 모델(LLM)은 최근 인간의 의도를 이해하고, 추론을 수행하며, 계획과 유사한 행동을 설계하는 놀라운 능력을 보여주고 있습니다. 복잡한 작업을 수행하기 위해 LLM의 잠재력을 더욱 발휘하기 위해, ChatGPT와 같은 LLM에 도구 사용 능력을 부여하여 다양한 외부 API와 연결할 수 있는 에이전트 프레임워크를 구축하는 추세가 증가하고 있습니다. 본 연구에서는 오픈소스 LLM을 컨트롤러로 활용하여 실세계 애플리케이션을 위한 일반적이고 사용자 정의 가능한 에이전트 프레임워크인 ModelScope-Agent를 소개합니다. 이 프레임워크는 사용자 친화적인 시스템 라이브러리를 제공하며, 여러 오픈소스 LLM에 대한 모델 학습을 지원하는 사용자 정의 가능한 엔진 설계와 함께, 모델 API 및 일반 API와의 원활한 통합을 단일 방식으로 가능하게 합니다. LLM에 도구 사용 능력을 부여하기 위해, 도구 사용 데이터 수집, 도구 검색, 도구 등록, 메모리 제어, 사용자 정의 모델 학습, 그리고 실세계 애플리케이션을 위한 평가를 아우르는 포괄적인 프레임워크를 제안합니다. 마지막으로, ModelScope-Agent 프레임워크를 기반으로 한 ModelScope 커뮤니티의 실세계 지능형 어시스턴트인 ModelScopeGPT를 선보입니다. 이 어시스턴트는 오픈소스 LLM을 ModelScope의 1000개 이상의 공개 AI 모델 및 지역화된 커뮤니티 지식과 연결할 수 있습니다. ModelScope-Agent 라이브러리(https://github.com/modelscope/modelscope-agent)와 온라인 데모(https://modelscope.cn/studios/damo/ModelScopeGPT/summary)는 현재 공개되어 있습니다.

English

Large language models (LLMs) have recently demonstrated remarkable capabilities to comprehend human intentions, engage in reasoning, and design planning-like behavior. To further unleash the power of LLMs to accomplish complex tasks, there is a growing trend to build agent framework that equips LLMs, such as ChatGPT, with tool-use abilities to connect with massive external APIs. In this work, we introduce ModelScope-Agent, a general and customizable agent framework for real-world applications, based on open-source LLMs as controllers. It provides a user-friendly system library, with customizable engine design to support model training on multiple open-source LLMs, while also enabling seamless integration with both model APIs and common APIs in a unified way. To equip the LLMs with tool-use abilities, a comprehensive framework has been proposed spanning over tool-use data collection, tool retrieval, tool registration, memory control, customized model training, and evaluation for practical real-world applications. Finally, we showcase ModelScopeGPT, a real-world intelligent assistant of ModelScope Community based on the ModelScope-Agent framework, which is able to connect open-source LLMs with more than 1000 public AI models and localized community knowledge in ModelScope. The ModelScope-Agent libraryhttps://github.com/modelscope/modelscope-agent and online demohttps://modelscope.cn/studios/damo/ModelScopeGPT/summary are now publicly available.