ChatPaper.aiChatPaper

AgentTuning: LLM을 위한 일반화된 에이전트 능력 활성화

AgentTuning: Enabling Generalized Agent Abilities for LLMs

October 19, 2023
저자: Aohan Zeng, Mingdao Liu, Rui Lu, Bowen Wang, Xiao Liu, Yuxiao Dong, Jie Tang
cs.AI

초록

다양한 작업에서 뛰어난 성능을 보이는 오픈 대형 언어 모델(LLM)은 LLM 개발을 크게 진전시켰습니다. 그러나 실제 세계의 복잡한 작업을 해결하는 에이전트 역할을 할 때, 이러한 모델들은 ChatGPT나 GPT-4와 같은 상용 모델에 비해 훨씬 뒤떨어집니다. 이러한 에이전트 작업은 LLM을 계획, 기억, 도구 활용을 담당하는 중앙 제어기로 사용하며, 만족스러운 성능을 달성하기 위해서는 세밀한 프롬프팅 방법과 강력한 LLM이 모두 필요합니다. 특정 에이전트 작업을 완료하기 위해 많은 프롬프팅 방법이 제안되었지만, LLM의 일반적인 능력을 저해하지 않으면서 에이전트 능력을 향상시키는 데 초점을 맞춘 연구는 부족합니다. 본 연구에서는 LLM의 일반적인 능력을 유지하면서 에이전트 능력을 향상시키는 간단하고 일반적인 방법인 AgentTuning을 제시합니다. 우리는 고품질 상호작용 궤적을 포함한 경량의 지시 튜닝 데이터셋인 AgentInstruct를 구성했습니다. 또한 AgentInstruct와 일반 도메인의 오픈소스 지시를 결합한 하이브리드 지시 튜닝 전략을 사용했습니다. AgentTuning은 Llama 2 시리즈를 지시 튜닝하여 AgentLM을 생성하는 데 사용되었습니다. 평가 결과, AgentTuning은 LLM의 일반적인 능력을 저해하지 않으면서 에이전트 능력을 가능하게 하는 것으로 나타났습니다. AgentLM-70B는 보이지 않는 에이전트 작업에서 GPT-3.5-turbo와 비슷한 성능을 보이며 일반화된 에이전트 능력을 입증했습니다. 우리는 AgentInstruct와 AgentLM-7B, 13B, 70B 모델을 https://github.com/THUDM/AgentTuning 에 공개하여 에이전트 작업을 위한 상용 LLM에 대한 강력한 오픈소스 대안을 제공합니다.
English
Open large language models (LLMs) with great performance in various tasks have significantly advanced the development of LLMs. However, they are far inferior to commercial models such as ChatGPT and GPT-4 when acting as agents to tackle complex tasks in the real world. These agent tasks employ LLMs as the central controller responsible for planning, memorization, and tool utilization, necessitating both fine-grained prompting methods and robust LLMs to achieve satisfactory performance. Though many prompting methods have been proposed to complete particular agent tasks, there is lack of research focusing on improving the agent capabilities of LLMs themselves without compromising their general abilities. In this work, we present AgentTuning, a simple and general method to enhance the agent abilities of LLMs while maintaining their general LLM capabilities. We construct AgentInstruct, a lightweight instruction-tuning dataset containing high-quality interaction trajectories. We employ a hybrid instruction-tuning strategy by combining AgentInstruct with open-source instructions from general domains. AgentTuning is used to instruction-tune the Llama 2 series, resulting in AgentLM. Our evaluations show that AgentTuning enables LLMs' agent capabilities without compromising general abilities. The AgentLM-70B is comparable to GPT-3.5-turbo on unseen agent tasks, demonstrating generalized agent capabilities. We open source the AgentInstruct and AgentLM-7B, 13B, and 70B models at https://github.com/THUDM/AgentTuning , serving open and powerful alternatives to commercial LLMs for agent tasks.
PDF361December 15, 2024