AgentTuning: Het mogelijk maken van gegeneraliseerde agentvaardigheden voor LLM's

AgentTuning: Enabling Generalized Agent Abilities for LLMs

October 19, 2023

Auteurs: Aohan Zeng, Mingdao Liu, Rui Lu, Bowen Wang, Xiao Liu, Yuxiao Dong, Jie Tang

cs.AI

Samenvatting

Open grote taalmodellen (LLMs) met uitstekende prestaties in diverse taken hebben de ontwikkeling van LLMs aanzienlijk bevorderd. Echter, ze zijn ver inferieur aan commerciële modellen zoals ChatGPT en GPT-4 wanneer ze als agents worden ingezet om complexe taken in de echte wereld aan te pakken. Deze agenttaken gebruiken LLMs als de centrale controller die verantwoordelijk is voor planning, geheugen en het gebruik van tools, wat zowel fijnmazige prompting-methoden als robuuste LLMs vereist om bevredigende prestaties te bereiken. Hoewel er veel prompting-methoden zijn voorgesteld om specifieke agenttaken te voltooien, ontbreekt het aan onderzoek dat zich richt op het verbeteren van de agentcapaciteiten van LLMs zelf zonder hun algemene vaardigheden aan te tasten. In dit werk presenteren we AgentTuning, een eenvoudige en algemene methode om de agentcapaciteiten van LLMs te verbeteren terwijl hun algemene LLM-capaciteiten behouden blijven. We construeren AgentInstruct, een lichtgewicht instructie-tuning dataset die hoogwaardige interactietrajecten bevat. We gebruiken een hybride instructie-tuning strategie door AgentInstruct te combineren met open-source instructies uit algemene domeinen. AgentTuning wordt gebruikt om de Llama 2-serie te instructie-tunen, wat resulteert in AgentLM. Onze evaluaties tonen aan dat AgentTuning de agentcapaciteiten van LLMs mogelijk maakt zonder de algemene vaardigheden aan te tasten. De AgentLM-70B is vergelijkbaar met GPT-3.5-turbo bij onbekende agenttaken, wat gegeneraliseerde agentcapaciteiten aantoont. We maken de AgentInstruct en AgentLM-7B, 13B en 70B modellen openbaar op https://github.com/THUDM/AgentTuning, als open en krachtige alternatieven voor commerciële LLMs voor agenttaken.

English

Open large language models (LLMs) with great performance in various tasks have significantly advanced the development of LLMs. However, they are far inferior to commercial models such as ChatGPT and GPT-4 when acting as agents to tackle complex tasks in the real world. These agent tasks employ LLMs as the central controller responsible for planning, memorization, and tool utilization, necessitating both fine-grained prompting methods and robust LLMs to achieve satisfactory performance. Though many prompting methods have been proposed to complete particular agent tasks, there is lack of research focusing on improving the agent capabilities of LLMs themselves without compromising their general abilities. In this work, we present AgentTuning, a simple and general method to enhance the agent abilities of LLMs while maintaining their general LLM capabilities. We construct AgentInstruct, a lightweight instruction-tuning dataset containing high-quality interaction trajectories. We employ a hybrid instruction-tuning strategy by combining AgentInstruct with open-source instructions from general domains. AgentTuning is used to instruction-tune the Llama 2 series, resulting in AgentLM. Our evaluations show that AgentTuning enables LLMs' agent capabilities without compromising general abilities. The AgentLM-70B is comparable to GPT-3.5-turbo on unseen agent tasks, demonstrating generalized agent capabilities. We open source the AgentInstruct and AgentLM-7B, 13B, and 70B models at https://github.com/THUDM/AgentTuning , serving open and powerful alternatives to commercial LLMs for agent tasks.