AgentTuning : Permettre des capacités d'agent généralisées pour les LLM

AgentTuning: Enabling Generalized Agent Abilities for LLMs

October 19, 2023

Auteurs: Aohan Zeng, Mingdao Liu, Rui Lu, Bowen Wang, Xiao Liu, Yuxiao Dong, Jie Tang

cs.AI

Résumé

Les grands modèles de langage (LLM) ouverts, dotés d'excellentes performances sur diverses tâches, ont considérablement fait progresser le développement des LLM. Cependant, ils restent bien inférieurs aux modèles commerciaux tels que ChatGPT et GPT-4 lorsqu'ils agissent en tant qu'agents pour résoudre des tâches complexes dans le monde réel. Ces tâches d'agent utilisent les LLM comme contrôleur central, responsable de la planification, de la mémorisation et de l'utilisation d'outils, nécessitant à la fois des méthodes d'invocation fine et des LLM robustes pour atteindre des performances satisfaisantes. Bien que de nombreuses méthodes d'invocation aient été proposées pour accomplir des tâches d'agent spécifiques, il manque des recherches visant à améliorer les capacités d'agent des LLM eux-mêmes sans compromettre leurs capacités générales. Dans ce travail, nous présentons AgentTuning, une méthode simple et générale pour améliorer les capacités d'agent des LLM tout en conservant leurs capacités générales de LLM. Nous construisons AgentInstruct, un ensemble de données léger pour l'ajustement par instructions, contenant des trajectoires d'interaction de haute qualité. Nous employons une stratégie hybride d'ajustement par instructions en combinant AgentInstruct avec des instructions open source provenant de domaines généraux. AgentTuning est utilisé pour ajuster par instructions la série Llama 2, aboutissant à AgentLM. Nos évaluations montrent qu'AgentTuning permet d'améliorer les capacités d'agent des LLM sans compromettre leurs capacités générales. L'AgentLM-70B est comparable à GPT-3.5-turbo sur des tâches d'agent non vues, démontrant des capacités d'agent généralisées. Nous rendons publics AgentInstruct ainsi que les modèles AgentLM-7B, 13B et 70B sur https://github.com/THUDM/AgentTuning, offrant ainsi des alternatives ouvertes et puissantes aux LLM commerciaux pour les tâches d'agent.

English

Open large language models (LLMs) with great performance in various tasks have significantly advanced the development of LLMs. However, they are far inferior to commercial models such as ChatGPT and GPT-4 when acting as agents to tackle complex tasks in the real world. These agent tasks employ LLMs as the central controller responsible for planning, memorization, and tool utilization, necessitating both fine-grained prompting methods and robust LLMs to achieve satisfactory performance. Though many prompting methods have been proposed to complete particular agent tasks, there is lack of research focusing on improving the agent capabilities of LLMs themselves without compromising their general abilities. In this work, we present AgentTuning, a simple and general method to enhance the agent abilities of LLMs while maintaining their general LLM capabilities. We construct AgentInstruct, a lightweight instruction-tuning dataset containing high-quality interaction trajectories. We employ a hybrid instruction-tuning strategy by combining AgentInstruct with open-source instructions from general domains. AgentTuning is used to instruction-tune the Llama 2 series, resulting in AgentLM. Our evaluations show that AgentTuning enables LLMs' agent capabilities without compromising general abilities. The AgentLM-70B is comparable to GPT-3.5-turbo on unseen agent tasks, demonstrating generalized agent capabilities. We open source the AgentInstruct and AgentLM-7B, 13B, and 70B models at https://github.com/THUDM/AgentTuning , serving open and powerful alternatives to commercial LLMs for agent tasks.