AgentTuning: Habilitación de Capacidades Generales de Agentes para Modelos de Lenguaje de Gran Escala

AgentTuning: Enabling Generalized Agent Abilities for LLMs

October 19, 2023

Autores: Aohan Zeng, Mingdao Liu, Rui Lu, Bowen Wang, Xiao Liu, Yuxiao Dong, Jie Tang

cs.AI

Resumen

Los grandes modelos de lenguaje (LLMs, por sus siglas en inglés) de código abierto con un rendimiento destacado en diversas tareas han impulsado significativamente el desarrollo de los LLMs. Sin embargo, son muy inferiores a modelos comerciales como ChatGPT y GPT-4 cuando actúan como agentes para abordar tareas complejas en el mundo real. Estas tareas de agente utilizan los LLMs como controladores centrales responsables de la planificación, la memorización y la utilización de herramientas, lo que requiere tanto métodos de indicación detallados como LLMs robustos para lograr un rendimiento satisfactorio. Aunque se han propuesto muchos métodos de indicación para completar tareas de agente específicas, falta investigación centrada en mejorar las capacidades de agente de los LLMs sin comprometer sus habilidades generales. En este trabajo, presentamos AgentTuning, un método simple y general para mejorar las habilidades de agente de los LLMs mientras se mantienen sus capacidades generales como LLM. Construimos AgentInstruct, un conjunto de datos ligero para ajuste por instrucciones que contiene trayectorias de interacción de alta calidad. Empleamos una estrategia híbrida de ajuste por instrucciones combinando AgentInstruct con instrucciones de código abierto de dominios generales. AgentTuning se utiliza para ajustar por instrucciones la serie Llama 2, dando como resultado AgentLM. Nuestras evaluaciones muestran que AgentTuning permite las capacidades de agente de los LLMs sin comprometer sus habilidades generales. El AgentLM-70B es comparable a GPT-3.5-turbo en tareas de agente no vistas, demostrando capacidades de agente generalizadas. Hemos liberado el código de AgentInstruct y los modelos AgentLM-7B, 13B y 70B en https://github.com/THUDM/AgentTuning, ofreciendo alternativas abiertas y potentes a los LLMs comerciales para tareas de agente.

English

Open large language models (LLMs) with great performance in various tasks have significantly advanced the development of LLMs. However, they are far inferior to commercial models such as ChatGPT and GPT-4 when acting as agents to tackle complex tasks in the real world. These agent tasks employ LLMs as the central controller responsible for planning, memorization, and tool utilization, necessitating both fine-grained prompting methods and robust LLMs to achieve satisfactory performance. Though many prompting methods have been proposed to complete particular agent tasks, there is lack of research focusing on improving the agent capabilities of LLMs themselves without compromising their general abilities. In this work, we present AgentTuning, a simple and general method to enhance the agent abilities of LLMs while maintaining their general LLM capabilities. We construct AgentInstruct, a lightweight instruction-tuning dataset containing high-quality interaction trajectories. We employ a hybrid instruction-tuning strategy by combining AgentInstruct with open-source instructions from general domains. AgentTuning is used to instruction-tune the Llama 2 series, resulting in AgentLM. Our evaluations show that AgentTuning enables LLMs' agent capabilities without compromising general abilities. The AgentLM-70B is comparable to GPT-3.5-turbo on unseen agent tasks, demonstrating generalized agent capabilities. We open source the AgentInstruct and AgentLM-7B, 13B, and 70B models at https://github.com/THUDM/AgentTuning , serving open and powerful alternatives to commercial LLMs for agent tasks.