AgentTuning: Habilitando Habilidades Generalizadas de Agentes para LLMs

AgentTuning: Enabling Generalized Agent Abilities for LLMs

October 19, 2023

Autores: Aohan Zeng, Mingdao Liu, Rui Lu, Bowen Wang, Xiao Liu, Yuxiao Dong, Jie Tang

cs.AI

Resumo

Modelos de linguagem grandes (LLMs) abertos com excelente desempenho em diversas tarefas têm avançado significativamente o desenvolvimento de LLMs. No entanto, eles são muito inferiores a modelos comerciais como ChatGPT e GPT-4 ao atuarem como agentes para lidar com tarefas complexas no mundo real. Essas tarefas de agente utilizam LLMs como o controlador central responsável por planejamento, memorização e utilização de ferramentas, exigindo tanto métodos de prompt refinados quanto LLMs robustos para alcançar um desempenho satisfatório. Embora muitos métodos de prompt tenham sido propostos para completar tarefas específicas de agente, há uma falta de pesquisas focadas em melhorar as capacidades de agente dos próprios LLMs sem comprometer suas habilidades gerais. Neste trabalho, apresentamos o AgentTuning, um método simples e geral para aprimorar as habilidades de agente dos LLMs enquanto mantém suas capacidades gerais de LLM. Construímos o AgentInstruct, um conjunto de dados leve de ajuste de instruções contendo trajetórias de interação de alta qualidade. Empregamos uma estratégia híbrida de ajuste de instruções combinando o AgentInstruct com instruções de código aberto de domínios gerais. O AgentTuning é usado para ajustar por instruções a série Llama 2, resultando no AgentLM. Nossas avaliações mostram que o AgentTuning habilita as capacidades de agente dos LLMs sem comprometer as habilidades gerais. O AgentLM-70B é comparável ao GPT-3.5-turbo em tarefas de agente não vistas, demonstrando capacidades de agente generalizadas. Disponibilizamos o AgentInstruct e os modelos AgentLM-7B, 13B e 70B em https://github.com/THUDM/AgentTuning, servindo como alternativas abertas e poderosas aos LLMs comerciais para tarefas de agente.

English

Open large language models (LLMs) with great performance in various tasks have significantly advanced the development of LLMs. However, they are far inferior to commercial models such as ChatGPT and GPT-4 when acting as agents to tackle complex tasks in the real world. These agent tasks employ LLMs as the central controller responsible for planning, memorization, and tool utilization, necessitating both fine-grained prompting methods and robust LLMs to achieve satisfactory performance. Though many prompting methods have been proposed to complete particular agent tasks, there is lack of research focusing on improving the agent capabilities of LLMs themselves without compromising their general abilities. In this work, we present AgentTuning, a simple and general method to enhance the agent abilities of LLMs while maintaining their general LLM capabilities. We construct AgentInstruct, a lightweight instruction-tuning dataset containing high-quality interaction trajectories. We employ a hybrid instruction-tuning strategy by combining AgentInstruct with open-source instructions from general domains. AgentTuning is used to instruction-tune the Llama 2 series, resulting in AgentLM. Our evaluations show that AgentTuning enables LLMs' agent capabilities without compromising general abilities. The AgentLM-70B is comparable to GPT-3.5-turbo on unseen agent tasks, demonstrating generalized agent capabilities. We open source the AgentInstruct and AgentLM-7B, 13B, and 70B models at https://github.com/THUDM/AgentTuning , serving open and powerful alternatives to commercial LLMs for agent tasks.