AgentTuning: Обеспечение обобщенных агентских способностей для языковых моделей

AgentTuning: Enabling Generalized Agent Abilities for LLMs

October 19, 2023

Авторы: Aohan Zeng, Mingdao Liu, Rui Lu, Bowen Wang, Xiao Liu, Yuxiao Dong, Jie Tang

cs.AI

Аннотация

Открытые большие языковые модели (LLMs), демонстрирующие высокую производительность в различных задачах, значительно продвинули развитие LLMs. Однако они существенно уступают коммерческим моделям, таким как ChatGPT и GPT-4, при использовании в качестве агентов для решения сложных задач в реальном мире. Эти задачи агентов используют LLMs в качестве центрального контроллера, отвечающего за планирование, запоминание и использование инструментов, что требует как тонких методов промптинга, так и мощных LLMs для достижения удовлетворительной производительности. Хотя было предложено множество методов промптинга для выполнения конкретных задач агентов, недостаточно исследований, направленных на улучшение агентских способностей самих LLMs без ущерба для их общих возможностей. В данной работе мы представляем AgentTuning — простой и универсальный метод для улучшения агентских способностей LLMs с сохранением их общих возможностей. Мы создаем AgentInstruct, легковесный набор данных для тонкой настройки инструкций, содержащий высококачественные траектории взаимодействий. Мы используем гибридную стратегию тонкой настройки инструкций, комбинируя AgentInstruct с открытыми инструкциями из общих областей. AgentTuning применяется для тонкой настройки инструкций серии Llama 2, в результате чего получается AgentLM. Наши оценки показывают, что AgentTuning позволяет улучшить агентские способности LLMs без ущерба для их общих возможностей. Модель AgentLM-70B сопоставима с GPT-3.5-turbo на незнакомых задачах агентов, демонстрируя обобщенные агентские способности. Мы открываем исходный код для AgentInstruct и моделей AgentLM-7B, 13B и 70B на https://github.com/THUDM/AgentTuning, предоставляя открытые и мощные альтернативы коммерческим LLMs для задач агентов.

English

Open large language models (LLMs) with great performance in various tasks have significantly advanced the development of LLMs. However, they are far inferior to commercial models such as ChatGPT and GPT-4 when acting as agents to tackle complex tasks in the real world. These agent tasks employ LLMs as the central controller responsible for planning, memorization, and tool utilization, necessitating both fine-grained prompting methods and robust LLMs to achieve satisfactory performance. Though many prompting methods have been proposed to complete particular agent tasks, there is lack of research focusing on improving the agent capabilities of LLMs themselves without compromising their general abilities. In this work, we present AgentTuning, a simple and general method to enhance the agent abilities of LLMs while maintaining their general LLM capabilities. We construct AgentInstruct, a lightweight instruction-tuning dataset containing high-quality interaction trajectories. We employ a hybrid instruction-tuning strategy by combining AgentInstruct with open-source instructions from general domains. AgentTuning is used to instruction-tune the Llama 2 series, resulting in AgentLM. Our evaluations show that AgentTuning enables LLMs' agent capabilities without compromising general abilities. The AgentLM-70B is comparable to GPT-3.5-turbo on unseen agent tasks, demonstrating generalized agent capabilities. We open source the AgentInstruct and AgentLM-7B, 13B, and 70B models at https://github.com/THUDM/AgentTuning , serving open and powerful alternatives to commercial LLMs for agent tasks.