AgentTuning: Ermöglichung generalisierter Agenten-Fähigkeiten für LLMs

AgentTuning: Enabling Generalized Agent Abilities for LLMs

October 19, 2023

Autoren: Aohan Zeng, Mingdao Liu, Rui Lu, Bowen Wang, Xiao Liu, Yuxiao Dong, Jie Tang

cs.AI

Zusammenfassung

Offene große Sprachmodelle (LLMs) mit hervorragender Leistung in verschiedenen Aufgaben haben die Entwicklung von LLMs erheblich vorangetrieben. Sie sind jedoch weit unterlegen gegenüber kommerziellen Modellen wie ChatGPT und GPT-4, wenn sie als Agenten eingesetzt werden, um komplexe Aufgaben in der realen Welt zu bewältigen. Diese Agentenaufgaben nutzen LLMs als zentrale Steuerungseinheit, die für Planung, Gedächtnis und Werkzeugnutzung verantwortlich ist, was sowohl fein abgestimmte Prompting-Methoden als auch robuste LLMs erfordert, um zufriedenstellende Leistungen zu erzielen. Obwohl viele Prompting-Methoden vorgeschlagen wurden, um bestimmte Agentenaufgaben zu bewältigen, mangelt es an Forschung, die darauf abzielt, die Agentenfähigkeiten von LLMs selbst zu verbessern, ohne ihre allgemeinen Fähigkeiten zu beeinträchtigen. In dieser Arbeit präsentieren wir AgentTuning, eine einfache und allgemeine Methode, um die Agentenfähigkeiten von LLMs zu verbessern, während ihre allgemeinen LLM-Fähigkeiten erhalten bleiben. Wir erstellen AgentInstruct, einen leichtgewichtigen Instruction-Tuning-Datensatz, der hochwertige Interaktionsverläufe enthält. Wir verwenden eine hybride Instruction-Tuning-Strategie, indem wir AgentInstruct mit Open-Source-Anweisungen aus allgemeinen Domänen kombinieren. AgentTuning wird verwendet, um die Llama-2-Serie durch Instruction-Tuning anzupassen, was zu AgentLM führt. Unsere Auswertungen zeigen, dass AgentTuning die Agentenfähigkeiten von LLMs ermöglicht, ohne die allgemeinen Fähigkeiten zu beeinträchtigen. Das AgentLM-70B ist mit GPT-3.5-turbo bei unbekannten Agentenaufgaben vergleichbar und demonstriert generalisierte Agentenfähigkeiten. Wir veröffentlichen den AgentInstruct-Datensatz und die AgentLM-7B-, 13B- und 70B-Modelle unter https://github.com/THUDM/AgentTuning als offene und leistungsstarke Alternativen zu kommerziellen LLMs für Agentenaufgaben.

English

Open large language models (LLMs) with great performance in various tasks have significantly advanced the development of LLMs. However, they are far inferior to commercial models such as ChatGPT and GPT-4 when acting as agents to tackle complex tasks in the real world. These agent tasks employ LLMs as the central controller responsible for planning, memorization, and tool utilization, necessitating both fine-grained prompting methods and robust LLMs to achieve satisfactory performance. Though many prompting methods have been proposed to complete particular agent tasks, there is lack of research focusing on improving the agent capabilities of LLMs themselves without compromising their general abilities. In this work, we present AgentTuning, a simple and general method to enhance the agent abilities of LLMs while maintaining their general LLM capabilities. We construct AgentInstruct, a lightweight instruction-tuning dataset containing high-quality interaction trajectories. We employ a hybrid instruction-tuning strategy by combining AgentInstruct with open-source instructions from general domains. AgentTuning is used to instruction-tune the Llama 2 series, resulting in AgentLM. Our evaluations show that AgentTuning enables LLMs' agent capabilities without compromising general abilities. The AgentLM-70B is comparable to GPT-3.5-turbo on unseen agent tasks, demonstrating generalized agent capabilities. We open source the AgentInstruct and AgentLM-7B, 13B, and 70B models at https://github.com/THUDM/AgentTuning , serving open and powerful alternatives to commercial LLMs for agent tasks.