AgentTuning: Abilitazione di Capacità Agenti Generalizzate per LLM

AgentTuning: Enabling Generalized Agent Abilities for LLMs

October 19, 2023

Autori: Aohan Zeng, Mingdao Liu, Rui Lu, Bowen Wang, Xiao Liu, Yuxiao Dong, Jie Tang

cs.AI

Abstract

I grandi modelli linguistici (LLM) open source con prestazioni eccellenti in vari compiti hanno significativamente avanzato lo sviluppo degli LLM. Tuttavia, sono molto inferiori ai modelli commerciali come ChatGPT e GPT-4 quando agiscono come agenti per affrontare compiti complessi nel mondo reale. Questi compiti da agente utilizzano gli LLM come controller centrale responsabile della pianificazione, memorizzazione e utilizzo di strumenti, richiedendo sia metodi di prompting granulari che LLM robusti per ottenere prestazioni soddisfacenti. Sebbene siano stati proposti molti metodi di prompting per completare specifici compiti da agente, manca una ricerca focalizzata sul miglioramento delle capacità di agente degli LLM stessi senza compromettere le loro abilità generali. In questo lavoro, presentiamo AgentTuning, un metodo semplice e generale per migliorare le capacità di agente degli LLM mantenendo le loro capacità generali di LLM. Costruiamo AgentInstruct, un dataset leggero per l'instruction-tuning contenente traiettorie di interazione di alta qualità. Utilizziamo una strategia ibrida di instruction-tuning combinando AgentInstruct con istruzioni open source di domini generali. AgentTuning viene utilizzato per fare instruction-tuning della serie Llama 2, ottenendo AgentLM. Le nostre valutazioni mostrano che AgentTuning potenzia le capacità di agente degli LLM senza compromettere le abilità generali. L'AgentLM-70B è paragonabile a GPT-3.5-turbo su compiti da agente non visti, dimostrando capacità di agente generalizzate. Rendiamo open source AgentInstruct e i modelli AgentLM-7B, 13B e 70B su https://github.com/THUDM/AgentTuning, offrendo alternative open e potenti ai LLM commerciali per i compiti da agente.

English

Open large language models (LLMs) with great performance in various tasks have significantly advanced the development of LLMs. However, they are far inferior to commercial models such as ChatGPT and GPT-4 when acting as agents to tackle complex tasks in the real world. These agent tasks employ LLMs as the central controller responsible for planning, memorization, and tool utilization, necessitating both fine-grained prompting methods and robust LLMs to achieve satisfactory performance. Though many prompting methods have been proposed to complete particular agent tasks, there is lack of research focusing on improving the agent capabilities of LLMs themselves without compromising their general abilities. In this work, we present AgentTuning, a simple and general method to enhance the agent abilities of LLMs while maintaining their general LLM capabilities. We construct AgentInstruct, a lightweight instruction-tuning dataset containing high-quality interaction trajectories. We employ a hybrid instruction-tuning strategy by combining AgentInstruct with open-source instructions from general domains. AgentTuning is used to instruction-tune the Llama 2 series, resulting in AgentLM. Our evaluations show that AgentTuning enables LLMs' agent capabilities without compromising general abilities. The AgentLM-70B is comparable to GPT-3.5-turbo on unseen agent tasks, demonstrating generalized agent capabilities. We open source the AgentInstruct and AgentLM-7B, 13B, and 70B models at https://github.com/THUDM/AgentTuning , serving open and powerful alternatives to commercial LLMs for agent tasks.