TPTU: Taakplanning en Gereedschapsgebruik van AI-agents gebaseerd op Grote Taalmodellen

TPTU: Task Planning and Tool Usage of Large Language Model-based AI Agents

August 7, 2023

Auteurs: Jingqing Ruan, Yihong Chen, Bin Zhang, Zhiwei Xu, Tianpeng Bao, Guoqing Du, Shiwei Shi, Hangyu Mao, Xingyu Zeng, Rui Zhao

cs.AI

Samenvatting

Met de recente vooruitgang in natuurlijke taalverwerking zijn Large Language Models (LLMs) opgekomen als krachtige tools voor diverse real-world toepassingen. Ondanks hun vaardigheden kunnen de intrinsieke generatieve capaciteiten van LLMs ontoereikend blijken voor het uitvoeren van complexe taken die een combinatie van taakplanning en het gebruik van externe tools vereisen. In dit artikel stellen we eerst een gestructureerd framework voor, specifiek ontworpen voor LLM-gebaseerde AI-agents, en bespreken we de cruciale capaciteiten die nodig zijn om ingewikkelde problemen aan te pakken. Binnen dit framework ontwerpen we twee verschillende soorten agents (namelijk een eenstapsagent en een sequentiële agent) om het inferentieproces uit te voeren. Vervolgens concretiseren we het framework met behulp van verschillende LLMs en evalueren we hun Taakplanning en Toolgebruik (TPTU) vaardigheden op typische taken. Door belangrijke bevindingen en uitdagingen te benadrukken, streven we ernaar een nuttige bron te bieden voor onderzoekers en praktijkmensen om de kracht van LLMs te benutten in hun AI-toepassingen. Onze studie benadrukt het aanzienlijke potentieel van deze modellen, terwijl we ook gebieden identificeren die meer onderzoek en verbetering nodig hebben.

English

With recent advancements in natural language processing, Large Language Models (LLMs) have emerged as powerful tools for various real-world applications. Despite their prowess, the intrinsic generative abilities of LLMs may prove insufficient for handling complex tasks which necessitate a combination of task planning and the usage of external tools. In this paper, we first propose a structured framework tailored for LLM-based AI Agents and discuss the crucial capabilities necessary for tackling intricate problems. Within this framework, we design two distinct types of agents (i.e., one-step agent and sequential agent) to execute the inference process. Subsequently, we instantiate the framework using various LLMs and evaluate their Task Planning and Tool Usage (TPTU) abilities on typical tasks. By highlighting key findings and challenges, our goal is to provide a helpful resource for researchers and practitioners to leverage the power of LLMs in their AI applications. Our study emphasizes the substantial potential of these models, while also identifying areas that need more investigation and improvement.