TPTU: Aufgabenplanung und Werkzeugnutzung von KI-Agenten auf Basis großer Sprachmodelle

TPTU: Task Planning and Tool Usage of Large Language Model-based AI Agents

August 7, 2023

Autoren: Jingqing Ruan, Yihong Chen, Bin Zhang, Zhiwei Xu, Tianpeng Bao, Guoqing Du, Shiwei Shi, Hangyu Mao, Xingyu Zeng, Rui Zhao

cs.AI

Zusammenfassung

Mit den jüngsten Fortschritten in der natürlichen Sprachverarbeitung haben sich Large Language Models (LLMs) als leistungsstarke Werkzeuge für verschiedene reale Anwendungen etabliert. Trotz ihrer Fähigkeiten können die intrinsischen generativen Eigenschaften von LLMs für die Bewältigung komplexer Aufgaben, die eine Kombination aus Aufgabenplanung und der Nutzung externer Werkzeuge erfordern, unzureichend sein. In diesem Artikel schlagen wir zunächst ein strukturiertes Framework vor, das speziell für LLM-basierte KI-Agenten entwickelt wurde, und diskutieren die entscheidenden Fähigkeiten, die zur Bewältigung anspruchsvoller Probleme notwendig sind. Innerhalb dieses Frameworks entwerfen wir zwei verschiedene Arten von Agenten (d.h. Ein-Schritt-Agent und sequenzieller Agent), um den Inferenzprozess durchzuführen. Anschließend instanziieren wir das Framework mit verschiedenen LLMs und bewerten deren Fähigkeiten zur Aufgabenplanung und Werkzeugnutzung (TPTU) anhand typischer Aufgaben. Indem wir zentrale Erkenntnisse und Herausforderungen hervorheben, möchten wir Forschern und Praktikern eine hilfreiche Ressource bieten, um die Leistungsfähigkeit von LLMs in ihren KI-Anwendungen zu nutzen. Unsere Studie unterstreicht das erhebliche Potenzial dieser Modelle, identifiziert jedoch auch Bereiche, die weitere Untersuchungen und Verbesserungen erfordern.

English

With recent advancements in natural language processing, Large Language Models (LLMs) have emerged as powerful tools for various real-world applications. Despite their prowess, the intrinsic generative abilities of LLMs may prove insufficient for handling complex tasks which necessitate a combination of task planning and the usage of external tools. In this paper, we first propose a structured framework tailored for LLM-based AI Agents and discuss the crucial capabilities necessary for tackling intricate problems. Within this framework, we design two distinct types of agents (i.e., one-step agent and sequential agent) to execute the inference process. Subsequently, we instantiate the framework using various LLMs and evaluate their Task Planning and Tool Usage (TPTU) abilities on typical tasks. By highlighting key findings and challenges, our goal is to provide a helpful resource for researchers and practitioners to leverage the power of LLMs in their AI applications. Our study emphasizes the substantial potential of these models, while also identifying areas that need more investigation and improvement.