ToolSandbox : Un benchmark d'évaluation conversationnel, interactif et à état pour les capacités d'utilisation d'outils des LLM

ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities

August 8, 2024

Auteurs: Jiarui Lu, Thomas Holleis, Yizhe Zhang, Bernhard Aumayer, Feng Nan, Felix Bai, Shuang Ma, Shen Ma, Mengyu Li, Guoli Yin, Zirui Wang, Ruoming Pang

cs.AI

Résumé

Les récents progrès des grands modèles de langage (LLMs) ont suscité un intérêt croissant pour la recherche sur les LLMs assistés par des outils afin de résoudre des défis du monde réel, ce qui nécessite une évaluation approfondie de leurs capacités à utiliser des outils. Alors que les travaux précédents se concentraient soit sur l'évaluation de services web sans état (API RESTful) basés sur une requête utilisateur unique, soit sur une trajectoire de dialogue hors politique, ToolSandbox intègre l'exécution d'outils avec état, des dépendances implicites entre les outils, un simulateur d'utilisateur intégré permettant une évaluation conversationnelle en politique, et une stratégie d'évaluation dynamique pour les étapes intermédiaires et finales sur une trajectoire arbitraire. Nous montrons qu'il existe un écart de performance significatif entre les modèles open source et propriétaires, et que des tâches complexes telles que la Dépendance d'État, la Canonicalisation et l'Information Insuffisante définies dans ToolSandbox posent des défis même aux LLMs les plus performants de l'état de l'art (SOTA), offrant ainsi de nouvelles perspectives sur les capacités des LLMs à utiliser des outils. Le cadre d'évaluation ToolSandbox est disponible à l'adresse suivante : https://github.com/apple/ToolSandbox.

English

Recent large language models (LLMs) advancements sparked a growing research interest in tool assisted LLMs solving real-world challenges, which calls for comprehensive evaluation of tool-use capabilities. While previous works focused on either evaluating over stateless web services (RESTful API), based on a single turn user prompt, or an off-policy dialog trajectory, ToolSandbox includes stateful tool execution, implicit state dependencies between tools, a built-in user simulator supporting on-policy conversational evaluation and a dynamic evaluation strategy for intermediate and final milestones over an arbitrary trajectory. We show that open source and proprietary models have a significant performance gap, and complex tasks like State Dependency, Canonicalization and Insufficient Information defined in ToolSandbox are challenging even the most capable SOTA LLMs, providing brand-new insights into tool-use LLM capabilities. ToolSandbox evaluation framework is released at https://github.com/apple/ToolSandbox