ToolHop : un banc d'essai piloté par requêtes pour évaluer les grands modèles de langage dans l'utilisation d'outils multi-sauts

ToolHop: A Query-Driven Benchmark for Evaluating Large Language Models in Multi-Hop Tool Use

January 5, 2025

Auteurs: Junjie Ye, Zhengyin Du, Xuesong Yao, Weijian Lin, Yufei Xu, Zehui Chen, Zaiyuan Wang, Sining Zhu, Zhiheng Xi, Siyu Yuan, Tao Gui, Qi Zhang, Xuanjing Huang, Jiechao Chen

cs.AI

Résumé

L'évaluation efficace de l'utilisation d'outils multi-sauts est cruciale pour analyser la compréhension, le raisonnement et les capacités d'appel de fonctions des grands modèles de langage (LLM). Cependant, les progrès ont été entravés par un manque de jeux de données d'évaluation fiables. Pour remédier à cela, nous présentons ToolHop, un ensemble de données comprenant 995 requêtes utilisateur et 3 912 outils associés, spécifiquement conçu pour une évaluation rigoureuse de l'utilisation d'outils multi-sauts. ToolHop garantit des requêtes diverses, des interdépendances significatives, des outils exécutables localement, des retours détaillés et des réponses vérifiables grâce à une approche novatrice de construction de données pilotée par les requêtes qui inclut la création d'outils, l'affinement des documents et la génération de code. Nous évaluons 14 LLM à travers cinq familles de modèles (c'est-à-dire LLaMA3.1, Qwen2.5, Gemini1.5, Claude3.5 et GPT), mettant en lumière des défis significatifs dans la gestion de scénarios d'utilisation d'outils multi-sauts. Le modèle leader, GPT-4o, atteint une précision de 49,04 %, soulignant un important potentiel d'amélioration. Une analyse plus poussée révèle des variations dans les stratégies d'utilisation d'outils pour différentes familles, offrant des perspectives exploitables pour orienter le développement d'approches plus efficaces. Le code et les données sont disponibles sur https://huggingface.co/bytedance-research/ToolHop.

English

Effective evaluation of multi-hop tool use is critical for analyzing the understanding, reasoning, and function-calling capabilities of large language models (LLMs). However, progress has been hindered by a lack of reliable evaluation datasets. To address this, we present ToolHop, a dataset comprising 995 user queries and 3,912 associated tools, specifically designed for rigorous evaluation of multi-hop tool use. ToolHop ensures diverse queries, meaningful interdependencies, locally executable tools, detailed feedback, and verifiable answers through a novel query-driven data construction approach that includes tool creation, document refinement, and code generation. We evaluate 14 LLMs across five model families (i.e., LLaMA3.1, Qwen2.5, Gemini1.5, Claude3.5, and GPT), uncovering significant challenges in handling multi-hop tool-use scenarios. The leading model, GPT-4o, achieves an accuracy of 49.04%, underscoring substantial room for improvement. Further analysis reveals variations in tool-use strategies for various families, offering actionable insights to guide the development of more effective approaches. Code and data can be found in https://huggingface.co/bytedance-research/ToolHop.