ToolHop: Un banco de pruebas impulsado por consultas para evaluar modelos de lenguaje grandes en el uso de herramientas de múltiples saltos.

ToolHop: A Query-Driven Benchmark for Evaluating Large Language Models in Multi-Hop Tool Use

January 5, 2025

Autores: Junjie Ye, Zhengyin Du, Xuesong Yao, Weijian Lin, Yufei Xu, Zehui Chen, Zaiyuan Wang, Sining Zhu, Zhiheng Xi, Siyu Yuan, Tao Gui, Qi Zhang, Xuanjing Huang, Jiechao Chen

cs.AI

Resumen

La evaluación efectiva del uso de herramientas de múltiples saltos es fundamental para analizar la comprensión, el razonamiento y las capacidades de llamada a funciones de modelos de lenguaje grandes (LLMs). Sin embargo, el progreso se ha visto obstaculizado por la falta de conjuntos de datos de evaluación confiables. Para abordar esto, presentamos ToolHop, un conjunto de datos que consta de 995 consultas de usuario y 3,912 herramientas asociadas, diseñado específicamente para una evaluación rigurosa del uso de herramientas de múltiples saltos. ToolHop garantiza consultas diversas, interdependencias significativas, herramientas localmente ejecutables, retroalimentación detallada y respuestas verificables a través de un enfoque novedoso de construcción de datos impulsado por consultas que incluye la creación de herramientas, el refinamiento de documentos y la generación de código. Evaluamos 14 LLMs en cinco familias de modelos (es decir, LLaMA3.1, Qwen2.5, Gemini1.5, Claude3.5 y GPT), revelando desafíos significativos en el manejo de escenarios de uso de herramientas de múltiples saltos. El modelo líder, GPT-4o, logra una precisión del 49.04%, subrayando un amplio margen para mejoras. Un análisis adicional revela variaciones en las estrategias de uso de herramientas para diversas familias, ofreciendo ideas prácticas para guiar el desarrollo de enfoques más efectivos. El código y los datos se pueden encontrar en https://huggingface.co/bytedance-research/ToolHop.

English

Effective evaluation of multi-hop tool use is critical for analyzing the understanding, reasoning, and function-calling capabilities of large language models (LLMs). However, progress has been hindered by a lack of reliable evaluation datasets. To address this, we present ToolHop, a dataset comprising 995 user queries and 3,912 associated tools, specifically designed for rigorous evaluation of multi-hop tool use. ToolHop ensures diverse queries, meaningful interdependencies, locally executable tools, detailed feedback, and verifiable answers through a novel query-driven data construction approach that includes tool creation, document refinement, and code generation. We evaluate 14 LLMs across five model families (i.e., LLaMA3.1, Qwen2.5, Gemini1.5, Claude3.5, and GPT), uncovering significant challenges in handling multi-hop tool-use scenarios. The leading model, GPT-4o, achieves an accuracy of 49.04%, underscoring substantial room for improvement. Further analysis reveals variations in tool-use strategies for various families, offering actionable insights to guide the development of more effective approaches. Code and data can be found in https://huggingface.co/bytedance-research/ToolHop.