ToolHop: Запросоориентированная метрика для оценки крупных языковых моделей в использовании инструментов с множественными шагами.

ToolHop: A Query-Driven Benchmark for Evaluating Large Language Models in Multi-Hop Tool Use

January 5, 2025

Авторы: Junjie Ye, Zhengyin Du, Xuesong Yao, Weijian Lin, Yufei Xu, Zehui Chen, Zaiyuan Wang, Sining Zhu, Zhiheng Xi, Siyu Yuan, Tao Gui, Qi Zhang, Xuanjing Huang, Jiechao Chen

cs.AI

Аннотация

Эффективная оценка использования многошаговых инструментов является критически важной для анализа понимания, рассуждений и возможностей вызова функций больших языковых моделей (БЯМ). Однако прогресс затрудняется из-за отсутствия надежных наборов данных для оценки. Для решения этой проблемы мы представляем ToolHop, набор данных, включающий 995 пользовательских запросов и 3 912 связанных инструментов, специально разработанный для строгой оценки использования многошаговых инструментов. ToolHop обеспечивает разнообразные запросы, значимые взаимосвязи, локально исполняемые инструменты, подробную обратную связь и проверяемые ответы благодаря новому подходу к построению данных на основе запросов, который включает создание инструментов, уточнение документов и генерацию кода. Мы оцениваем 14 БЯМ из пяти семейств моделей (т.е. LLaMA3.1, Qwen2.5, Gemini1.5, Claude3.5 и GPT), выявляя значительные вызовы в обработке сценариев использования многошаговых инструментов. Ведущая модель, GPT-4o, достигает точности 49,04%, подчеркивая значительное пространство для улучшений. Дальнейший анализ показывает различия в стратегиях использования инструментов для различных семейств, предлагая действенные идеи для направления разработки более эффективных подходов. Код и данные можно найти на https://huggingface.co/bytedance-research/ToolHop.

English

Effective evaluation of multi-hop tool use is critical for analyzing the understanding, reasoning, and function-calling capabilities of large language models (LLMs). However, progress has been hindered by a lack of reliable evaluation datasets. To address this, we present ToolHop, a dataset comprising 995 user queries and 3,912 associated tools, specifically designed for rigorous evaluation of multi-hop tool use. ToolHop ensures diverse queries, meaningful interdependencies, locally executable tools, detailed feedback, and verifiable answers through a novel query-driven data construction approach that includes tool creation, document refinement, and code generation. We evaluate 14 LLMs across five model families (i.e., LLaMA3.1, Qwen2.5, Gemini1.5, Claude3.5, and GPT), uncovering significant challenges in handling multi-hop tool-use scenarios. The leading model, GPT-4o, achieves an accuracy of 49.04%, underscoring substantial room for improvement. Further analysis reveals variations in tool-use strategies for various families, offering actionable insights to guide the development of more effective approaches. Code and data can be found in https://huggingface.co/bytedance-research/ToolHop.