ToolSandbox: Un punto de referencia de evaluación interactivo, conversacional y con estado para las capacidades de uso de herramientas de LLM.

ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities

August 8, 2024

Autores: Jiarui Lu, Thomas Holleis, Yizhe Zhang, Bernhard Aumayer, Feng Nan, Felix Bai, Shuang Ma, Shen Ma, Mengyu Li, Guoli Yin, Zirui Wang, Ruoming Pang

cs.AI

Resumen

Los recientes avances en modelos de lenguaje de gran escala (LLMs) han generado un creciente interés en la investigación de LLMs asistidos por herramientas para resolver desafíos del mundo real, lo que requiere una evaluación exhaustiva de las capacidades de uso de herramientas. Mientras que trabajos anteriores se centraron en evaluar ya sea servicios web sin estado (API RESTful), basados en una única indicación del usuario, o en una trayectoria de diálogo fuera de política, ToolSandbox incluye la ejecución de herramientas con estado, dependencias de estado implícitas entre herramientas, un simulador de usuario incorporado que soporta evaluación conversacional en política y una estrategia de evaluación dinámica para hitos intermedios y finales sobre una trayectoria arbitraria. Mostramos que los modelos de código abierto y propietarios tienen una brecha de rendimiento significativa, y tareas complejas como Dependencia de Estado, Canonicalización e Información Insuficiente definidas en ToolSandbox representan un desafío incluso para los LLMs SOTA más capaces, proporcionando nuevos y valiosos conocimientos sobre las capacidades de uso de herramientas de LLMs. El marco de evaluación de ToolSandbox se encuentra disponible en https://github.com/apple/ToolSandbox

English

Recent large language models (LLMs) advancements sparked a growing research interest in tool assisted LLMs solving real-world challenges, which calls for comprehensive evaluation of tool-use capabilities. While previous works focused on either evaluating over stateless web services (RESTful API), based on a single turn user prompt, or an off-policy dialog trajectory, ToolSandbox includes stateful tool execution, implicit state dependencies between tools, a built-in user simulator supporting on-policy conversational evaluation and a dynamic evaluation strategy for intermediate and final milestones over an arbitrary trajectory. We show that open source and proprietary models have a significant performance gap, and complex tasks like State Dependency, Canonicalization and Insufficient Information defined in ToolSandbox are challenging even the most capable SOTA LLMs, providing brand-new insights into tool-use LLM capabilities. ToolSandbox evaluation framework is released at https://github.com/apple/ToolSandbox