ToolSandbox: Um Benchmark Interativo, Conversacional e Baseado em Estado para Avaliação das Capacidades de Uso de Ferramentas de LLM

ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities

August 8, 2024

Autores: Jiarui Lu, Thomas Holleis, Yizhe Zhang, Bernhard Aumayer, Feng Nan, Felix Bai, Shuang Ma, Shen Ma, Mengyu Li, Guoli Yin, Zirui Wang, Ruoming Pang

cs.AI

Resumo

Os recentes avanços em grandes modelos de linguagem (LLMs) despertaram um crescente interesse de pesquisa em LLMs assistidos por ferramentas para resolver desafios do mundo real, o que demanda uma avaliação abrangente das capacidades de uso de ferramentas. Enquanto trabalhos anteriores focaram na avaliação de serviços da web sem estado (API RESTful), com base em uma única interação do usuário, ou em uma trajetória de diálogo fora de política, o ToolSandbox inclui a execução de ferramentas com estado, dependências de estado implícitas entre ferramentas, um simulador de usuário integrado que suporta avaliação conversacional sob política e uma estratégia de avaliação dinâmica para marcos intermediários e finais ao longo de uma trajetória arbitrária. Mostramos que modelos de código aberto e proprietários têm uma diferença significativa de desempenho, e tarefas complexas como Dependência de Estado, Canonicização e Informação Insuficiente definidas no ToolSandbox estão desafiando até mesmo os LLMs SOTA mais capazes, fornecendo novas perspectivas sobre as capacidades de uso de ferramentas dos LLMs. O framework de avaliação do ToolSandbox foi disponibilizado em https://github.com/apple/ToolSandbox

English

Recent large language models (LLMs) advancements sparked a growing research interest in tool assisted LLMs solving real-world challenges, which calls for comprehensive evaluation of tool-use capabilities. While previous works focused on either evaluating over stateless web services (RESTful API), based on a single turn user prompt, or an off-policy dialog trajectory, ToolSandbox includes stateful tool execution, implicit state dependencies between tools, a built-in user simulator supporting on-policy conversational evaluation and a dynamic evaluation strategy for intermediate and final milestones over an arbitrary trajectory. We show that open source and proprietary models have a significant performance gap, and complex tasks like State Dependency, Canonicalization and Insufficient Information defined in ToolSandbox are challenging even the most capable SOTA LLMs, providing brand-new insights into tool-use LLM capabilities. ToolSandbox evaluation framework is released at https://github.com/apple/ToolSandbox