ToolSandbox: Un Benchmark di Valutazione Interattivo, Conversazionale e con Stato per le Capacità di Utilizzo degli Strumenti nei Modelli Linguistici di Grande Dimensione
ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities
August 8, 2024
Autori: Jiarui Lu, Thomas Holleis, Yizhe Zhang, Bernhard Aumayer, Feng Nan, Felix Bai, Shuang Ma, Shen Ma, Mengyu Li, Guoli Yin, Zirui Wang, Ruoming Pang
cs.AI
Abstract
I recenti progressi nei grandi modelli linguistici (LLM) hanno suscitato un crescente interesse della ricerca verso LLM assistiti da strumenti per risolvere sfide del mondo reale, il che richiede una valutazione completa delle capacità di utilizzo degli strumenti. Mentre i lavori precedenti si sono concentrati sulla valutazione di servizi web senza stato (API RESTful), basati su un singolo prompt dell'utente, o su una traiettoria di dialogo off-policy, ToolSandbox include l'esecuzione di strumenti con stato, dipendenze implicite di stato tra gli strumenti, un simulatore di utente integrato che supporta la valutazione conversazionale on-policy e una strategia di valutazione dinamica per traguardi intermedi e finali su una traiettoria arbitraria. Dimostriamo che i modelli open source e proprietari presentano un divario significativo nelle prestazioni, e che compiti complessi come Dipendenza di Stato, Canonicalizzazione e Informazione Insufficiente definiti in ToolSandbox rappresentano una sfida anche per i più capaci LLM all'avanguardia, fornendo nuove intuizioni sulle capacità degli LLM nell'uso degli strumenti. Il framework di valutazione ToolSandbox è disponibile all'indirizzo https://github.com/apple/ToolSandbox.
English
Recent large language models (LLMs) advancements sparked a growing research
interest in tool assisted LLMs solving real-world challenges, which calls for
comprehensive evaluation of tool-use capabilities. While previous works focused
on either evaluating over stateless web services (RESTful API), based on a
single turn user prompt, or an off-policy dialog trajectory, ToolSandbox
includes stateful tool execution, implicit state dependencies between tools, a
built-in user simulator supporting on-policy conversational evaluation and a
dynamic evaluation strategy for intermediate and final milestones over an
arbitrary trajectory. We show that open source and proprietary models have a
significant performance gap, and complex tasks like State Dependency,
Canonicalization and Insufficient Information defined in ToolSandbox are
challenging even the most capable SOTA LLMs, providing brand-new insights into
tool-use LLM capabilities. ToolSandbox evaluation framework is released at
https://github.com/apple/ToolSandbox