ToolSandbox: Ein zustandsbehafteter, konversationsfähiger, interaktiver Evaluierungsbenchmark für die Fähigkeiten von LLM-Tools.

ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities

August 8, 2024

Autoren: Jiarui Lu, Thomas Holleis, Yizhe Zhang, Bernhard Aumayer, Feng Nan, Felix Bai, Shuang Ma, Shen Ma, Mengyu Li, Guoli Yin, Zirui Wang, Ruoming Pang

cs.AI

Zusammenfassung

Die jüngsten Fortschritte bei großen Sprachmodellen (LLMs) haben ein wachsendes Forschungsinteresse an Tool-unterstützten LLMs zur Bewältigung realer Herausforderungen ausgelöst, was eine umfassende Bewertung der Tool-Nutzungsfähigkeiten erfordert. Während frühere Arbeiten entweder die Bewertung über zustandslose Webdienste (RESTful API) konzentrierten, basierend auf einer einzelnen Benutzeranfrage, oder über eine Off-Policy-Dialog-Trajektorie, umfasst ToolSandbox die zustandsbehaftete Tool-Ausführung, implizite Zustandsabhängigkeiten zwischen Tools, einen integrierten Benutzersimulator zur Unterstützung der On-Policy-Gesprächsbewertung und eine dynamische Bewertungsstrategie für Zwischen- und Endziele über eine beliebige Trajektorie. Wir zeigen, dass Open-Source- und proprietäre Modelle eine signifikante Leistungsdifferenz aufweisen und komplexe Aufgaben wie Zustandsabhängigkeit, Kanonisierung und Unzureichende Information, wie in ToolSandbox definiert, selbst die leistungsfähigsten SOTA LLMs herausfordern, was völlig neue Einblicke in die Tool-Nutzungs-LLM-Fähigkeiten bietet. Das Bewertungsframework ToolSandbox wurde unter https://github.com/apple/ToolSandbox veröffentlicht.

English

Recent large language models (LLMs) advancements sparked a growing research interest in tool assisted LLMs solving real-world challenges, which calls for comprehensive evaluation of tool-use capabilities. While previous works focused on either evaluating over stateless web services (RESTful API), based on a single turn user prompt, or an off-policy dialog trajectory, ToolSandbox includes stateful tool execution, implicit state dependencies between tools, a built-in user simulator supporting on-policy conversational evaluation and a dynamic evaluation strategy for intermediate and final milestones over an arbitrary trajectory. We show that open source and proprietary models have a significant performance gap, and complex tasks like State Dependency, Canonicalization and Insufficient Information defined in ToolSandbox are challenging even the most capable SOTA LLMs, providing brand-new insights into tool-use LLM capabilities. ToolSandbox evaluation framework is released at https://github.com/apple/ToolSandbox