OctoTools: Ein agentenbasiertes Framework mit erweiterbaren Werkzeugen für komplexe Denkprozesse

OctoTools: An Agentic Framework with Extensible Tools for Complex Reasoning

February 16, 2025

Autoren: Pan Lu, Bowen Chen, Sheng Liu, Rahul Thapa, Joseph Boen, James Zou

cs.AI

Zusammenfassung

Das Lösen komplexer Denkaufgaben kann visuelles Verständnis, die Abfrage von Domänenwissen, numerische Berechnungen und mehrstufiges Schlussfolgern beinhalten. Bestehende Methoden erweitern große Sprachmodelle (LLMs) mit externen Werkzeugen, sind jedoch auf spezialisierte Domänen beschränkt, bieten nur begrenzte Werkzeugtypen oder benötigen zusätzliche Trainingsdaten. In diesem Artikel stellen wir OctoTools vor, ein trainingsfreies, benutzerfreundliches und leicht erweiterbares Open-Source-Agenten-Framework, das entwickelt wurde, um komplexes Denken in verschiedenen Domänen zu bewältigen. OctoTools führt standardisierte Werkzeugkarten ein, um die Funktionalität von Werkzeugen zu kapseln, einen Planer für sowohl hoch- als auch niedrigstufige Planung und einen Ausführer zur Durchführung der Werkzeugnutzung. Wir validieren die Allgemeingültigkeit von OctoTools über 16 verschiedene Aufgaben (einschließlich MathVista, MMLU-Pro, MedQA und GAIA-Text) und erzielen durchschnittliche Genauigkeitssteigerungen von 9,3 % gegenüber GPT-4o. Darüber hinaus übertrifft OctoTools AutoGen, GPT-Functions und LangChain um bis zu 10,6 %, wenn dieselben Werkzeuge zur Verfügung stehen. Durch umfassende Analysen und Ablationen zeigt OctoTools Vorteile in der Aufgabenplanung, effektiven Werkzeugnutzung und mehrstufigen Problemlösung.

English

Solving complex reasoning tasks may involve visual understanding, domain knowledge retrieval, numerical calculation, and multi-step reasoning. Existing methods augment large language models (LLMs) with external tools but are restricted to specialized domains, limited tool types, or require additional training data. In this paper, we introduce OctoTools, a training-free, user-friendly, and easily extensible open-source agentic framework designed to tackle complex reasoning across diverse domains. OctoTools introduces standardized tool cards to encapsulate tool functionality, a planner for both high-level and low-level planning, and an executor to carry out tool usage. We validate OctoTools' generality across 16 diverse tasks (including MathVista, MMLU-Pro, MedQA, and GAIA-Text), achieving substantial average accuracy gains of 9.3% over GPT-4o. Furthermore, OctoTools outperforms AutoGen, GPT-Functions and LangChain by up to 10.6% when given the same set of tools. Through comprehensive analysis and ablations, OctoTools demonstrates advantages in task planning, effective tool usage, and multi-step problem solving.