OctoTools: Een Agentisch Framework met Uitbreidbare Tools voor Complex Redeneren

OctoTools: An Agentic Framework with Extensible Tools for Complex Reasoning

February 16, 2025

Auteurs: Pan Lu, Bowen Chen, Sheng Liu, Rahul Thapa, Joseph Boen, James Zou

cs.AI

Samenvatting

Het oplossen van complexe redeneertaken kan visueel begrip, het ophalen van domeinkennis, numerieke berekeningen en meerstaps redeneren omvatten. Bestaande methoden versterken grote taalmmodellen (LLMs) met externe tools, maar zijn beperkt tot gespecialiseerde domeinen, beperkte tooltypes of vereisen aanvullende trainingsdata. In dit artikel introduceren we OctoTools, een trainingsvrij, gebruiksvriendelijk en gemakkelijk uitbreidbaar open-source agentisch framework ontworpen om complex redeneren in diverse domeinen aan te pakken. OctoTools introduceert gestandaardiseerde toolkaarten om toolfunctionaliteit te encapsuleren, een planner voor zowel hoog- als laagniveau planning, en een uitvoerder om toolgebruik uit te voeren. We valideren de algemene bruikbaarheid van OctoTools over 16 diverse taken (waaronder MathVista, MMLU-Pro, MedQA en GAIA-Text), waarbij we een gemiddelde nauwkeurigheidsverbetering van 9,3% behalen ten opzichte van GPT-4o. Bovendien presteert OctoTools beter dan AutoGen, GPT-Functions en LangChain met een marge van maximaal 10,6% wanneer dezelfde set tools wordt gebruikt. Door uitgebreide analyse en ablatieonderzoeken toont OctoTools voordelen in taakplanning, effectief toolgebruik en meerstaps probleemoplossing.

English

Solving complex reasoning tasks may involve visual understanding, domain knowledge retrieval, numerical calculation, and multi-step reasoning. Existing methods augment large language models (LLMs) with external tools but are restricted to specialized domains, limited tool types, or require additional training data. In this paper, we introduce OctoTools, a training-free, user-friendly, and easily extensible open-source agentic framework designed to tackle complex reasoning across diverse domains. OctoTools introduces standardized tool cards to encapsulate tool functionality, a planner for both high-level and low-level planning, and an executor to carry out tool usage. We validate OctoTools' generality across 16 diverse tasks (including MathVista, MMLU-Pro, MedQA, and GAIA-Text), achieving substantial average accuracy gains of 9.3% over GPT-4o. Furthermore, OctoTools outperforms AutoGen, GPT-Functions and LangChain by up to 10.6% when given the same set of tools. Through comprehensive analysis and ablations, OctoTools demonstrates advantages in task planning, effective tool usage, and multi-step problem solving.