OctoTools: Un Framework Agente con Strumenti Estensibili per il Ragionamento Complesso

OctoTools: An Agentic Framework with Extensible Tools for Complex Reasoning

February 16, 2025

Autori: Pan Lu, Bowen Chen, Sheng Liu, Rahul Thapa, Joseph Boen, James Zou

cs.AI

Abstract

Risolvere compiti di ragionamento complessi può coinvolgere la comprensione visiva, il recupero di conoscenze di dominio, il calcolo numerico e il ragionamento a più passaggi. I metodi esistenti potenziano i grandi modelli linguistici (LLM) con strumenti esterni, ma sono limitati a domini specializzati, tipi di strumenti ristretti o richiedono dati di addestramento aggiuntivi. In questo articolo, introduciamo OctoTools, un framework agentico open-source, privo di addestramento, user-friendly e facilmente estensibile, progettato per affrontare il ragionamento complesso in diversi domini. OctoTools introduce schede strumenti standardizzate per incapsulare la funzionalità degli strumenti, un planner per la pianificazione sia di alto che di basso livello e un executor per eseguire l'uso degli strumenti. Validiamo la generalità di OctoTools su 16 compiti diversi (inclusi MathVista, MMLU-Pro, MedQA e GAIA-Text), ottenendo miglioramenti sostanziali nella precisione media del 9,3% rispetto a GPT-4o. Inoltre, OctoTools supera AutoGen, GPT-Functions e LangChain fino al 10,6% quando fornito dello stesso set di strumenti. Attraverso un'analisi completa e ablazioni, OctoTools dimostra vantaggi nella pianificazione dei compiti, nell'uso efficace degli strumenti e nella risoluzione di problemi a più passaggi.

English

Solving complex reasoning tasks may involve visual understanding, domain knowledge retrieval, numerical calculation, and multi-step reasoning. Existing methods augment large language models (LLMs) with external tools but are restricted to specialized domains, limited tool types, or require additional training data. In this paper, we introduce OctoTools, a training-free, user-friendly, and easily extensible open-source agentic framework designed to tackle complex reasoning across diverse domains. OctoTools introduces standardized tool cards to encapsulate tool functionality, a planner for both high-level and low-level planning, and an executor to carry out tool usage. We validate OctoTools' generality across 16 diverse tasks (including MathVista, MMLU-Pro, MedQA, and GAIA-Text), achieving substantial average accuracy gains of 9.3% over GPT-4o. Furthermore, OctoTools outperforms AutoGen, GPT-Functions and LangChain by up to 10.6% when given the same set of tools. Through comprehensive analysis and ablations, OctoTools demonstrates advantages in task planning, effective tool usage, and multi-step problem solving.