OctoTools: Агентная структура с расширяемыми инструментами для сложных рассуждений

OctoTools: An Agentic Framework with Extensible Tools for Complex Reasoning

February 16, 2025

Авторы: Pan Lu, Bowen Chen, Sheng Liu, Rahul Thapa, Joseph Boen, James Zou

cs.AI

Аннотация

Решение сложных задач, требующих логического мышления, может включать визуальное понимание, извлечение знаний из предметной области, численные вычисления и многошаговое рассуждение. Существующие методы расширяют возможности крупных языковых моделей (LLM) с помощью внешних инструментов, но ограничены специализированными областями, ограниченными типами инструментов или требуют дополнительных обучающих данных. В данной статье мы представляем OctoTools — бесплатную, удобную для пользователя и легко расширяемую открытую агентскую платформу, предназначенную для решения сложных задач в различных областях. OctoTools вводит стандартизированные карточки инструментов для инкапсуляции их функциональности, планировщик для высокоуровневого и низкоуровневого планирования, а также исполнитель для использования инструментов. Мы подтверждаем универсальность OctoTools на 16 разнообразных задачах (включая MathVista, MMLU-Pro, MedQA и GAIA-Text), достигая значительного среднего прироста точности на 9,3% по сравнению с GPT-4o. Кроме того, OctoTools превосходит AutoGen, GPT-Functions и LangChain на величину до 10,6% при использовании одинакового набора инструментов. Благодаря всестороннему анализу и экспериментам, OctoTools демонстрирует преимущества в планировании задач, эффективном использовании инструментов и решении многошаговых проблем.

English

Solving complex reasoning tasks may involve visual understanding, domain knowledge retrieval, numerical calculation, and multi-step reasoning. Existing methods augment large language models (LLMs) with external tools but are restricted to specialized domains, limited tool types, or require additional training data. In this paper, we introduce OctoTools, a training-free, user-friendly, and easily extensible open-source agentic framework designed to tackle complex reasoning across diverse domains. OctoTools introduces standardized tool cards to encapsulate tool functionality, a planner for both high-level and low-level planning, and an executor to carry out tool usage. We validate OctoTools' generality across 16 diverse tasks (including MathVista, MMLU-Pro, MedQA, and GAIA-Text), achieving substantial average accuracy gains of 9.3% over GPT-4o. Furthermore, OctoTools outperforms AutoGen, GPT-Functions and LangChain by up to 10.6% when given the same set of tools. Through comprehensive analysis and ablations, OctoTools demonstrates advantages in task planning, effective tool usage, and multi-step problem solving.