ToolChain*: Эффективное исследование пространства действий в больших языковых моделях с использованием алгоритма A*

Аннотация

Крупные языковые модели (LLM) продемонстрировали мощные способности к принятию решений и планированию при решении сложных реальных задач. Автономные агенты на основе LLM могут взаимодействовать с различными инструментами (например, функциональными API) и генерировать планы решений, которые выполняют последовательность вызовов функций API пошагово. Множество возможных вызовов функций API значительно расширяет пространство действий, что усиливает критическую необходимость эффективной навигации в этом пространстве. Однако существующие методы либо сталкиваются с односторонним исследованием в обширных пространствах действий, застревая в локально оптимальном решении, либо страдают от исчерпывающего перебора всех возможных действий, что приводит к неэффективной навигации. Для решения этих проблем мы предлагаем ToolChain*, эффективный алгоритм планирования на основе поиска по дереву для агентов на основе LLM. Он формулирует всё пространство действий в виде дерева решений, где каждый узел представляет возможный вызов функции API, участвующий в плане решения. Внедряя алгоритм поиска A* с проектированием функции затрат, специфичной для задачи, он эффективно отсекает ветви с высокими затратами, которые могут включать ошибочные действия, и находит путь с наименьшими затратами в качестве решения. Многочисленные эксперименты на задачах использования инструментов и логического рассуждения показывают, что ToolChain* эффективно балансирует исследование и использование в обширном пространстве действий. Он превосходит современные базовые методы на задачах планирования и рассуждения в среднем на 3,1% и 3,5% соответственно, при этом требуя в 7,35 и 2,31 раза меньше времени.

English

Large language models (LLMs) have demonstrated powerful decision-making and planning capabilities in solving complicated real-world problems. LLM-based autonomous agents can interact with diverse tools (e.g., functional APIs) and generate solution plans that execute a series of API function calls in a step-by-step manner. The multitude of candidate API function calls significantly expands the action space, amplifying the critical need for efficient action space navigation. However, existing methods either struggle with unidirectional exploration in expansive action spaces, trapped into a locally optimal solution, or suffer from exhaustively traversing all potential actions, causing inefficient navigation. To address these issues, we propose ToolChain*, an efficient tree search-based planning algorithm for LLM-based agents. It formulates the entire action space as a decision tree, where each node represents a possible API function call involved in a solution plan. By incorporating the A* search algorithm with task-specific cost function design, it efficiently prunes high-cost branches that may involve incorrect actions, identifying the most low-cost valid path as the solution. Extensive experiments on multiple tool-use and reasoning tasks demonstrate that ToolChain* efficiently balances exploration and exploitation within an expansive action space. It outperforms state-of-the-art baselines on planning and reasoning tasks by 3.1% and 3.5% on average while requiring 7.35x and 2.31x less time, respectively.

ToolChain: Эффективное исследование пространства действий в больших языковых моделях с использованием алгоритма A

ToolChain: Efficient Action Space Navigation in Large Language Models with A Search

Аннотация

Support