ToolChain*: Navegação Eficiente no Espaço de Ações em Modelos de Linguagem de Grande Escala com Busca A*

Resumo

Modelos de linguagem de grande escala (LLMs) têm demonstrado poderosas capacidades de tomada de decisão e planejamento na resolução de problemas complexos do mundo real. Agentes autônomos baseados em LLMs podem interagir com diversas ferramentas (por exemplo, APIs funcionais) e gerar planos de solução que executam uma série de chamadas de funções de API de maneira passo a passo. A multiplicidade de chamadas de funções de API candidatas expande significativamente o espaço de ação, ampliando a necessidade crítica de uma navegação eficiente nesse espaço. No entanto, os métodos existentes ou lutam com uma exploração unidirecional em espaços de ação expansivos, ficando presos em uma solução localmente ótima, ou sofrem com a travessia exaustiva de todas as ações potenciais, resultando em uma navegação ineficiente. Para resolver esses problemas, propomos o ToolChain*, um algoritmo de planejamento baseado em busca em árvore eficiente para agentes baseados em LLMs. Ele formula todo o espaço de ação como uma árvore de decisão, onde cada nó representa uma possível chamada de função de API envolvida em um plano de solução. Ao incorporar o algoritmo de busca A* com um design de função de custo específico para a tarefa, ele poda eficientemente ramos de alto custo que podem envolver ações incorretas, identificando o caminho válido de menor custo como a solução. Experimentos extensivos em múltiplas tarefas de uso de ferramentas e raciocínio demonstram que o ToolChain* equilibra eficientemente a exploração e a exploração dentro de um espaço de ação expansivo. Ele supera os baselines state-of-the-art em tarefas de planejamento e raciocínio em 3,1% e 3,5% em média, enquanto requer 7,35x e 2,31x menos tempo, respectivamente.

English

Large language models (LLMs) have demonstrated powerful decision-making and planning capabilities in solving complicated real-world problems. LLM-based autonomous agents can interact with diverse tools (e.g., functional APIs) and generate solution plans that execute a series of API function calls in a step-by-step manner. The multitude of candidate API function calls significantly expands the action space, amplifying the critical need for efficient action space navigation. However, existing methods either struggle with unidirectional exploration in expansive action spaces, trapped into a locally optimal solution, or suffer from exhaustively traversing all potential actions, causing inefficient navigation. To address these issues, we propose ToolChain*, an efficient tree search-based planning algorithm for LLM-based agents. It formulates the entire action space as a decision tree, where each node represents a possible API function call involved in a solution plan. By incorporating the A* search algorithm with task-specific cost function design, it efficiently prunes high-cost branches that may involve incorrect actions, identifying the most low-cost valid path as the solution. Extensive experiments on multiple tool-use and reasoning tasks demonstrate that ToolChain* efficiently balances exploration and exploitation within an expansive action space. It outperforms state-of-the-art baselines on planning and reasoning tasks by 3.1% and 3.5% on average while requiring 7.35x and 2.31x less time, respectively.

ToolChain: Navegação Eficiente no Espaço de Ações em Modelos de Linguagem de Grande Escala com Busca A

ToolChain: Efficient Action Space Navigation in Large Language Models with A Search

Resumo

Support