ToolChain*: Navigazione Efficiente dello Spazio delle Azioni nei Modelli Linguistici di Grande Dimensione con Ricerca A*

Abstract

I grandi modelli linguistici (LLM) hanno dimostrato potenti capacità decisionali e di pianificazione nella risoluzione di complessi problemi del mondo reale. Gli agenti autonomi basati su LLM possono interagire con una varietà di strumenti (ad esempio, API funzionali) e generare piani di soluzione che eseguono una serie di chiamate a funzioni API in modo graduale. La moltitudine di possibili chiamate a funzioni API espande significativamente lo spazio delle azioni, amplificando la necessità critica di una navigazione efficiente in tale spazio. Tuttavia, i metodi esistenti faticano a esplorare in modo unidirezionale in spazi di azione ampi, rimanendo bloccati in soluzioni localmente ottimali, o soffrono di un'attraversamento esaustivo di tutte le azioni potenziali, causando una navigazione inefficiente. Per affrontare questi problemi, proponiamo ToolChain*, un algoritmo di pianificazione basato su ricerca ad albero efficiente per agenti basati su LLM. Esso formula l'intero spazio delle azioni come un albero decisionale, dove ogni nodo rappresenta una possibile chiamata a funzione API coinvolta in un piano di soluzione. Incorporando l'algoritmo di ricerca A* con una progettazione specifica della funzione di costo, esso pota in modo efficiente i rami ad alto costo che potrebbero includere azioni errate, identificando il percorso valido a costo più basso come soluzione. Esperimenti estesi su molteplici compiti di utilizzo di strumenti e ragionamento dimostrano che ToolChain* bilancia in modo efficiente esplorazione e sfruttamento all'interno di un ampio spazio di azione. Esso supera i migliori metodi di riferimento nei compiti di pianificazione e ragionamento rispettivamente del 3,1% e del 3,5% in media, richiedendo 7,35x e 2,31x meno tempo.

English

Large language models (LLMs) have demonstrated powerful decision-making and planning capabilities in solving complicated real-world problems. LLM-based autonomous agents can interact with diverse tools (e.g., functional APIs) and generate solution plans that execute a series of API function calls in a step-by-step manner. The multitude of candidate API function calls significantly expands the action space, amplifying the critical need for efficient action space navigation. However, existing methods either struggle with unidirectional exploration in expansive action spaces, trapped into a locally optimal solution, or suffer from exhaustively traversing all potential actions, causing inefficient navigation. To address these issues, we propose ToolChain*, an efficient tree search-based planning algorithm for LLM-based agents. It formulates the entire action space as a decision tree, where each node represents a possible API function call involved in a solution plan. By incorporating the A* search algorithm with task-specific cost function design, it efficiently prunes high-cost branches that may involve incorrect actions, identifying the most low-cost valid path as the solution. Extensive experiments on multiple tool-use and reasoning tasks demonstrate that ToolChain* efficiently balances exploration and exploitation within an expansive action space. It outperforms state-of-the-art baselines on planning and reasoning tasks by 3.1% and 3.5% on average while requiring 7.35x and 2.31x less time, respectively.

ToolChain: Navigazione Efficiente dello Spazio delle Azioni nei Modelli Linguistici di Grande Dimensione con Ricerca A

ToolChain: Efficient Action Space Navigation in Large Language Models with A Search

Abstract

Support