ChatPaper.aiChatPaper

ToolChain* : Navigation efficace dans l'espace d'action des grands modèles de langage grâce à la recherche A*

ToolChain*: Efficient Action Space Navigation in Large Language Models with A* Search

October 20, 2023
Auteurs: Yuchen Zhuang, Xiang Chen, Tong Yu, Saayan Mitra, Victor Bursztyn, Ryan A. Rossi, Somdeb Sarkhel, Chao Zhang
cs.AI

Résumé

Les grands modèles de langage (LLMs) ont démontré des capacités puissantes en matière de prise de décision et de planification pour résoudre des problèmes complexes du monde réel. Les agents autonomes basés sur des LLMs peuvent interagir avec divers outils (par exemple, des API fonctionnelles) et générer des plans de solution qui exécutent une série d'appels de fonctions API de manière séquentielle. La multitude d'appels de fonctions API candidats élargit considérablement l'espace d'action, accentuant le besoin crucial d'une navigation efficace dans cet espace. Cependant, les méthodes existantes peinent soit à explorer de manière unidirectionnelle dans des espaces d'action vastes, se retrouvant piégées dans une solution localement optimale, soit à parcourir exhaustivement toutes les actions potentielles, entraînant une navigation inefficace. Pour résoudre ces problèmes, nous proposons ToolChain*, un algorithme de planification basé sur la recherche arborescente pour les agents basés sur des LLMs. Il formule l'ensemble de l'espace d'action sous forme d'un arbre de décision, où chaque nœud représente un appel de fonction API possible impliqué dans un plan de solution. En intégrant l'algorithme de recherche A* avec une conception de fonction de coût spécifique à la tâche, il élimine efficacement les branches à coût élevé pouvant inclure des actions incorrectes, identifiant ainsi le chemin valide le plus économique comme solution. Des expériences approfondies sur plusieurs tâches d'utilisation d'outils et de raisonnement démontrent que ToolChain* équilibre efficacement exploration et exploitation dans un espace d'action étendu. Il surpasse les meilleures méthodes de référence en matière de planification et de raisonnement de 3,1 % et 3,5 % en moyenne, tout en nécessitant respectivement 7,35 fois et 2,31 fois moins de temps.
English
Large language models (LLMs) have demonstrated powerful decision-making and planning capabilities in solving complicated real-world problems. LLM-based autonomous agents can interact with diverse tools (e.g., functional APIs) and generate solution plans that execute a series of API function calls in a step-by-step manner. The multitude of candidate API function calls significantly expands the action space, amplifying the critical need for efficient action space navigation. However, existing methods either struggle with unidirectional exploration in expansive action spaces, trapped into a locally optimal solution, or suffer from exhaustively traversing all potential actions, causing inefficient navigation. To address these issues, we propose ToolChain*, an efficient tree search-based planning algorithm for LLM-based agents. It formulates the entire action space as a decision tree, where each node represents a possible API function call involved in a solution plan. By incorporating the A* search algorithm with task-specific cost function design, it efficiently prunes high-cost branches that may involve incorrect actions, identifying the most low-cost valid path as the solution. Extensive experiments on multiple tool-use and reasoning tasks demonstrate that ToolChain* efficiently balances exploration and exploitation within an expansive action space. It outperforms state-of-the-art baselines on planning and reasoning tasks by 3.1% and 3.5% on average while requiring 7.35x and 2.31x less time, respectively.
PDF131December 15, 2024