ToolChain*: Navegación Eficiente del Espacio de Acción en Modelos de Lenguaje de Gran Escala mediante Búsqueda A*
ToolChain*: Efficient Action Space Navigation in Large Language Models with A* Search
October 20, 2023
Autores: Yuchen Zhuang, Xiang Chen, Tong Yu, Saayan Mitra, Victor Bursztyn, Ryan A. Rossi, Somdeb Sarkhel, Chao Zhang
cs.AI
Resumen
Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado capacidades potentes de toma de decisiones y planificación para resolver problemas complejos del mundo real. Los agentes autónomos basados en LLMs pueden interactuar con diversas herramientas (por ejemplo, APIs funcionales) y generar planes de solución que ejecutan una serie de llamadas a funciones API de manera paso a paso. La multitud de posibles llamadas a funciones API amplía significativamente el espacio de acción, intensificando la necesidad crítica de una navegación eficiente en dicho espacio. Sin embargo, los métodos existentes enfrentan dificultades, ya sea por una exploración unidireccional en espacios de acción expansivos, quedando atrapados en una solución localmente óptima, o por un recorrido exhaustivo de todas las acciones potenciales, lo que resulta en una navegación ineficiente. Para abordar estos problemas, proponemos ToolChain*, un algoritmo de planificación basado en búsqueda en árbol eficiente para agentes basados en LLMs. Este formula todo el espacio de acción como un árbol de decisiones, donde cada nodo representa una posible llamada a una función API involucrada en un plan de solución. Al incorporar el algoritmo de búsqueda A* con un diseño de función de costo específico para la tarea, poda eficientemente las ramas de alto costo que pueden incluir acciones incorrectas, identificando la ruta válida de menor costo como la solución. Experimentos extensos en múltiples tareas de uso de herramientas y razonamiento demuestran que ToolChain* equilibra eficientemente la exploración y la explotación dentro de un espacio de acción expansivo. Supera a los métodos de referencia más avanzados en tareas de planificación y razonamiento en un 3.1% y 3.5% en promedio, respectivamente, mientras requiere 7.35x y 2.31x menos tiempo.
English
Large language models (LLMs) have demonstrated powerful decision-making and
planning capabilities in solving complicated real-world problems. LLM-based
autonomous agents can interact with diverse tools (e.g., functional APIs) and
generate solution plans that execute a series of API function calls in a
step-by-step manner. The multitude of candidate API function calls
significantly expands the action space, amplifying the critical need for
efficient action space navigation. However, existing methods either struggle
with unidirectional exploration in expansive action spaces, trapped into a
locally optimal solution, or suffer from exhaustively traversing all potential
actions, causing inefficient navigation. To address these issues, we propose
ToolChain*, an efficient tree search-based planning algorithm for LLM-based
agents. It formulates the entire action space as a decision tree, where each
node represents a possible API function call involved in a solution plan. By
incorporating the A* search algorithm with task-specific cost function design,
it efficiently prunes high-cost branches that may involve incorrect actions,
identifying the most low-cost valid path as the solution. Extensive experiments
on multiple tool-use and reasoning tasks demonstrate that ToolChain*
efficiently balances exploration and exploitation within an expansive action
space. It outperforms state-of-the-art baselines on planning and reasoning
tasks by 3.1% and 3.5% on average while requiring 7.35x and 2.31x less time,
respectively.