Modelos de Lenguaje de Gran Escala como Creadores de Herramientas

Large Language Models as Tool Makers

May 26, 2023

Autores: Tianle Cai, Xuezhi Wang, Tengyu Ma, Xinyun Chen, Denny Zhou

cs.AI

Resumen

Investigaciones recientes muestran el potencial de mejorar la capacidad de resolución de problemas de los modelos de lenguaje grandes (LLMs, por sus siglas en inglés) mediante el uso de herramientas externas. Sin embargo, trabajos previos en esta línea dependen de la disponibilidad de herramientas existentes. En este trabajo, damos un primer paso hacia la eliminación de esta dependencia al proponer un marco de trabajo de ciclo cerrado, denominado LLMs As Tool Makers (LATM), donde los LLMs crean sus propias herramientas reutilizables para la resolución de problemas. Nuestro enfoque consta de dos fases clave: 1) creación de herramientas: un LLM actúa como el creador de herramientas que diseña herramientas para tareas específicas, donde una herramienta se implementa como una función utilitaria en Python. 2) uso de herramientas: un LLM actúa como el usuario de herramientas, que aplica la herramienta construida por el creador para resolver problemas. El usuario de la herramienta puede ser el mismo LLM o uno diferente al creador. La creación de herramientas permite que un LLM genere continuamente herramientas que pueden aplicarse a diferentes solicitudes, de modo que futuras solicitudes puedan invocar las APIs correspondientes cuando sea beneficioso para resolver las tareas. Además, la división del trabajo entre los LLMs en las fases de creación y uso de herramientas introduce la oportunidad de lograr eficiencia en costos sin degradar la calidad de las herramientas generadas ni las soluciones a los problemas. Por ejemplo, al reconocer que la creación de herramientas requiere capacidades más sofisticadas que su uso, podemos aplicar un modelo potente pero intensivo en recursos como el creador de herramientas, y un modelo ligero y rentable como el usuario de herramientas. Validamos la efectividad de nuestro enfoque en una variedad de tareas complejas de razonamiento, incluyendo tareas de Big-Bench. Con GPT-4 como creador de herramientas y GPT-3.5 como usuario de herramientas, LATM puede lograr un rendimiento comparable al uso de GPT-4 tanto para la creación como para el uso de herramientas, mientras que el costo de inferencia se reduce significativamente.

English

Recent research shows the potential of enhancing the problem-solving ability of large language models (LLMs) through the use of external tools. However, prior work along this line depends on the availability of existing tools. In this work, we take an initial step towards removing this dependency by proposing a closed-loop framework, referred to as LLMs As Tool Makers (LATM), where LLMs create their own reusable tools for problem-solving. Our approach consists of two key phases: 1) tool making: an LLM acts as the tool maker that crafts tools for given tasks, where a tool is implemented as a Python utility function. 2) tool using: an LLM acts as the tool user, which applies the tool built by the tool maker for problem-solving. The tool user can be either the same or a different LLM from the tool maker. Tool-making enables an LLM to continually generate tools that can be applied to different requests so that future requests can call the corresponding APIs when beneficial for solving the tasks. Furthermore, the division of labor among LLMs for tool-making and tool-using phases introduces the opportunity to achieve cost effectiveness without degrading the quality of generated tools and problem solutions. For example, recognizing that tool-making demands more sophisticated capabilities than tool-using, we can apply a powerful yet resource-intensive model as the tool maker, and a lightweight while cost-effective model as the tool user. We validate the effectiveness of our approach across a variety of complex reasoning tasks, including Big-Bench tasks. With GPT-4 as the tool maker and GPT-3.5 as the tool user, LATM can achieve performance that is on par with using GPT-4 for both tool making and tool using, while the inference cost is significantly reduced.