Große Sprachmodelle als Werkzeughersteller

Zusammenfassung

Aktuelle Forschung zeigt das Potenzial, die Problemlösungsfähigkeit großer Sprachmodelle (LLMs) durch den Einsatz externer Werkzeuge zu verbessern. Bisherige Arbeiten in diesem Bereich hängen jedoch von der Verfügbarkeit bestehender Werkzeuge ab. In dieser Arbeit machen wir einen ersten Schritt, um diese Abhängigkeit zu beseitigen, indem wir ein geschlossenes Framework, genannt LLMs As Tool Makers (LATM), vorschlagen, bei dem LLMs ihre eigenen wiederverwendbaren Werkzeuge zur Problemlösung erstellen. Unser Ansatz besteht aus zwei Schlüsselphasen: 1) Werkzeugherstellung: Ein LLM fungiert als Werkzeughersteller, der Werkzeuge für gegebene Aufgaben erstellt, wobei ein Werkzeug als Python-Hilfsfunktion implementiert wird. 2) Werkzeugnutzung: Ein LLM fungiert als Werkzeugnutzer, der das vom Werkzeughersteller erstellte Werkzeug zur Problemlösung anwendet. Der Werkzeugnutzer kann dasselbe oder ein anderes LLM als der Werkzeughersteller sein. Die Werkzeugherstellung ermöglicht es einem LLM, kontinuierlich Werkzeuge zu generieren, die auf verschiedene Anfragen angewendet werden können, sodass zukünftige Anfragen die entsprechenden APIs aufrufen können, wenn dies für die Lösung der Aufgaben vorteilhaft ist. Darüber hinaus bietet die Arbeitsteilung unter LLMs in den Phasen der Werkzeugherstellung und -nutzung die Möglichkeit, Kosteneffizienz zu erreichen, ohne die Qualität der generierten Werkzeuge und Problemlösungen zu beeinträchtigen. Beispielsweise können wir, da die Werkzeugherstellung anspruchsvollere Fähigkeiten erfordert als die Werkzeugnutzung, ein leistungsstarkes, aber ressourcenintensives Modell als Werkzeughersteller und ein leichtgewichtiges, kosteneffizientes Modell als Werkzeugnutzer einsetzen. Wir validieren die Wirksamkeit unseres Ansatzes anhand einer Vielzahl komplexer Denkaufgaben, einschließlich Big-Bench-Aufgaben. Mit GPT-4 als Werkzeughersteller und GPT-3.5 als Werkzeugnutzer kann LATM eine Leistung erzielen, die der Verwendung von GPT-4 sowohl für die Werkzeugherstellung als auch für die Werkzeugnutzung entspricht, während die Inferenzkosten erheblich reduziert werden.

English

Recent research shows the potential of enhancing the problem-solving ability of large language models (LLMs) through the use of external tools. However, prior work along this line depends on the availability of existing tools. In this work, we take an initial step towards removing this dependency by proposing a closed-loop framework, referred to as LLMs As Tool Makers (LATM), where LLMs create their own reusable tools for problem-solving. Our approach consists of two key phases: 1) tool making: an LLM acts as the tool maker that crafts tools for given tasks, where a tool is implemented as a Python utility function. 2) tool using: an LLM acts as the tool user, which applies the tool built by the tool maker for problem-solving. The tool user can be either the same or a different LLM from the tool maker. Tool-making enables an LLM to continually generate tools that can be applied to different requests so that future requests can call the corresponding APIs when beneficial for solving the tasks. Furthermore, the division of labor among LLMs for tool-making and tool-using phases introduces the opportunity to achieve cost effectiveness without degrading the quality of generated tools and problem solutions. For example, recognizing that tool-making demands more sophisticated capabilities than tool-using, we can apply a powerful yet resource-intensive model as the tool maker, and a lightweight while cost-effective model as the tool user. We validate the effectiveness of our approach across a variety of complex reasoning tasks, including Big-Bench tasks. With GPT-4 as the tool maker and GPT-3.5 as the tool user, LATM can achieve performance that is on par with using GPT-4 for both tool making and tool using, while the inference cost is significantly reduced.

Große Sprachmodelle als Werkzeughersteller

Large Language Models as Tool Makers

Zusammenfassung

Support