EcoAssistant: Nutzung von LLM-Assistenten kostengünstiger und präziser

EcoAssistant: Using LLM Assistant More Affordably and Accurately

October 3, 2023

papers.authors: Jieyu Zhang, Ranjay Krishna, Ahmed H. Awadallah, Chi Wang

cs.AI

papers.abstract

Heute nutzen Nutzer große Sprachmodelle (LLMs) als Assistenten, um Anfragen zu beantworten, die externes Wissen erfordern; sie fragen nach dem Wetter in einer bestimmten Stadt, nach Aktienkursen und sogar danach, wo sich bestimmte Orte in ihrer Nachbarschaft befinden. Diese Anfragen erfordern, dass das LLM Code erzeugt, der externe APIs aufruft, um die Frage des Nutzers zu beantworten. Doch LLMs produzieren selten auf Anhieb korrekten Code, sodass eine iterative Code-Verfeinerung basierend auf den Ausführungsergebnissen notwendig ist. Darüber hinaus kann die Nutzung von LLM-Assistenten zur Bewältigung hoher Anfragevolumen kostspielig sein. In dieser Arbeit stellen wir ein Framework namens EcoAssistant vor, das es LLMs ermöglicht, codegesteuerte Anfragen kostengünstiger und genauer zu beantworten. EcoAssistant besteht aus drei Komponenten. Erstens ermöglicht es den LLM-Assistenten, mit einem automatischen Code-Ausführer zu kommunizieren, um den Code iterativ zu verfeinern oder Antworten basierend auf den Ausführungsergebnissen zu generieren. Zweitens verwenden wir eine Hierarchie von LLM-Assistenten, die versucht, die Anfrage zunächst mit schwächeren, kostengünstigeren LLMs zu beantworten, bevor auf stärkere, teurere Modelle zurückgegriffen wird. Drittens greifen wir auf Lösungen aus früheren erfolgreichen Anfragen zurück, die als In-Context-Demonstrationen dienen, um nachfolgende Anfragen zu unterstützen. Empirisch zeigen wir, dass EcoAssistant deutliche Vorteile in Bezug auf Kosteneffizienz und Genauigkeit bietet und GPT-4 um 10 Prozentpunkte in der Erfolgsrate übertrifft, während weniger als 50 % der Kosten von GPT-4 anfallen.

English

Today, users ask Large language models (LLMs) as assistants to answer queries that require external knowledge; they ask about the weather in a specific city, about stock prices, and even about where specific locations are within their neighborhood. These queries require the LLM to produce code that invokes external APIs to answer the user's question, yet LLMs rarely produce correct code on the first try, requiring iterative code refinement upon execution results. In addition, using LLM assistants to support high query volumes can be expensive. In this work, we contribute a framework, EcoAssistant, that enables LLMs to answer code-driven queries more affordably and accurately. EcoAssistant contains three components. First, it allows the LLM assistants to converse with an automatic code executor to iteratively refine code or to produce answers based on the execution results. Second, we use a hierarchy of LLM assistants, which attempts to answer the query with weaker, cheaper LLMs before backing off to stronger, expensive ones. Third, we retrieve solutions from past successful queries as in-context demonstrations to help subsequent queries. Empirically, we show that EcoAssistant offers distinct advantages for affordability and accuracy, surpassing GPT-4 by 10 points of success rate with less than 50% of GPT-4's cost.