EcoAssistant : Utiliser l'assistant LLM de manière plus économique et précise

EcoAssistant: Using LLM Assistant More Affordably and Accurately

October 3, 2023

papers.authors: Jieyu Zhang, Ranjay Krishna, Ahmed H. Awadallah, Chi Wang

cs.AI

papers.abstract

Aujourd'hui, les utilisateurs sollicitent les grands modèles de langage (LLMs) en tant qu'assistants pour répondre à des requêtes nécessitant des connaissances externes ; ils interrogent sur la météo d'une ville spécifique, sur les cours des actions, et même sur l'emplacement de lieux précis dans leur quartier. Ces requêtes exigent que le LLM produise du code invoquant des API externes pour répondre à la question de l'utilisateur, mais les LLMs produisent rarement un code correct dès le premier essai, nécessitant un raffinement itératif du code en fonction des résultats d'exécution. De plus, l'utilisation d'assistants LLM pour gérer un volume élevé de requêtes peut s'avérer coûteuse. Dans ce travail, nous proposons un framework, EcoAssistant, qui permet aux LLMs de répondre aux requêtes pilotées par code de manière plus économique et précise. EcoAssistant comprend trois composants. Premièrement, il permet aux assistants LLMs de converser avec un exécuteur de code automatique pour raffiner itérativement le code ou produire des réponses basées sur les résultats d'exécution. Deuxièmement, nous utilisons une hiérarchie d'assistants LLMs, qui tente de répondre à la requête avec des LLMs plus faibles et moins coûteux avant de recourir à des LLMs plus puissants et plus onéreux. Troisièmement, nous récupérons des solutions provenant de requêtes réussies passées comme démonstrations en contexte pour aider les requêtes ultérieures. Empiriquement, nous montrons qu'EcoAssistant offre des avantages distincts en termes de rentabilité et de précision, surpassant GPT-4 de 10 points de taux de réussite avec moins de 50 % du coût de GPT-4.

English

Today, users ask Large language models (LLMs) as assistants to answer queries that require external knowledge; they ask about the weather in a specific city, about stock prices, and even about where specific locations are within their neighborhood. These queries require the LLM to produce code that invokes external APIs to answer the user's question, yet LLMs rarely produce correct code on the first try, requiring iterative code refinement upon execution results. In addition, using LLM assistants to support high query volumes can be expensive. In this work, we contribute a framework, EcoAssistant, that enables LLMs to answer code-driven queries more affordably and accurately. EcoAssistant contains three components. First, it allows the LLM assistants to converse with an automatic code executor to iteratively refine code or to produce answers based on the execution results. Second, we use a hierarchy of LLM assistants, which attempts to answer the query with weaker, cheaper LLMs before backing off to stronger, expensive ones. Third, we retrieve solutions from past successful queries as in-context demonstrations to help subsequent queries. Empirically, we show that EcoAssistant offers distinct advantages for affordability and accuracy, surpassing GPT-4 by 10 points of success rate with less than 50% of GPT-4's cost.