EcoAssistant: Uso de Asistentes de LLM de Manera Más Económica y Precisa

EcoAssistant: Using LLM Assistant More Affordably and Accurately

October 3, 2023

Autores: Jieyu Zhang, Ranjay Krishna, Ahmed H. Awadallah, Chi Wang

cs.AI

Resumen

Hoy en día, los usuarios recurren a los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) como asistentes para responder consultas que requieren conocimiento externo; preguntan sobre el clima en una ciudad específica, sobre los precios de las acciones e incluso sobre la ubicación de lugares concretos en su vecindario. Estas consultas exigen que el LLM genere código que invoque APIs externas para responder a la pregunta del usuario, pero los LLMs rara vez producen código correcto en el primer intento, requiriendo un refinamiento iterativo del código basado en los resultados de la ejecución. Además, utilizar asistentes basados en LLMs para manejar grandes volúmenes de consultas puede resultar costoso. En este trabajo, presentamos un marco de trabajo, EcoAssistant, que permite a los LLMs responder consultas impulsadas por código de manera más económica y precisa. EcoAssistant consta de tres componentes. Primero, permite que los asistentes LLM interactúen con un ejecutor de código automático para refinar iterativamente el código o generar respuestas basadas en los resultados de la ejecución. Segundo, empleamos una jerarquía de asistentes LLM, que intenta responder la consulta con LLMs más débiles y económicos antes de recurrir a otros más potentes y costosos. Tercero, recuperamos soluciones de consultas exitosas pasadas como demostraciones en contexto para ayudar en consultas posteriores. Empíricamente, demostramos que EcoAssistant ofrece ventajas distintivas en términos de economía y precisión, superando a GPT-4 en 10 puntos de tasa de éxito con menos del 50% del costo de GPT-4.

English

Today, users ask Large language models (LLMs) as assistants to answer queries that require external knowledge; they ask about the weather in a specific city, about stock prices, and even about where specific locations are within their neighborhood. These queries require the LLM to produce code that invokes external APIs to answer the user's question, yet LLMs rarely produce correct code on the first try, requiring iterative code refinement upon execution results. In addition, using LLM assistants to support high query volumes can be expensive. In this work, we contribute a framework, EcoAssistant, that enables LLMs to answer code-driven queries more affordably and accurately. EcoAssistant contains three components. First, it allows the LLM assistants to converse with an automatic code executor to iteratively refine code or to produce answers based on the execution results. Second, we use a hierarchy of LLM assistants, which attempts to answer the query with weaker, cheaper LLMs before backing off to stronger, expensive ones. Third, we retrieve solutions from past successful queries as in-context demonstrations to help subsequent queries. Empirically, we show that EcoAssistant offers distinct advantages for affordability and accuracy, surpassing GPT-4 by 10 points of success rate with less than 50% of GPT-4's cost.