EcoAssistant: Utilizando Assistentes de LLM de Forma Mais Acessível e Preciso

EcoAssistant: Using LLM Assistant More Affordably and Accurately

October 3, 2023

Autores: Jieyu Zhang, Ranjay Krishna, Ahmed H. Awadallah, Chi Wang

cs.AI

Resumo

Hoje, os usuários solicitam que modelos de linguagem de grande escala (LLMs) atuem como assistentes para responder a consultas que exigem conhecimento externo; eles perguntam sobre o clima em uma cidade específica, sobre preços de ações e até mesmo sobre a localização de lugares específicos em sua vizinhança. Essas consultas exigem que o LLM produza código que invoque APIs externas para responder à pergunta do usuário, mas os LLMs raramente produzem código correto na primeira tentativa, exigindo refinamento iterativo do código com base nos resultados da execução. Além disso, usar assistentes LLM para suportar grandes volumes de consultas pode ser caro. Neste trabalho, contribuímos com um framework, o EcoAssistant, que permite que os LLMs respondam a consultas orientadas por código de forma mais acessível e precisa. O EcoAssistant contém três componentes. Primeiro, ele permite que os assistentes LLM conversem com um executor de código automático para refinar iterativamente o código ou produzir respostas com base nos resultados da execução. Segundo, usamos uma hierarquia de assistentes LLM, que tenta responder à consulta com LLMs mais fracos e baratos antes de recorrer a LLMs mais fortes e caros. Terceiro, recuperamos soluções de consultas bem-sucedidas anteriores como demonstrações em contexto para ajudar consultas subsequentes. Empiricamente, mostramos que o EcoAssistant oferece vantagens distintas em termos de acessibilidade e precisão, superando o GPT-4 em 10 pontos de taxa de sucesso com menos de 50% do custo do GPT-4.

English

Today, users ask Large language models (LLMs) as assistants to answer queries that require external knowledge; they ask about the weather in a specific city, about stock prices, and even about where specific locations are within their neighborhood. These queries require the LLM to produce code that invokes external APIs to answer the user's question, yet LLMs rarely produce correct code on the first try, requiring iterative code refinement upon execution results. In addition, using LLM assistants to support high query volumes can be expensive. In this work, we contribute a framework, EcoAssistant, that enables LLMs to answer code-driven queries more affordably and accurately. EcoAssistant contains three components. First, it allows the LLM assistants to converse with an automatic code executor to iteratively refine code or to produce answers based on the execution results. Second, we use a hierarchy of LLM assistants, which attempts to answer the query with weaker, cheaper LLMs before backing off to stronger, expensive ones. Third, we retrieve solutions from past successful queries as in-context demonstrations to help subsequent queries. Empirically, we show that EcoAssistant offers distinct advantages for affordability and accuracy, surpassing GPT-4 by 10 points of success rate with less than 50% of GPT-4's cost.