EcoAssistant: Использование языкового ассистента на основе больших языковых моделей с большей экономичностью и точностью

EcoAssistant: Using LLM Assistant More Affordably and Accurately

October 3, 2023

Авторы: Jieyu Zhang, Ranjay Krishna, Ahmed H. Awadallah, Chi Wang

cs.AI

Аннотация

Сегодня пользователи обращаются к большим языковым моделям (LLM) как к помощникам для ответов на запросы, требующие внешних знаний: они спрашивают о погоде в конкретном городе, о ценах на акции и даже о том, где находятся определённые места в их районе. Такие запросы требуют, чтобы LLM генерировала код, который вызывает внешние API для ответа на вопрос пользователя. Однако LLM редко создают корректный код с первой попытки, что требует итеративного уточнения кода на основе результатов выполнения. Кроме того, использование LLM-помощников для обработки большого объёма запросов может быть дорогостоящим. В данной работе мы представляем фреймворк EcoAssistant, который позволяет LLM отвечать на запросы, требующие выполнения кода, более экономично и точно. EcoAssistant состоит из трёх компонентов. Во-первых, он позволяет LLM-помощникам взаимодействовать с автоматическим исполнителем кода для итеративного уточнения кода или формирования ответов на основе результатов выполнения. Во-вторых, мы используем иерархию LLM-помощников, которая сначала пытается ответить на запрос с помощью более слабых и дешёвых LLM, а затем, при необходимости, переходит к более мощным и дорогостоящим. В-третьих, мы извлекаем решения из прошлых успешных запросов и используем их как контекстные примеры для помощи в обработке последующих запросов. Эмпирически мы показываем, что EcoAssistant обладает значительными преимуществами в плане экономичности и точности, превосходя GPT-4 на 10 процентных пунктов по успешности выполнения запросов при затратах менее 50% от стоимости GPT-4.

English

Today, users ask Large language models (LLMs) as assistants to answer queries that require external knowledge; they ask about the weather in a specific city, about stock prices, and even about where specific locations are within their neighborhood. These queries require the LLM to produce code that invokes external APIs to answer the user's question, yet LLMs rarely produce correct code on the first try, requiring iterative code refinement upon execution results. In addition, using LLM assistants to support high query volumes can be expensive. In this work, we contribute a framework, EcoAssistant, that enables LLMs to answer code-driven queries more affordably and accurately. EcoAssistant contains three components. First, it allows the LLM assistants to converse with an automatic code executor to iteratively refine code or to produce answers based on the execution results. Second, we use a hierarchy of LLM assistants, which attempts to answer the query with weaker, cheaper LLMs before backing off to stronger, expensive ones. Third, we retrieve solutions from past successful queries as in-context demonstrations to help subsequent queries. Empirically, we show that EcoAssistant offers distinct advantages for affordability and accuracy, surpassing GPT-4 by 10 points of success rate with less than 50% of GPT-4's cost.