Контекстная настройка для генерации с расширением поиска

Context Tuning for Retrieval Augmented Generation

December 9, 2023

Авторы: Raviteja Anantha, Tharun Bethi, Danil Vodianik, Srinivas Chappidi

cs.AI

Аннотация

Крупные языковые модели (LLM) обладают впечатляющей способностью решать новые задачи, используя всего несколько примеров, но для этого им необходим доступ к подходящим инструментам. Метод Retrieval Augmented Generation (RAG) решает эту проблему, извлекая список релевантных инструментов для конкретной задачи. Однако этап извлечения инструментов в RAG требует, чтобы вся необходимая информация была явно представлена в запросе. Это ограничение, поскольку семантический поиск, широко используемый метод извлечения инструментов, может давать сбои, если запрос неполный или лишен контекста. Чтобы устранить это ограничение, мы предлагаем метод Context Tuning для RAG, который использует интеллектуальную систему извлечения контекста для получения релевантной информации, улучшающей как извлечение инструментов, так и генерацию плана. Наша легковесная модель извлечения контекста использует числовые, категориальные сигналы и сигналы привычного использования для извлечения и ранжирования элементов контекста. Наши эмпирические результаты показывают, что настройка контекста значительно улучшает семантический поиск, достигая 3,5-кратного и 1,5-кратного улучшения Recall@K для задач извлечения контекста и инструментов соответственно, а также приводит к увеличению точности планирования на основе LLM на 11,6%. Кроме того, мы демонстрируем, что наша предложенная легковесная модель, использующая Reciprocal Rank Fusion (RRF) с LambdaMART, превосходит извлечение на основе GPT-4. Более того, мы наблюдаем, что дополнение контекста на этапе генерации плана, даже после извлечения инструментов, снижает вероятность галлюцинаций.

English

Large language models (LLMs) have the remarkable ability to solve new tasks with just a few examples, but they need access to the right tools. Retrieval Augmented Generation (RAG) addresses this problem by retrieving a list of relevant tools for a given task. However, RAG's tool retrieval step requires all the required information to be explicitly present in the query. This is a limitation, as semantic search, the widely adopted tool retrieval method, can fail when the query is incomplete or lacks context. To address this limitation, we propose Context Tuning for RAG, which employs a smart context retrieval system to fetch relevant information that improves both tool retrieval and plan generation. Our lightweight context retrieval model uses numerical, categorical, and habitual usage signals to retrieve and rank context items. Our empirical results demonstrate that context tuning significantly enhances semantic search, achieving a 3.5-fold and 1.5-fold improvement in Recall@K for context retrieval and tool retrieval tasks respectively, and resulting in an 11.6% increase in LLM-based planner accuracy. Additionally, we show that our proposed lightweight model using Reciprocal Rank Fusion (RRF) with LambdaMART outperforms GPT-4 based retrieval. Moreover, we observe context augmentation at plan generation, even after tool retrieval, reduces hallucination.