Ajuste de Contexto para Geração Aumentada por Recuperação

Context Tuning for Retrieval Augmented Generation

December 9, 2023

Autores: Raviteja Anantha, Tharun Bethi, Danil Vodianik, Srinivas Chappidi

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) possuem a notável capacidade de resolver novas tarefas com apenas alguns exemplos, mas precisam ter acesso às ferramentas adequadas. A Geração Aumentada por Recuperação (RAG) aborda esse problema ao recuperar uma lista de ferramentas relevantes para uma determinada tarefa. No entanto, a etapa de recuperação de ferramentas do RAG exige que todas as informações necessárias estejam explicitamente presentes na consulta. Isso é uma limitação, pois a busca semântica, o método amplamente adotado para recuperação de ferramentas, pode falhar quando a consulta é incompleta ou carece de contexto. Para superar essa limitação, propomos o Ajuste de Contexto para RAG, que emprega um sistema inteligente de recuperação de contexto para buscar informações relevantes que melhoram tanto a recuperação de ferramentas quanto a geração de planos. Nosso modelo leve de recuperação de contexto utiliza sinais numéricos, categóricos e de uso habitual para recuperar e classificar itens de contexto. Nossos resultados empíricos demonstram que o ajuste de contexto melhora significativamente a busca semântica, alcançando um aumento de 3,5 vezes e 1,5 vezes no Recall@K para tarefas de recuperação de contexto e de ferramentas, respectivamente, e resultando em um aumento de 11,6% na precisão do planejador baseado em LLM. Além disso, mostramos que nosso modelo leve proposto, que utiliza Fusão de Classificação Recíproca (RRF) com LambdaMART, supera a recuperação baseada em GPT-4. Adicionalmente, observamos que a ampliação de contexto na geração de planos, mesmo após a recuperação de ferramentas, reduz a alucinação.

English

Large language models (LLMs) have the remarkable ability to solve new tasks with just a few examples, but they need access to the right tools. Retrieval Augmented Generation (RAG) addresses this problem by retrieving a list of relevant tools for a given task. However, RAG's tool retrieval step requires all the required information to be explicitly present in the query. This is a limitation, as semantic search, the widely adopted tool retrieval method, can fail when the query is incomplete or lacks context. To address this limitation, we propose Context Tuning for RAG, which employs a smart context retrieval system to fetch relevant information that improves both tool retrieval and plan generation. Our lightweight context retrieval model uses numerical, categorical, and habitual usage signals to retrieve and rank context items. Our empirical results demonstrate that context tuning significantly enhances semantic search, achieving a 3.5-fold and 1.5-fold improvement in Recall@K for context retrieval and tool retrieval tasks respectively, and resulting in an 11.6% increase in LLM-based planner accuracy. Additionally, we show that our proposed lightweight model using Reciprocal Rank Fusion (RRF) with LambdaMART outperforms GPT-4 based retrieval. Moreover, we observe context augmentation at plan generation, even after tool retrieval, reduces hallucination.