Ajuste de Contexto para Generación Aumentada por Recuperación

Context Tuning for Retrieval Augmented Generation

December 9, 2023

Autores: Raviteja Anantha, Tharun Bethi, Danil Vodianik, Srinivas Chappidi

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) tienen la notable capacidad de resolver nuevas tareas con solo unos pocos ejemplos, pero necesitan acceso a las herramientas adecuadas. La Generación Aumentada por Recuperación (RAG, por sus siglas en inglés) aborda este problema recuperando una lista de herramientas relevantes para una tarea dada. Sin embargo, el paso de recuperación de herramientas de RAG requiere que toda la información necesaria esté explícitamente presente en la consulta. Esto es una limitación, ya que la búsqueda semántica, el método de recuperación de herramientas ampliamente adoptado, puede fallar cuando la consulta está incompleta o carece de contexto. Para abordar esta limitación, proponemos el Ajuste de Contexto para RAG, que emplea un sistema inteligente de recuperación de contexto para obtener información relevante que mejora tanto la recuperación de herramientas como la generación de planes. Nuestro modelo ligero de recuperación de contexto utiliza señales numéricas, categóricas y de uso habitual para recuperar y clasificar elementos de contexto. Nuestros resultados empíricos demuestran que el ajuste de contexto mejora significativamente la búsqueda semántica, logrando una mejora de 3.5 veces y 1.5 veces en Recall@K para las tareas de recuperación de contexto y recuperación de herramientas, respectivamente, y resultando en un aumento del 11.6% en la precisión del planificador basado en LLM. Además, mostramos que nuestro modelo ligero propuesto, que utiliza Fusión de Rango Recíproco (RRF) con LambdaMART, supera a la recuperación basada en GPT-4. Asimismo, observamos que la ampliación de contexto en la generación de planes, incluso después de la recuperación de herramientas, reduce la alucinación.

English

Large language models (LLMs) have the remarkable ability to solve new tasks with just a few examples, but they need access to the right tools. Retrieval Augmented Generation (RAG) addresses this problem by retrieving a list of relevant tools for a given task. However, RAG's tool retrieval step requires all the required information to be explicitly present in the query. This is a limitation, as semantic search, the widely adopted tool retrieval method, can fail when the query is incomplete or lacks context. To address this limitation, we propose Context Tuning for RAG, which employs a smart context retrieval system to fetch relevant information that improves both tool retrieval and plan generation. Our lightweight context retrieval model uses numerical, categorical, and habitual usage signals to retrieve and rank context items. Our empirical results demonstrate that context tuning significantly enhances semantic search, achieving a 3.5-fold and 1.5-fold improvement in Recall@K for context retrieval and tool retrieval tasks respectively, and resulting in an 11.6% increase in LLM-based planner accuracy. Additionally, we show that our proposed lightweight model using Reciprocal Rank Fusion (RRF) with LambdaMART outperforms GPT-4 based retrieval. Moreover, we observe context augmentation at plan generation, even after tool retrieval, reduces hallucination.