Contextafstemming voor Retrieval Augmented Generation

Context Tuning for Retrieval Augmented Generation

December 9, 2023

Auteurs: Raviteja Anantha, Tharun Bethi, Danil Vodianik, Srinivas Chappidi

cs.AI

Samenvatting

Grote taalmodellen (LLMs) beschikken over het opmerkelijke vermogen om nieuwe taken op te lossen met slechts enkele voorbeelden, maar ze hebben toegang nodig tot de juiste tools. Retrieval Augmented Generation (RAG) lost dit probleem op door een lijst van relevante tools voor een bepaalde taak op te halen. Echter vereist de tool-retrievalstap van RAG dat alle benodigde informatie expliciet aanwezig is in de query. Dit is een beperking, aangezien semantische zoekopdrachten, de veelgebruikte methode voor tool-retrieval, kunnen falen wanneer de query onvolledig is of context mist. Om deze beperking aan te pakken, stellen we Context Tuning voor RAG voor, dat een slim contextretrievalsysteem gebruikt om relevante informatie op te halen die zowel de tool-retrieval als de plangeneratie verbetert. Ons lichtgewicht contextretrievalmodel maakt gebruik van numerieke, categorische en gebruikelijke gebruiksignalen om contextitems op te halen en te rangschikken. Onze empirische resultaten tonen aan dat context tuning semantische zoekopdrachten aanzienlijk verbetert, met een 3,5-voudige en 1,5-voudige verbetering in Recall@K voor respectievelijk contextretrieval- en tool-retrievaltaken, en resulteert in een 11,6% toename in de nauwkeurigheid van op LLM gebaseerde planners. Daarnaast laten we zien dat ons voorgestelde lichtgewicht model dat Reciprocal Rank Fusion (RRF) gebruikt met LambdaMART, beter presteert dan op GPT-4 gebaseerde retrieval. Bovendien observeren we dat contextaugmentatie tijdens de plangeneratie, zelfs na tool-retrieval, hallucinatie vermindert.

English

Large language models (LLMs) have the remarkable ability to solve new tasks with just a few examples, but they need access to the right tools. Retrieval Augmented Generation (RAG) addresses this problem by retrieving a list of relevant tools for a given task. However, RAG's tool retrieval step requires all the required information to be explicitly present in the query. This is a limitation, as semantic search, the widely adopted tool retrieval method, can fail when the query is incomplete or lacks context. To address this limitation, we propose Context Tuning for RAG, which employs a smart context retrieval system to fetch relevant information that improves both tool retrieval and plan generation. Our lightweight context retrieval model uses numerical, categorical, and habitual usage signals to retrieve and rank context items. Our empirical results demonstrate that context tuning significantly enhances semantic search, achieving a 3.5-fold and 1.5-fold improvement in Recall@K for context retrieval and tool retrieval tasks respectively, and resulting in an 11.6% increase in LLM-based planner accuracy. Additionally, we show that our proposed lightweight model using Reciprocal Rank Fusion (RRF) with LambdaMART outperforms GPT-4 based retrieval. Moreover, we observe context augmentation at plan generation, even after tool retrieval, reduces hallucination.