Ottimizzazione del Contesto per la Generazione Aumentata con Recupero

Context Tuning for Retrieval Augmented Generation

December 9, 2023

Autori: Raviteja Anantha, Tharun Bethi, Danil Vodianik, Srinivas Chappidi

cs.AI

Abstract

I grandi modelli linguistici (LLM) possiedono la straordinaria capacità di risolvere nuovi compiti con pochi esempi, ma necessitano di accesso agli strumenti appropriati. La Generazione Aumentata con Recupero (RAG) affronta questo problema recuperando una lista di strumenti rilevanti per un determinato compito. Tuttavia, il passo di recupero degli strumenti in RAG richiede che tutte le informazioni necessarie siano esplicitamente presenti nella query. Questa è una limitazione, poiché la ricerca semantica, il metodo di recupero degli strumenti ampiamente adottato, può fallire quando la query è incompleta o manca di contesto. Per affrontare questa limitazione, proponiamo il Context Tuning per RAG, che impiega un sistema intelligente di recupero del contesto per ottenere informazioni rilevanti che migliorano sia il recupero degli strumenti che la generazione del piano. Il nostro modello leggero di recupero del contesto utilizza segnali numerici, categorici e di utilizzo abituale per recuperare e classificare gli elementi del contesto. I nostri risultati empirici dimostrano che il context tuning migliora significativamente la ricerca semantica, ottenendo un miglioramento di 3,5 volte e 1,5 volte nel Recall@K rispettivamente per i compiti di recupero del contesto e di recupero degli strumenti, e portando a un aumento dell'11,6% nell'accuratezza del pianificatore basato su LLM. Inoltre, mostriamo che il nostro modello leggero proposto, che utilizza la Fusione del Rango Reciproco (RRF) con LambdaMART, supera il recupero basato su GPT-4. Inoltre, osserviamo che l'aumento del contesto nella generazione del piano, anche dopo il recupero degli strumenti, riduce l'allucinazione.

English

Large language models (LLMs) have the remarkable ability to solve new tasks with just a few examples, but they need access to the right tools. Retrieval Augmented Generation (RAG) addresses this problem by retrieving a list of relevant tools for a given task. However, RAG's tool retrieval step requires all the required information to be explicitly present in the query. This is a limitation, as semantic search, the widely adopted tool retrieval method, can fail when the query is incomplete or lacks context. To address this limitation, we propose Context Tuning for RAG, which employs a smart context retrieval system to fetch relevant information that improves both tool retrieval and plan generation. Our lightweight context retrieval model uses numerical, categorical, and habitual usage signals to retrieve and rank context items. Our empirical results demonstrate that context tuning significantly enhances semantic search, achieving a 3.5-fold and 1.5-fold improvement in Recall@K for context retrieval and tool retrieval tasks respectively, and resulting in an 11.6% increase in LLM-based planner accuracy. Additionally, we show that our proposed lightweight model using Reciprocal Rank Fusion (RRF) with LambdaMART outperforms GPT-4 based retrieval. Moreover, we observe context augmentation at plan generation, even after tool retrieval, reduces hallucination.