Optimisation contextuelle pour la génération augmentée par récupération

Context Tuning for Retrieval Augmented Generation

December 9, 2023

Auteurs: Raviteja Anantha, Tharun Bethi, Danil Vodianik, Srinivas Chappidi

cs.AI

Résumé

Les grands modèles de langage (LLM) possèdent une capacité remarquable à résoudre de nouvelles tâches avec seulement quelques exemples, mais ils nécessitent un accès aux outils appropriés. La Génération Augmentée par Récupération (RAG) aborde ce problème en récupérant une liste d'outils pertinents pour une tâche donnée. Cependant, l'étape de récupération d'outils de RAG exige que toutes les informations nécessaires soient explicitement présentes dans la requête. Cela constitue une limitation, car la recherche sémantique, la méthode de récupération d'outils largement adoptée, peut échouer lorsque la requête est incomplète ou manque de contexte. Pour pallier cette limitation, nous proposons l'ajustement contextuel pour RAG, qui utilise un système intelligent de récupération de contexte pour extraire des informations pertinentes améliorant à la fois la récupération d'outils et la génération de plans. Notre modèle léger de récupération de contexte utilise des signaux numériques, catégoriels et d'usage habituel pour récupérer et classer les éléments de contexte. Nos résultats empiriques démontrent que l'ajustement contextuel améliore significativement la recherche sémantique, avec une amélioration de 3,5 fois et 1,5 fois du Recall@K pour les tâches de récupération de contexte et de récupération d'outils respectivement, et entraîne une augmentation de 11,6 % de la précision du planificateur basé sur LLM. De plus, nous montrons que notre modèle léger proposé utilisant la Fusion de Rangs Réciproques (RRF) avec LambdaMART surpasse la récupération basée sur GPT-4. Par ailleurs, nous observons que l'augmentation contextuelle lors de la génération de plans, même après la récupération d'outils, réduit les hallucinations.

English

Large language models (LLMs) have the remarkable ability to solve new tasks with just a few examples, but they need access to the right tools. Retrieval Augmented Generation (RAG) addresses this problem by retrieving a list of relevant tools for a given task. However, RAG's tool retrieval step requires all the required information to be explicitly present in the query. This is a limitation, as semantic search, the widely adopted tool retrieval method, can fail when the query is incomplete or lacks context. To address this limitation, we propose Context Tuning for RAG, which employs a smart context retrieval system to fetch relevant information that improves both tool retrieval and plan generation. Our lightweight context retrieval model uses numerical, categorical, and habitual usage signals to retrieve and rank context items. Our empirical results demonstrate that context tuning significantly enhances semantic search, achieving a 3.5-fold and 1.5-fold improvement in Recall@K for context retrieval and tool retrieval tasks respectively, and resulting in an 11.6% increase in LLM-based planner accuracy. Additionally, we show that our proposed lightweight model using Reciprocal Rank Fusion (RRF) with LambdaMART outperforms GPT-4 based retrieval. Moreover, we observe context augmentation at plan generation, even after tool retrieval, reduces hallucination.