Kontextoptimierung für Retrieval-Augmented Generation

Context Tuning for Retrieval Augmented Generation

December 9, 2023

Autoren: Raviteja Anantha, Tharun Bethi, Danil Vodianik, Srinivas Chappidi

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) besitzen die bemerkenswerte Fähigkeit, neue Aufgaben mit nur wenigen Beispielen zu lösen, benötigen jedoch Zugang zu den richtigen Werkzeugen. Retrieval Augmented Generation (RAG) adressiert dieses Problem, indem es eine Liste relevanter Werkzeuge für eine gegebene Aufgabe abruft. Allerdings erfordert der Werkzeugabrufschritt von RAG, dass alle erforderlichen Informationen explizit in der Anfrage enthalten sind. Dies stellt eine Einschränkung dar, da die semantische Suche, die weit verbreitete Methode zum Werkzeugabruf, scheitern kann, wenn die Anfrage unvollständig ist oder Kontext fehlt. Um diese Einschränkung zu überwinden, schlagen wir Context Tuning für RAG vor, das ein intelligentes Kontextabrufsystem verwendet, um relevante Informationen abzurufen, die sowohl den Werkzeugabruf als auch die Planerstellung verbessern. Unser leichtgewichtiges Kontextabrufmodell nutzt numerische, kategorische und gewohnheitsmäßige Nutzungssignale, um Kontextelemente abzurufen und zu bewerten. Unsere empirischen Ergebnisse zeigen, dass Context Tuning die semantische Suche signifikant verbessert und eine 3,5-fache bzw. 1,5-fache Steigerung des Recall@K für Kontextabruf- und Werkzeugabrufaufgaben erreicht, was zu einer 11,6%igen Steigerung der Genauigkeit des LLM-basierten Planers führt. Darüber hinaus zeigen wir, dass unser vorgeschlagenes leichtgewichtiges Modell, das Reciprocal Rank Fusion (RRF) mit LambdaMART verwendet, den GPT-4-basierten Abruf übertrifft. Zusätzlich beobachten wir, dass die Kontextanreicherung bei der Planerstellung, selbst nach dem Werkzeugabruf, Halluzinationen reduziert.

English

Large language models (LLMs) have the remarkable ability to solve new tasks with just a few examples, but they need access to the right tools. Retrieval Augmented Generation (RAG) addresses this problem by retrieving a list of relevant tools for a given task. However, RAG's tool retrieval step requires all the required information to be explicitly present in the query. This is a limitation, as semantic search, the widely adopted tool retrieval method, can fail when the query is incomplete or lacks context. To address this limitation, we propose Context Tuning for RAG, which employs a smart context retrieval system to fetch relevant information that improves both tool retrieval and plan generation. Our lightweight context retrieval model uses numerical, categorical, and habitual usage signals to retrieve and rank context items. Our empirical results demonstrate that context tuning significantly enhances semantic search, achieving a 3.5-fold and 1.5-fold improvement in Recall@K for context retrieval and tool retrieval tasks respectively, and resulting in an 11.6% increase in LLM-based planner accuracy. Additionally, we show that our proposed lightweight model using Reciprocal Rank Fusion (RRF) with LambdaMART outperforms GPT-4 based retrieval. Moreover, we observe context augmentation at plan generation, even after tool retrieval, reduces hallucination.