La somiglianza non è tutto ciò di cui hai bisogno: Dotare la Generazione Aumentata dal Recupero di Pensieri Multistrato

Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts

May 30, 2024

Autori: Chunjing Gan, Dan Yang, Binbin Hu, Hanxiao Zhang, Siyuan Li, Ziqi Liu, Yue Shen, Lin Ju, Zhiqiang Zhang, Jinjie Gu, Lei Liang, Jun Zhou

cs.AI

Abstract

Negli ultimi anni, i modelli linguistici di grandi dimensioni (LLM) hanno ottenuto risultati straordinari in vari domini. Tuttavia, la mancanza di tempestività e l’elevato costo degli aggiornamenti delle conoscenze, uniti ai problemi di allucinazione degli LLM, ne hanno limitato l’applicazione in compiti ad alta intensità di conoscenza, dove la generazione aumentata tramite recupero (RAG) può essere d’aiuto. Tuttavia, i modelli esistenti basati sul recupero utilizzano tipicamente la similarità come ponte tra query e documenti e seguono una procedura di "recupera poi leggi". In questo lavoro, sosteniamo che la similarità non è sempre la panacea e che affidarsi esclusivamente ad essa potrebbe talvolta degradare le prestazioni della generazione aumentata tramite recupero. A tal fine, proponiamo MetRag, un framework di generazione aumentata tramite recupero potenziato da pensieri multistrato. Per cominciare, oltre al pensiero orientato alla similarità esistente, adottiamo un modello di utilità su piccola scala che trae supervisione da un LLM per un pensiero orientato all’utilità e sviluppiamo un modello più intelligente combinando in modo completo i pensieri orientati alla similarità e all’utilità. Inoltre, considerando che l’insieme dei documenti recuperati tende a essere ampio e che utilizzarli in isolamento rende difficile cogliere le somiglianze e le caratteristiche comuni tra di essi, proponiamo di utilizzare un LLM come riassuntore adattivo al compito per dotare la generazione aumentata tramite recupero di un pensiero orientato alla compattezza. Infine, con i pensieri multistrato delle fasi precedenti, un LLM viene chiamato per la generazione aumentata di conoscenza. Esperimenti estesi su compiti ad alta intensità di conoscenza hanno dimostrato la superiorità di MetRag.

English

In recent years, large language models (LLMs) have made remarkable achievements in various domains. However, the untimeliness and cost of knowledge updates coupled with hallucination issues of LLMs have curtailed their applications in knowledge intensive tasks, where retrieval augmented generation (RAG) can be of help. Nevertheless, existing retrieval augmented models typically use similarity as a bridge between queries and documents and follow a retrieve then read procedure. In this work, we argue that similarity is not always the panacea and totally relying on similarity would sometimes degrade the performance of retrieval augmented generation. To this end, we propose MetRag, a Multi layEred Thoughts enhanced Retrieval Augmented Generation framework. To begin with, beyond existing similarity oriented thought, we embrace a small scale utility model that draws supervision from an LLM for utility oriented thought and further come up with a smarter model by comprehensively combining the similarity and utility oriented thoughts. Furthermore, given the fact that the retrieved document set tends to be huge and using them in isolation makes it difficult to capture the commonalities and characteristics among them, we propose to make an LLM as a task adaptive summarizer to endow retrieval augmented generation with compactness-oriented thought. Finally, with multi layered thoughts from the precedent stages, an LLM is called for knowledge augmented generation. Extensive experiments on knowledge-intensive tasks have demonstrated the superiority of MetRag.