Gelijkheid is niet alles wat je nodig hebt: Retrieval Augmented Generation uitrusten met meerlagige gedachten

Samenvatting

De afgelopen jaren hebben grote taalmodelen (LLM's) opmerkelijke prestaties geleverd in verschillende domeinen. Echter, de vertraging en kosten van kennisupdates, samen met hallucinatieproblemen van LLM's, hebben hun toepassingen in kennisintensieve taken beperkt, waar retrieval-augmented generation (RAG) van nut kan zijn. Niettemin gebruiken bestaande retrieval-augmented modellen doorgaans gelijkenis als een brug tussen queries en documenten en volgen ze een retrieve-then-read procedure. In dit werk betogen wij dat gelijkenis niet altijd de oplossing is en dat volledig vertrouwen op gelijkenis soms de prestaties van retrieval-augmented generation kan verslechteren. Daarom stellen wij MetRag voor, een Multi-layered Thoughts enhanced Retrieval Augmented Generation framework. Om te beginnen, gaan we verder dan de bestaande gelijkenisgerichte gedachte en omarmen we een kleinschalig utility-model dat supervisie ontvangt van een LLM voor utility-gerichte gedachte, en komen we tot een slimmer model door de gelijkenis- en utility-gerichte gedachten uitgebreid te combineren. Bovendien, gezien het feit dat de verzameling opgehaalde documenten vaak groot is en het gebruik ervan in isolatie het moeilijk maakt om de gemeenschappelijke kenmerken en eigenschappen daartussen te vatten, stellen wij voor om een LLM in te zetten als een taakadaptieve samenvatter om retrieval-augmented generation te voorzien van compactheid-gerichte gedachte. Ten slotte, met multi-layered gedachten uit de voorgaande fasen, wordt een LLM ingezet voor kennis-augmented generation. Uitgebreide experimenten op kennisintensieve taken hebben de superioriteit van MetRag aangetoond.

English

In recent years, large language models (LLMs) have made remarkable achievements in various domains. However, the untimeliness and cost of knowledge updates coupled with hallucination issues of LLMs have curtailed their applications in knowledge intensive tasks, where retrieval augmented generation (RAG) can be of help. Nevertheless, existing retrieval augmented models typically use similarity as a bridge between queries and documents and follow a retrieve then read procedure. In this work, we argue that similarity is not always the panacea and totally relying on similarity would sometimes degrade the performance of retrieval augmented generation. To this end, we propose MetRag, a Multi layEred Thoughts enhanced Retrieval Augmented Generation framework. To begin with, beyond existing similarity oriented thought, we embrace a small scale utility model that draws supervision from an LLM for utility oriented thought and further come up with a smarter model by comprehensively combining the similarity and utility oriented thoughts. Furthermore, given the fact that the retrieved document set tends to be huge and using them in isolation makes it difficult to capture the commonalities and characteristics among them, we propose to make an LLM as a task adaptive summarizer to endow retrieval augmented generation with compactness-oriented thought. Finally, with multi layered thoughts from the precedent stages, an LLM is called for knowledge augmented generation. Extensive experiments on knowledge-intensive tasks have demonstrated the superiority of MetRag.

Gelijkheid is niet alles wat je nodig hebt: Retrieval Augmented Generation uitrusten met meerlagige gedachten

Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts

Samenvatting

Support