Ähnlichkeit ist nicht alles, was Sie brauchen: Ausstattung der Generierung mit abgerufenen Augmentierungen mit mehrschichtigen Gedanken

Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts

May 30, 2024

papers.authors: Chunjing Gan, Dan Yang, Binbin Hu, Hanxiao Zhang, Siyuan Li, Ziqi Liu, Yue Shen, Lin Ju, Zhiqiang Zhang, Jinjie Gu, Lei Liang, Jun Zhou

cs.AI

papers.abstract

In den letzten Jahren haben große Sprachmodelle (LLMs) bemerkenswerte Erfolge in verschiedenen Bereichen erzielt. Allerdings haben die Unzeitigkeit und die Kosten von Wissensaktualisierungen in Verbindung mit den Halluzinationsproblemen von LLMs ihre Anwendungen in wissensintensiven Aufgaben eingeschränkt, bei denen die Abfrage ergänzte Generierung (RAG) hilfreich sein kann. Dennoch verwenden bestehende abfrageergänzte Modelle in der Regel Ähnlichkeit als Brücke zwischen Abfragen und Dokumenten und folgen einem Abfragen-und-Lesen-Verfahren. In dieser Arbeit argumentieren wir, dass Ähnlichkeit nicht immer die Allheilmittel ist und dass sich die Leistung der abfrageergänzten Generierung manchmal verschlechtern würde, wenn man ausschließlich auf Ähnlichkeit vertrauen würde. Zu diesem Zweck schlagen wir MetRag vor, ein Multi-Layered Thoughts-enhanced Retrieval Augmented Generation Framework. Zunächst einmal, über das bestehende ähnlichkeitsorientierte Denken hinaus, übernehmen wir ein kleinskaliges Nutzenmodell, das Aufsicht von einem LLM für nutzungsorientiertes Denken erhält, und entwickeln ein intelligenteres Modell, indem wir das ähnlichkeits- und nutzungsorientierte Denken umfassend kombinieren. Darüber hinaus, da der abgerufene Dokumentensatz dazu neigt, umfangreich zu sein und es schwierig macht, die Gemeinsamkeiten und Merkmale zwischen ihnen zu erfassen, schlagen wir vor, dass ein LLM als aufgabenadaptiver Zusammenfasser fungiert, um der abfrageergänzten Generierung ein kompaktheitsorientiertes Denken zu verleihen. Schließlich wird mit den mehrschichtigen Gedanken aus den vorangegangenen Phasen ein LLM für wissensgestützte Generierung herangezogen. Umfangreiche Experimente in wissensintensiven Aufgaben haben die Überlegenheit von MetRag nachgewiesen.

English

In recent years, large language models (LLMs) have made remarkable achievements in various domains. However, the untimeliness and cost of knowledge updates coupled with hallucination issues of LLMs have curtailed their applications in knowledge intensive tasks, where retrieval augmented generation (RAG) can be of help. Nevertheless, existing retrieval augmented models typically use similarity as a bridge between queries and documents and follow a retrieve then read procedure. In this work, we argue that similarity is not always the panacea and totally relying on similarity would sometimes degrade the performance of retrieval augmented generation. To this end, we propose MetRag, a Multi layEred Thoughts enhanced Retrieval Augmented Generation framework. To begin with, beyond existing similarity oriented thought, we embrace a small scale utility model that draws supervision from an LLM for utility oriented thought and further come up with a smarter model by comprehensively combining the similarity and utility oriented thoughts. Furthermore, given the fact that the retrieved document set tends to be huge and using them in isolation makes it difficult to capture the commonalities and characteristics among them, we propose to make an LLM as a task adaptive summarizer to endow retrieval augmented generation with compactness-oriented thought. Finally, with multi layered thoughts from the precedent stages, an LLM is called for knowledge augmented generation. Extensive experiments on knowledge-intensive tasks have demonstrated the superiority of MetRag.